v

vLLM

高吞吐 LLM 推理引擎，生产环境部署首选。

全球免费开源

访问官网更多类似资源

价格

免费

中文体验

英文为主

使用门槛

免登录

最近核对

2026-07-09

标签

推理引擎部署开源

适合人群

开发者企业

更新信息

更新于 2026-07-09

热门指数 85/100

典型用途

生产推理服务私有化 API

相似工具与替代品

按相近用途整理

Ollama

一条命令在本地运行开源大模型的工具。

全球免费开源本地部署CLI

更新于 2026-07-09

llama.cpp

纯 C/C++ 的轻量推理框架，消费级硬件也能跑大模型。

全球免费开源推理轻量

更新于 2026-07-09

相关资源

Ollama

一条命令在本地运行开源大模型的工具。

全球免费开源本地部署CLI

更新于 2026-07-09

llama.cpp

纯 C/C++ 的轻量推理框架，消费级硬件也能跑大模型。

全球免费开源推理轻量

更新于 2026-07-09

Hugging Face

全球最大的开源模型与数据集社区。

全球免费增值开源模型库数据集社区

更新于 2026-07-09

ComfyUI

节点式图像视频生成工作流工具，可控性极强。

全球免费开源图像工作流

更新于 2026-07-09

Stable Diffusion WebUI

经典的本地图像生成界面，插件生态庞大。

全球免费开源图像本地

更新于 2026-07-09

Open WebUI

自托管的 AI 对话界面，可接 Ollama 与任意 API。

全球免费开源自托管界面

更新于 2026-07-09