Model Gateway 指南
EvoAI 拥有自己的 Model Gateway:Provider / Model / Routing / Fallback / Cost / Policy。
已内置模型
| Provider | Model | 说明 |
|---|---|---|
| openai-compatible | deepseek-chat | 需 DEEPSEEK_API_KEY |
| ollama | llama3 | 本地 http://localhost:11434/v1 |
零配置:本机 EvoAI 网关(推荐)
本机运行 EvoAI 网关(Hermes,127.0.0.1:8642)时,API 启动会**自动注册本地模型**并优先路由——无需任何外部密钥即可让 Chat 真实回复。
# 启动 API 时注入网关 key(start.bat 已自动处理)
export API_SERVER_KEY=evt-xxx
node apps/api/dist/index.js
未探测到网关时,Ollama(llama3)会被自动标记 offline,避免路由到不可达模型。
配置云端模型密钥
export DEEPSEEK_API_KEY=sk-xxx # 重启 API 生效
本地模型(免费)
# Ollama
ollama pull llama3
# vLLM / llama.cpp 等其他 OpenAI 兼容服务同理,配置 baseUrl 即可
注册新模型
POST /v1/models
{ "provider": "openai-compatible", "name": "qwen", "baseUrl": "https://api.example.com/v1", "apiKeyRef": "QWEN_API_KEY" }
# 查看全部
GET /v1/models
路由行为
- 模型不可达 → 诚实失败(Chat 显示执行失败并记录,不假装成功)
- 路由按任务类型(chat / coding)与本地优先策略选择
- 不强迫不支持外部 Gateway 的 Runtime(如 Codex)改模型