🏠 Главная › Документация › Провайдеры ИИ

Провайдеры ИИ

Эта страница описывает настройку провайдеров инференса для Hermes Agent — от облачных API, таких как OpenRouter и Anthropic, до самостоятельно размещённых конечных точек, таких как Ollama и vLLM, а также расширенные конфигурации маршрутизации и резервных провайдеров. Вам необходимо настроить хотя бы одного провайдера для использования Hermes.

Провайдеры инференса

Вам нужен как минимум один способ подключения к LLM. Используйте hermes model для интерактивного переключения провайдеров и моделей или настройте напрямую:

Провайдер Настройка
Nous Portal hermes model (OAuth, по подписке)
OpenAI Codex hermes model (ChatGPT OAuth, использует модели Codex)
GitHub Copilot hermes model (OAuth device code flow, COPILOT_GITHUB_TOKEN, GH_TOKEN, или gh auth token)
GitHub Copilot ACP hermes model (запускает локальный copilot --acp --stdio)
Anthropic hermes model (Claude Max + дополнительные кредиты через OAuth; также поддерживает Anthropic API key или ручной setup-token — см. примечание ниже)
OpenRouter OPENROUTER_API_KEY в ~/.hermes/.env
AI Gateway AI_GATEWAY_API_KEY в ~/.hermes/.env (provider: ai-gateway)
z.ai / GLM GLM_API_KEY в ~/.hermes/.env (provider: zai)
Kimi / Moonshot KIMI_API_KEY в ~/.hermes/.env (provider: kimi-coding)
Kimi / Moonshot (Китай) KIMI_CN_API_KEY в ~/.hermes/.env (provider: kimi-coding-cn; алиасы: kimi-cn, moonshot-cn)
Arcee AI ARCEEAI_API_KEY в ~/.hermes/.env (provider: arcee; алиасы: arcee-ai, arceeai)
GMI Cloud GMI_API_KEY в ~/.hermes/.env (provider: gmi; алиасы: gmi-cloud, gmicloud)
MiniMax MINIMAX_API_KEY в ~/.hermes/.env (provider: minimax)
MiniMax China MINIMAX_CN_API_KEY в ~/.hermes/.env (provider: minimax-cn)
Alibaba Cloud DASHSCOPE_API_KEY в ~/.hermes/.env (provider: alibaba)
Alibaba Coding Plan DASHSCOPE_API_KEY (provider: alibaba-coding-plan, alias: alibaba_coding) — отдельный биллинговый SKU, другой endpoint
Kilo Code KILOCODE_API_KEY в ~/.hermes/.env (provider: kilocode)
Xiaomi MiMo XIAOMI_API_KEY в ~/.hermes/.env (provider: xiaomi, алиасы: mimo, xiaomi-mimo)
Tencent TokenHub TOKENHUB_API_KEY в ~/.hermes/.env (provider: tencent-tokenhub, алиасы: tencent, tokenhub, tencentmaas)
OpenCode Zen OPENCODE_ZEN_API_KEY в ~/.hermes/.env (provider: opencode-zen)
OpenCode Go OPENCODE_GO_API_KEY в ~/.hermes/.env (provider: opencode-go)
DeepSeek DEEPSEEK_API_KEY в ~/.hermes/.env (provider: deepseek)
Hugging Face HF_TOKEN в ~/.hermes/.env (provider: huggingface, алиасы: hf)
Google / Gemini GOOGLE_API_KEY (или GEMINI_API_KEY) в ~/.hermes/.env (provider: gemini)
Google Gemini (OAuth) hermes model → "Google Gemini (OAuth)" (provider: google-gemini-cli, поддерживается бесплатный тариф, браузерный PKCE логин)
LM Studio hermes model → "LM Studio" (provider: lmstudio, опционально LM_API_KEY)
Пользовательский endpoint hermes model → выбрать "Custom endpoint" (сохраняется в config.yaml)

Для официального пути с API-ключом см. специальное руководство по Google Gemini.

tip Алиас ключа модели В секции конфигурации model: можно использовать как default:, так и model: в качестве имени ключа для ID вашей модели. Оба варианта — model: { default: my-model } и model: { model: my-model } — работают идентично.

Google Gemini через OAuth (google-gemini-cli)

Провайдер google-gemini-cli использует бэкенд Google Cloud Code Assist — тот же самый API, который использует собственный инструмент Google gemini-cli. Он поддерживает как бесплатный тариф (щедрый дневной лимит для личных аккаунтов), так и платные тарифы (Standard/Enterprise через GCP-проект).

Быстрый старт:

hermes model
# → выбрать "Google Gemini (OAuth)"
# → прочитать предупреждение о политике, подтвердить
# → браузер откроется на accounts.google.com, войдите
# → готово — Hermes автоматически предоставит бесплатный тариф при первом запросе

Hermes поставляется с публичным десктопным OAuth-клиентом gemini-cli от Google — те же учётные данные, которые Google включает в свой open-source gemini-cli. Десктопные OAuth-клиенты не являются конфиденциальными (PKCE обеспечивает безопасность). Вам не нужно устанавливать gemini-cli или регистрировать собственный GCP OAuth-клиент.

Как работает аутентификация:

Как работает инференс:

Тарифы и ID проектов:

Ваша ситуация Что делать
Личный аккаунт Google, нужен бесплатный тариф Ничего — войдите и начинайте чат
Workspace / Standard / Enterprise аккаунт Установите HERMES_GEMINI_PROJECT_ID или GOOGLE_CLOUD_PROJECT на ID вашего GCP проекта
VPC-SC-защищённая организация Hermes detects SECURITY_POLICY_VIOLATED и автоматически переключается на standard-tier

Бесплатный тариф автоматически предоставляет управляемый Google проект при первом использовании. Настройка GCP не требуется.

Мониторинг квоты:

/gquota

Показывает оставшуюся квоту Code Assist для каждой модели с индикаторами выполнения:

Gemini Code Assist quota  (project: 123-abc)

  gemini-2.5-pro                      ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░░░   85%
  gemini-2.5-flash [input]            ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░   92%

warning Риск нарушения политики Google считает использование OAuth-клиента Gemini CLI со сторонним программным обеспечением нарушением политики. Некоторые пользователи сообщали об ограничениях аккаунта. Для наиболее безопасного опыта используйте собственный API-ключ через провайдер gemini. Hermes показывает предупреждение и требует явного подтверждения перед началом OAuth.

Пользовательский OAuth-клиент (опционально):

Если вы предпочитаете зарегистрировать собственный Google OAuth-клиент — например, чтобы квота и согласие были привязаны к вашему GCP проекту — установите:

HERMES_GEMINI_CLIENT_ID=your-client.apps.googleusercontent.com
HERMES_GEMINI_CLIENT_SECRET=...   # опционально для Desktop-клиентов

Зарегистрируйте OAuth-клиент Desktop app в console.cloud.google.com/apis/credentials с включённым Generative Language API.

info Примечание о Codex Провайдер OpenAI Codex аутентифицируется через device code (откройте URL, введите код). Hermes сохраняет полученные учётные данные в своём хранилище аутентификации в ~/.hermes/auth.json и может импортировать существующие учётные данные Codex CLI из ~/.codex/auth.json при их наличии. Установка Codex CLI не требуется.

Даже при использовании Nous Portal, Codex или пользовательского endpoint, некоторые инструменты (vision, веб-суммаризация, MoA) используют отдельную "вспомогательную" модель. По умолчанию (auxiliary.*.provider: "auto") Hermes направляет эти задачи на вашу основную чат-модель — ту же, которую вы выбрали в hermes model. Вы можете переопределить каждую задачу индивидуально, чтобы направлять её на более дешёвую/быструю модель (например, Gemini Flash на OpenRouter) — см. Вспомогательные модели.

tip Tool Gateway Nous Платные подписчики Nous Portal также получают доступ к Tool Gateway — веб-поиск, генерация изображений, TTS и браузерная автоматизация, маршрутизируемые через вашу подписку. Никаких дополнительных API-ключей не требуется. Он предлагается автоматически во время настройки hermes model, или включите его позже с помощью hermes tools.

Две команды для управления моделями

Hermes имеет две команды для работы с моделями, которые служат разным целям:

Команда Где запускать Что делает
hermes model Ваш терминал (вне любой сессии) Полный мастер настройки — добавление провайдеров, запуск OAuth, ввод API-ключей, настройка endpoint
/model Внутри чат-сессии Hermes Быстрое переключение между уже настроенными провайдерами и моделями

Если вы пытаетесь переключиться на провайдера, которого ещё не настроили (например, у вас настроен только OpenRouter, а вы хотите использовать Anthropic), вам нужна команда hermes model, а не /model. Выйдите из сессии (Ctrl+C или /quit), выполните hermes model, завершите настройку провайдера, затем начните новую сессию.

Anthropic (нативный)

Используйте модели Claude напрямую через Anthropic API — без прокси OpenRouter. Поддерживает три метода аутентификации:

caution Требуются кредиты Claude Max "extra usage" При аутентификации через hermes model → Anthropic OAuth (или через hermes auth add anthropic --type oauth), Hermes направляет запросы как Claude Code через ваш аккаунт Anthropic. Это работает только если у вас план Claude Max и вы приобрели дополнительные кредиты использования. Базовая квота плана Max (использование, включённое в Claude Code по умолчанию) не расходуется Hermes — используются только дополнительные/избыточные кредиты, которые вы добавили сверху. Подписчики Claude Pro не могут использовать этот путь.

Если у вас нет Max + дополнительных кредитов, используйте ANTHROPIC_API_KEY — запросы будут тарифицироваться оплатой за токен против этой организации (стандартные цены API, независимо от подписки Claude). 

# С API-ключом (оплата за токен)
export ANTHROPIC_API_KEY=***
hermes chat --provider anthropic --model claude-sonnet-4-6

# Рекомендуемый: аутентификация через `hermes model`
# Hermes будет использовать хранилище учётных данных Claude Code напрямую, если доступно
hermes model

# Ручное переопределение с setup-token (запасной / устаревший)
export ANTHROPIC_TOKEN=***  # setup-token или ручной OAuth токен
hermes chat --provider anthropic

# Автоопределение учётных данных Claude Code (если вы уже используете Claude Code)
hermes chat --provider anthropic  # читает файлы учётных данных Claude Code автоматически

Когда вы выбираете Anthropic OAuth через hermes model, Hermes предпочитает собственное хранилище учётных данных Claude Code вместо копирования токена в ~/.hermes/.env. Это сохраняет возможность обновления учётных данных Claude.

Или установите постоянно:

model:
  provider: "anthropic"
  default: "claude-sonnet-4-6"

tip Алиасы --provider claude и --provider claude-code также работают как сокращение для --provider anthropic.

GitHub Copilot

Hermes поддерживает GitHub Copilot как полноценный провайдер с двумя режимами:

copilot — прямой Copilot API (рекомендуется). Использует вашу подписку GitHub Copilot для доступа к GPT-5.x, Claude, Gemini и другим моделям через Copilot API.

hermes chat --provider copilot --model gpt-5.4

Варианты аутентификации (проверяются в этом порядке):

  1. COPILOT_GITHUB_TOKEN переменная окружения

  2. GH_TOKEN переменная окружения

  3. GITHUB_TOKEN переменная окружения

  4. gh auth token запасной вариант через CLI

Если токен не найден, hermes model предлагает OAuth device code login — тот же процесс, который используется Copilot CLI и opencode.

warning Типы токенов Copilot API не поддерживает классические Personal Access Tokens (ghp_*). Поддерживаемые типы токенов:

Тип Префикс Как получить
OAuth token gho_ hermes model → GitHub Copilot → Войти через GitHub
Fine-grained PAT github_pat_ Настройки GitHub → Developer settings → Fine-grained tokens (требуется разрешение Copilot Requests)
GitHub App token ghu_ Через установку GitHub App

Если ваш gh auth token возвращает токен ghp_*, используйте hermes model для аутентификации через OAuth.

info Поведение аутентификации Copilot в Hermes Hermes отправляет поддерживаемый токен GitHub (gho_*, github_pat_* или ghu_*) напрямую на api.githubcopilot.com и включает заголовки, специфичные для Copilot (Editor-Version, Copilot-Integration-Id, Openai-Intent, x-initiator).

При HTTP 401 Hermes выполняет одноразовое восстановление учётных данных перед откатом:

  1. Повторное разрешение токена через стандартную цепочку приоритетов (COPILOT_GITHUB_TOKEN → GH_TOKEN → GITHUB_TOKEN → gh auth token)

  2. Перестроение общего OpenAI-клиента с обновлёнными заголовками

  3. Повторная попытка запроса один раз

Некоторые старые прокси сообщества используют обменные потоки api.github.com/copilot_internal/v2/token. Этот endpoint может быть недоступен для некоторых типов аккаунтов (возвращает 404). Поэтому Hermes сохраняет прямую аутентификацию по токену как основной путь и полагается на обновление учётных данных во время выполнения + повтор для надёжности.

Маршрутизация API: Модели GPT-5+ (кроме gpt-5-mini) автоматически используют Responses API. Все остальные модели (GPT-4o, Claude, Gemini и т.д.) используют Chat Completions. Модели автоопределяются из живого каталога Copilot.

copilot-acp — бэкенд Copilot ACP агента. Запускает локальный Copilot CLI как подпроцесс:

hermes chat --provider copilot-acp --model copilot-acp
# Требуется GitHub Copilot CLI в PATH и существующая сессия `copilot login`

Постоянная конфигурация:

model:
  provider: "copilot"
  default: "gpt-5.4"
Переменная окружения Описание
COPILOT_GITHUB_TOKEN Токен GitHub для Copilot API (первый приоритет)
HERMES_COPILOT_ACP_COMMAND Переопределение пути к бинарному файлу Copilot CLI (по умолчанию: copilot)
HERMES_COPILOT_ACP_ARGS Переопределение аргументов ACP (по умолчанию: --acp --stdio)

Полноценные провайдеры с API-ключом

Эти провайдеры имеют встроенную поддержку с выделенными ID провайдеров. Установите API-ключ и используйте --provider для выбора:

# z.ai / ZhipuAI GLM
hermes chat --provider zai --model glm-5
# Требуется: GLM_API_KEY в ~/.hermes/.env

# Kimi / Moonshot AI (международный: api.moonshot.ai)
hermes chat --provider kimi-coding --model kimi-for-coding
# Требуется: KIMI_API_KEY в ~/.hermes/.env

# Kimi / Moonshot AI (Китай: api.moonshot.cn)
hermes chat --provider kimi-coding-cn --model kimi-k2.5
# Требуется: KIMI_CN_API_KEY в ~/.hermes/.env

# MiniMax (глобальный endpoint)
hermes chat --provider minimax --model MiniMax-M2.7
# Требуется: MINIMAX_API_KEY в ~/.hermes/.env

# MiniMax (Китай endpoint)
hermes chat --provider minimax-cn --model MiniMax-M2.7
# Требуется: MINIMAX_CN_API_KEY в ~/.hermes/.env

# Alibaba Cloud / DashScope (модели Qwen)
hermes chat --provider alibaba --model qwen3.5-plus
# Требуется: DASHSCOPE_API_KEY в ~/.hermes/.env

# Xiaomi MiMo
hermes chat --provider xiaomi --model mimo-v2-pro
# Требуется: XIAOMI_API_KEY в ~/.hermes/.env

# Tencent TokenHub (Hy3 Preview)
hermes chat --provider tencent-tokenhub --model hy3-preview
# Требуется: TOKENHUB_API_KEY в ~/.hermes/.env

# Arcee AI (модели Trinity)
hermes chat --provider arcee --model trinity-large-thinking
# Требуется: ARCEEAI_API_KEY в ~/.hermes/.env

# GMI Cloud
# Используйте точный ID модели, возвращаемый endpoint GMI /v1/models.
hermes chat --provider gmi --model zai-org/GLM-5.1-FP8
# Требуется: GMI_API_KEY в ~/.hermes/.env

Или установите провайдера постоянно в config.yaml:

model:
  provider: "gmi"
  default: "zai-org/GLM-5.1-FP8"

Базовые URL можно переопределить с помощью переменных окружения GLM_BASE_URL, KIMI_BASE_URL, MINIMAX_BASE_URL, MINIMAX_CN_BASE_URL, DASHSCOPE_BASE_URL, XIAOMI_BASE_URL, GMI_BASE_URL или TOKENHUB_BASE_URL.

note Автоопределение endpoint Z.AI При использовании провайдера Z.AI / GLM Hermes автоматически проверяет несколько endpoint (глобальный, китайский, кодинг-варианты), чтобы найти тот, который принимает ваш API-ключ. Вам не нужно устанавливать GLM_BASE_URL вручную — рабочий endpoint определяется и кэшируется автоматически.

xAI (Grok) — Responses API + Кэширование промптов

xAI подключён через Responses API (транспорт codex_responses) для автоматической поддержки рассуждений на моделях Grok 4 — параметр reasoning_effort не нужен, сервер рассуждает по умолчанию. Установите XAI_API_KEY в ~/.hermes/.env и выберите xAI в hermes model, или используйте сокращение grok как /model grok-4-1-fast-reasoning.

При использовании xAI в качестве провайдера (любой базовый URL, содержащий x.ai), Hermes автоматически включает кэширование промптов, отправляя заголовок x-grok-conv-id с каждым API-запросом. Это направляет запросы на один и тот же сервер в рамках сессии разговора, позволяя инфраструктуре xAI повторно использовать кэшированные системные промпты и историю разговора.

Никакой настройки не требуется — кэширование активируется автоматически при обнаружении endpoint xAI и наличии ID сессии. Это снижает задержку и стоимость для многоходовых разговоров.

xAI также предоставляет выделенный TTS endpoint (/v1/tts). Выберите xAI TTS в hermes tools → Voice & TTS, или см. страницу Voice & TTS для настройки.

Ollama Cloud — Управляемые модели Ollama, OAuth + API-ключ

Ollama Cloud размещает тот же каталог открытых весов, что и локальный Ollama, но без необходимости в GPU. Выберите его в hermes model как Ollama Cloud, вставьте ваш API-ключ с ollama.com/settings/keys, и Hermes автоматически обнаружит доступные модели.

hermes model
# → выбрать "Ollama Cloud"
# → вставить ваш OLLAMA_API_KEY
# → выбрать из обнаруженных моделей (gpt-oss:120b, glm-4.6:cloud, qwen3-coder:480b-cloud и т.д.)

Или напрямую в config.yaml:

model:
  provider: "ollama-cloud"
  default: "gpt-oss:120b"

Каталог моделей загружается динамически с ollama.com/v1/models и кэшируется на один час. Нотация model:tag (например, qwen3-coder:480b-cloud) сохраняется через нормализацию — не используйте дефисы.

tip Ollama Cloud vs локальный Ollama Оба используют один и тот же OpenAI-совместимый API. Cloud — это полноценный провайдер (--provider ollama-cloud, OLLAMA_API_KEY); к локальному Ollama можно подключиться через Custom Endpoint (базовый URL http://localhost:11434/v1, без ключа). Используйте Cloud для больших моделей, которые вы не можете запустить локально; используйте локальный для приватности или офлайн-работы.

AWS Bedrock

Anthropic Claude, Amazon Nova, DeepSeek v3.2, Meta Llama 4 и другие модели через AWS Bedrock. Использует цепочку учётных данных AWS SDK (boto3) — никакого API-ключа, только стандартная AWS аутентификация.

# Простейший способ — именованный профиль в ~/.aws/credentials
hermes chat --provider bedrock --model us.anthropic.claude-sonnet-4-6

# Или с явными переменными окружения
AWS_PROFILE=myprofile AWS_REGION=us-east-1 hermes chat --provider bedrock --model us.anthropic.claude-sonnet-4-6

Или постоянно в config.yaml:

model:
  provider: "bedrock"
  default: "us.anthropic.claude-sonnet-4-6"
bedrock:
  region: "us-east-1"          # или установите AWS_REGION
  # profile: "myprofile"       # или установите AWS_PROFILE
  # discovery: true            # автоопределение региона из IAM
  # guardrail:                 # опциональные Bedrock Guardrails
  #   guardrail_identifier: "your-guardrail-id"
  #   guardrail_version: "DRAFT"

Аутентификация использует стандартную цепочку boto3: явные AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY, AWS_PROFILE из ~/.aws/credentials, IAM-роль на EC2/ECS/Lambda, IMDS или SSO. Никакая переменная окружения не требуется, если вы уже аутентифицированы через AWS CLI.

Bedrock использует Converse API под капотом — запросы преобразуются в агностический формат Bedrock, поэтому одна и та же конфигурация работает для моделей Claude, Nova, DeepSeek и Llama. Установите BEDROCK_BASE_URL только если вы обращаетесь к нестандартному региональному endpoint.

См. руководство по AWS Bedrock для пошаговой инструкции по настройке IAM, выбору региона и кросс-региональному инференсу.

Qwen Portal (OAuth)

Портал Qwen от Alibaba с браузерным OAuth-логином. Выберите Qwen OAuth (Portal) в hermes model, войдите через браузер, и Hermes сохранит refresh token.

hermes model
# → выбрать "Qwen OAuth (Portal)"
# → браузер откроется; войдите с вашим аккаунтом Alibaba
# → подтвердить — учётные данные сохраняются в ~/.hermes/auth.json

hermes chat   # использует endpoint portal.qwen.ai/v1

Или настройте config.yaml:

model:
  provider: "qwen-oauth"
  default: "qwen3-coder-plus"

Установите HERMES_QWEN_BASE_URL только если портальный endpoint изменится (по умолчанию: https://portal.qwen.ai/v1).

tip Qwen OAuth vs DashScope (Alibaba) qwen-oauth использует пользовательский портал Qwen с OAuth-логином — идеально для индивидуальных пользователей. Провайдер alibaba использует корпоративный API DashScope с DASHSCOPE_API_KEY — идеально для программных / производственных нагрузок. Оба направляют к моделям семейства Qwen, но находятся на разных endpoint.

Alibaba Coding Plan

Если вы подписаны на Coding Plan от Alibaba (отдельный биллинговый SKU, отличный от стандартного доступа к DashScope API), Hermes предоставляет его как отдельный полноценный провайдер: alibaba-coding-plan. Endpoint: https://coding-intl.dashscope.aliyuncs.com/v1. Он совместим с OpenAI, как и обычный провайдер alibaba, но с другим базовым URL и биллинговой поверхностью.

model:
  provider: alibaba_coding     # алиас для alibaba-coding-plan
  model: qwen3-coder-plus

Или из CLI:

hermes chat --provider alibaba_coding --model qwen3-coder-plus

alibaba_coding использует тот же DASHSCOPE_API_KEY, что и ваша запись alibaba — не нужен отдельный ключ, только другой целевой адрес маршрутизации. До регистрации этого провайдера пользователи, установившие provider: alibaba_coding в config.yaml, незаметно перенаправлялись на маршрутизацию OpenRouter.

MiniMax (OAuth)

MiniMax-M2.7 через браузерный OAuth-логин — никакого API-ключа не нужно. Выберите MiniMax (OAuth) в hermes model, войдите через браузер, и Hermes сохранит access + refresh токены. Использует endpoint, совместимый с Anthropic Messages (/anthropic), под капотом.

hermes model
# → выбрать "MiniMax (OAuth)"
# → браузер откроется; войдите с вашим аккаунтом MiniMax (глобальный или CN регион)
# → подтвердить — учётные данные сохраняются в ~/.hermes/auth.json

hermes chat   # использует endpoint api.minimax.io/anthropic

Или настройте config.yaml:

model:
  provider: "minimax-oauth"
  default: "MiniMax-M2.7"

Поддерживаемые модели: MiniMax-M2.7 (основная) и MiniMax-M2.7-highspeed (назначена как вспомогательная модель по умолчанию). Путь OAuth игнорирует MINIMAX_API_KEY / MINIMAX_BASE_URL.

tip MiniMax OAuth vs API-ключ minimax-oauth использует пользовательский портал MiniMax с OAuth-логином — настройка биллинга не требуется. Провайдеры minimax и minimax-cn используют MINIMAX_API_KEY / MINIMAX_CN_API_KEY — для программного доступа. См. руководство по MiniMax OAuth для полного пошагового описания.

NVIDIA NIM

Nemotron и другие модели с открытым исходным кодом через build.nvidia.com (бесплатный API-ключ) или локальный NIM endpoint.

# Облако (build.nvidia.com)
hermes chat --provider nvidia --model nvidia/nemotron-3-super-120b-a12b
# Требуется: NVIDIA_API_KEY в ~/.hermes/.env

# Локальный NIM endpoint — переопределение базового URL
NVIDIA_BASE_URL=http://localhost:8000/v1 hermes chat --provider nvidia --model nvidia/nemotron-3-super-120b-a12b

Или установите постоянно в config.yaml:

model:
  provider: "nvidia"
  default: "nvidia/nemotron-3-super-120b-a12b"

tip Локальный NIM Для локальных установок (DGX Spark, локальный GPU) установите NVIDIA_BASE_URL=http://localhost:8000/v1. NIM предоставляет тот же OpenAI-совместимый API чат-завершений, что и build.nvidia.com, поэтому переключение между облаком и локальным — это изменение одной строки переменной окружения.

GMI Cloud

Открытые и рассуждающие модели через GMI Cloud — OpenAI-совместимый API, аутентификация по API-ключу.

# GMI Cloud
hermes chat --provider gmi --model deepseek-ai/DeepSeek-R1
# Требуется: GMI_API_KEY в ~/.hermes/.env

Или установите постоянно в config.yaml:

model:
  provider: "gmi"
  default: "deepseek-ai/DeepSeek-R1"

Базовый URL можно переопределить с помощью GMI_BASE_URL (по умолчанию: https://api.gmi-serving.com/v1).

StepFun

Модели серии Step через StepFun — OpenAI-совместимый API, аутентификация по API-ключу.

# StepFun
hermes chat --provider stepfun --model step-3-mini
# Требуется: STEPFUN_API_KEY в ~/.hermes/.env

Или установите постоянно в config.yaml:

model:
  provider: "stepfun"
  default: "step-3-mini"

Базовый URL можно переопределить с помощью STEPFUN_BASE_URL (по умолчанию: https://api.stepfun.com/v1).

Hugging Face Inference Providers

Hugging Face Inference Providers маршрутизирует к 20+ открытым моделям через унифицированный OpenAI-совместимый endpoint (router.huggingface.co/v1). Запросы автоматически направляются на самый быстрый доступный бэкенд (Groq, Together, SambaNova и т.д.) с автоматическим резервированием.

# Используйте любую доступную модель
hermes chat --provider huggingface --model Qwen/Qwen3-235B-A22B-Thinking-2507
# Требуется: HF_TOKEN в ~/.hermes/.env

# Короткий алиас
hermes chat --provider hf --model deepseek-ai/DeepSeek-V3.2

Или установите постоянно в config.yaml:

model:
  provider: "huggingface"
  default: "Qwen/Qwen3-235B-A22B-Thinking-2507"

Получите токен на huggingface.co/settings/tokens — убедитесь, что включено разрешение "Make calls to Inference Providers". Включён бесплатный тариф ($0.10/месяц кредита, без наценки на тарифы провайдеров).

Вы можете добавлять суффиксы маршрутизации к именам моделей: :fastest (по умолчанию), :cheapest или :provider_name для принудительного выбора конкретного бэкенда.

Базовый URL можно переопределить с помощью HF_BASE_URL.

Пользовательские и самостоятельно размещённые LLM провайдеры

Hermes Agent работает с любым OpenAI-совместимым API endpoint. Если сервер реализует /v1/chat/completions, вы можете направить Hermes на него. Это означает, что вы можете использовать локальные модели, GPU-серверы инференса, мульти-провайдерные маршрутизаторы или любые сторонние API.

Общая настройка

Три способа настройки пользовательского endpoint:

Интерактивная настройка (рекомендуется):

hermes model
# Выберите "Custom endpoint (self-hosted / VLLM / etc.)"
# Введите: API base URL, API key, Имя модели

Ручная настройка (config.yaml):

# В ~/.hermes/config.yaml
model:
  default: your-model-name
  provider: custom
  base_url: http://localhost:8000/v1
  api_key: your-key-or-leave-empty-for-local

warning Устаревшие переменные окружения OPENAI_BASE_URL and LLM_MODEL в .env удалены. Ни одна часть Hermes их не читает — config.yaml является единственным источником истины для конфигурации модели и endpoint. Если у вас есть устаревшие записи в .env, они будут автоматически очищены при следующем hermes setup или миграции конфигурации. Используйте hermes model или редактируйте config.yaml напрямую.

Оба подхода сохраняют настройки в config.yaml, который является источником истины для модели, провайдера и базового URL.

Переключение моделей с помощью /model

warning hermes model vs /model hermes model (запускается из терминала, вне чат-сессии) — это полный мастер настройки провайдера. Используйте его для добавления новых провайдеров, запуска OAuth-потоков, ввода API-ключей и настройки пользовательских endpoint.

/model (вводится внутри активной чат-сессии Hermes) может только переключаться между уже настроенными провайдерами и моделями. Он не может добавлять новых провайдеров, запускать OAuth или запрашивать API-ключи. Если вы настроили только одного провайдера (например, OpenRouter), /model покажет только модели для этого провайдера.

Чтобы добавить нового провайдера: Выйдите из сессии (Ctrl+C или /quit), выполните hermes model, настройте нового провайдера, затем начните новую сессию.

Как только у вас настроен хотя бы один пользовательский endpoint, вы можете переключать модели прямо во время сессии:

/model custom:qwen-2.5          # Переключиться на модель на вашем пользовательском endpoint
/model custom                    # Автоопределить модель из endpoint
/model openrouter:claude-sonnet-4 # Переключиться обратно на облачного провайдера

Если у вас настроены именованные пользовательские провайдеры (см. ниже), используйте тройной синтаксис:

/model custom:local:qwen-2.5    # Использовать провайдера "local" с моделью qwen-2.5
/model custom:work:llama3       # Использовать провайдера "work" с моделью llama3

При переключении провайдеров Hermes сохраняет базовый URL и провайдера в конфиг, чтобы изменение пережило перезапуски. При переключении с пользовательского endpoint на встроенного провайдера устаревший базовый URL автоматически очищается.

/model custom (без имени модели) запрашивает API /models вашего endpoint и автоматически выбирает модель, если загружена ровно одна. Полезно для локальных серверов, запускающих одну модель.

Всё, что ниже, следует тому же шаблону — просто измените URL, ключ и имя модели.

Ollama — Локальные модели, нулевая конфигурация

Ollama запускает модели с открытыми весами локально одной командой. Лучше всего подходит для: быстрого локального экспериментирования, работы с конфиденциальными данными, офлайн-использования. Поддерживает вызов инструментов через OpenAI-совместимый API.

# Установка и запуск модели
ollama pull qwen2.5-coder:32b
ollama serve   # Запускается на порту 11434

Затем настройте Hermes:

hermes model
# Выберите "Custom endpoint (self-hosted / VLLM / etc.)"
# Введите URL: http://localhost:11434/v1
# Пропустите API key (Ollama не требует)
# Введите имя модели (например, qwen2.5-coder:32b)

Или настройте config.yaml напрямую:

model:
  default: qwen2.5-coder:32b
  provider: custom
  base_url: http://localhost:11434/v1
  context_length: 32768   # См. предупреждение ниже

caution Ollama использует очень маленькую длину контекста по умолчанию Ollama не использует полное окно контекста вашей модели по умолчанию. В зависимости от вашей VRAM, значение по умолчанию:

Доступная VRAM Контекст по умолчанию
Менее 24 ГБ 4,096 токенов
24–48 ГБ 32,768 токенов
48+ ГБ 256,000 токенов

Для использования агента с инструментами вам нужно как минимум 16k–32k контекста. При 4k системный промпт + схемы инструментов могут сами заполнить окно, не оставляя места для разговора.

Как увеличить (выберите один вариант):

# Вариант 1: Установка для всего сервера через переменную окружения (рекомендуется)
OLLAMA_CONTEXT_LENGTH=32768 ollama serve

# Вариант 2: Для Ollama под управлением systemd
sudo systemctl edit ollama.service
# Добавьте: Environment="OLLAMA_CONTEXT_LENGTH=32768"
# Затем: sudo systemctl daemon-reload && sudo systemctl restart ollama

# Вариант 3: Встроить в пользовательскую модель (постоянно для каждой модели)
echo -e "FROM qwen2.5-coder:32b\nPARAMETER num_ctx 32768" > Modelfile
ollama create qwen2.5-coder-32k -f Modelfile

Вы не можете установить длину контекста через OpenAI-совместимый API (/v1/chat/completions). Она должна быть настроена на стороне сервера или через Modelfile. Это основная причина путаницы при интеграции Ollama с инструментами вроде Hermes.

Проверьте, что контекст установлен правильно:

ollama ps
# Посмотрите на столбец CONTEXT — он должен показывать ваше настроенное значение
Список доступных моделей: `ollama list`. Загрузите любую модель из [библиотеки Ollama](https://ollama.com/library) командой `ollama pull `. Ollama автоматически обрабатывает выгрузку на GPU — никакой настройки не требуется для большинства конфигураций.

vLLM — Высокопроизводительный GPU-инференс

vLLM — стандарт для продакшн-обслуживания LLM. Лучше всего подходит для: максимальной пропускной способности на GPU-оборудовании, обслуживания больших моделей, непрерывной пакетной обработки.

pip install vllm
vllm serve meta-llama/Llama-3.1-70B-Instruct \
  --port 8000 \
  --max-model-len 65536 \
  --tensor-parallel-size 2 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

Затем настройте Hermes:

hermes model
# Выберите "Custom endpoint (self-hosted / VLLM / etc.)"
# Введите URL: http://localhost:8000/v1
# Пропустите API key (или введите, если настроили vLLM с --api-key)
# Введите имя модели: meta-llama/Llama-3.1-70B-Instruct

Длина контекста: vLLM читает max_position_embeddings модели по умолчанию. Если это превышает вашу память GPU, возникает ошибка с предложением установить --max-model-len ниже. Вы также можете использовать --max-model-len auto для автоматического поиска максимального подходящего значения. Установите --gpu-memory-utilization 0.95 (по умолчанию 0.9), чтобы выжать больше контекста в VRAM.

Вызов инструментов требует явных флагов:

Флаг Назначение
--enable-auto-tool-choice Требуется для tool_choice: "auto" (по умолчанию в Hermes)
--tool-call-parser <имя> Парсер для формата вызова инструментов модели

Поддерживаемые парсеры: hermes (Qwen 2.5, Hermes 2/3), llama3_json (Llama 3.x), mistral, deepseek_v3, deepseek_v31, xlam, pythonic. Без этих флагов вызовы инструментов не будут работать — модель будет выводить вызовы инструментов как текст.

vLLM поддерживает человеко-читаемые размеры: `--max-model-len 64k` (строчная k = 1000, заглавная K = 1024).

SGLang — Быстрое обслуживание с RadixAttention

SGLang — альтернатива vLLM с RadixAttention для повторного использования KV-кэша. Лучше всего подходит для: многоходовых разговоров (кэширование префиксов), ограниченной декодировки, структурированного вывода.

pip install "sglang[all]"
python -m sglang.launch_server \
  --model meta-llama/Llama-3.1-70B-Instruct \
  --port 30000 \
  --context-length 65536 \
  --tp 2 \
  --tool-call-parser qwen

Затем настройте Hermes:

hermes model
# Выберите "Custom endpoint (self-hosted / VLLM / etc.)"
# Введите URL: http://localhost:30000/v1
# Введите имя модели: meta-llama/Llama-3.1-70B-Instruct

Длина контекста: SGLang читает из конфига модели по умолчанию. Используйте --context-length для переопределения. Если вам нужно превысить заявленный максимум модели, установите SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1.

Вызов инструментов: Используйте --tool-call-parser с соответствующим парсером для вашего семейства моделей: qwen (Qwen 2.5), llama3, llama4, deepseekv3, mistral, glm. Без этого флага вызовы инструментов возвращаются как обычный текст.

caution SGLang по умолчанию даёт 128 токенов на вывод Если ответы кажутся обрезанными, добавьте max_tokens в ваши запросы или установите --default-max-tokens на сервере. По умолчанию SGLang выдаёт только 128 токенов на ответ, если не указано иное в запросе.

llama.cpp / llama-server — CPU и Metal инференс

llama.cpp запускает квантованные модели на CPU, Apple Silicon (Metal) и потребительских GPU. Лучше всего подходит для: запуска моделей без датацентрового GPU, пользователей Mac, периферийных развёртываний.

# Сборка и запуск llama-server
cmake -B build && cmake --build build --config Release
./build/bin/llama-server \
  --jinja -fa \
  -c 32768 \
  -ngl 99 \
  -m models/qwen2.5-coder-32b-instruct-Q4_K_M.gguf \
  --port 8080 --host 0.0.0.0

Длина контекста (-c): Последние сборки по умолчанию используют 0, что читает учебный контекст модели из метаданных GGUF. Для моделей с 128k+ учебным контекстом это может привести к нехватке памяти (OOM) при попытке выделить полный KV-кэш. Установите -c явно на то, что вам нужно (32k–64k — хороший диапазон для использования агентом). При использовании параллельных слотов (-np) общий контекст делится между слотами — при -c 32768 -np 4 каждый слот получает только 8k.

Затем настройте Hermes, чтобы он указывал на него:

hermes model
# Выберите "Custom endpoint (self-hosted / VLLM / etc.)"
# Введите URL: http://localhost:8080/v1
# Пропустите API key (локальные серверы не требуют)
# Введите имя модели — или оставьте пустым для автоопределения, если загружена только одна модель

Это сохраняет endpoint в config.yaml, так что он сохраняется между сессиями.

caution --jinja обязателен для вызова инструментов Без --jinja llama-server полностью игнорирует параметр tools. Модель будет пытаться вызывать инструменты, записывая JSON в текст ответа, но Hermes не распознает это как вызов инструмента — вы увидите сырой JSON вроде {"name": "web_search", ...}, напечатанный как сообщение, вместо реального поиска.

Нативная поддержка вызова инструментов (наилучшая производительность): Llama 3.x, Qwen 2.5 (включая Coder), Hermes 2/3, Mistral, DeepSeek, Functionary. Все остальные модели используют универсальный обработчик, который работает, но может быть менее эффективным. См. документацию llama.cpp по вызову функций для полного списка.

Вы можете проверить, активна ли поддержка инструментов, запросив http://localhost:8080/props — поле chat_template должно присутствовать.

Скачивайте GGUF-модели с [Hugging Face](https://huggingface.co/models?library=gguf). Квантование Q4_K_M предлагает наилучший баланс качества и использования памяти.

LM Studio — Десктопное приложение с локальными моделями

LM Studio — это десктопное приложение для запуска локальных моделей с графическим интерфейсом. Лучше всего подходит для: пользователей, предпочитающих визуальный интерфейс, быстрого тестирования моделей, разработчиков на macOS/Windows/Linux.

Запустите сервер из приложения LM Studio (вкладка Developer → Start Server) или используйте CLI:

lms server start                        # Запускается на порту 1234
lms load qwen2.5-coder --context-length 32768

Затем настройте Hermes:

hermes model
# Выберите "LM Studio"
# Нажмите Enter, чтобы использовать http://localhost:1234/v1
# Выберите одну из обнаруженных моделей
# Если аутентификация сервера LM Studio включена, введите LM_API_KEY при запросе

Hermes автоматически загрузит модель LM Studio с длиной контекста 64K

Чтобы изменить длину контекста в LM Studio:

  1. Нажмите на значок шестерёнки рядом с выбором модели

  2. Установите "Context Length" как минимум на 64000 для плавной работы

  3. Перезагрузите модель, чтобы изменения вступили в силу

  4. Если ваша машина не может вместить 64000, рассмотрите использование меньшей модели с большей длиной контекста.

Также можно использовать CLI: lms load model-name --context-length 64000

Вы можете использовать CLI для оценки, поместится ли модель: lms load model-name --context-length 64000 --estimate-only

Чтобы установить постоянные значения по умолчанию для каждой модели: вкладка My Models → значок шестерёнки на модели → установите размер контекста.

Вызов инструментов: Поддерживается с LM Studio 0.3.6. Модели с нативным обучением вызову инструментов (Qwen 2.5, Llama 3.x, Mistral, Hermes) автоопределяются и показываются со значком инструмента. Другие модели используют универсальный запасной вариант, который может быть менее надёжным.

Сеть WSL2 (пользователи Windows)

Поскольку Hermes Agent требует среду Unix, пользователи Windows запускают его внутри WSL2. Если ваш сервер моделей (Ollama, LM Studio и т.д.) работает на хосте Windows, вам нужно преодолеть сетевой разрыв — WSL2 использует виртуальный сетевой адаптер с собственным подсетью, поэтому localhost внутри WSL2 указывает на Linux VM, а не на хост Windows.

tip Оба в WSL2? Без проблем. Если ваш сервер моделей также работает внутри WSL2 (обычно для vLLM, SGLang и llama-server), localhost работает как ожидается — они используют одно и то же сетевое пространство имён. Пропустите этот раздел.

Доступен на Windows 11 22H2+, зеркальный режим позволяет localhost работать в обоих направлениях между Windows и WSL2 — самое простое решение.

  1. Создайте или отредактируйте %USERPROFILE%\.wslconfig (например, C:\Users\YourName\.wslconfig): ini [wsl2] networkingMode=mirrored

  2. Перезапустите WSL из PowerShell: powershell wsl --shutdown

  3. Откройте терминал WSL2 заново. localhost теперь достигает сервисов Windows: bash curl http://localhost:11434/v1/models # Ollama на Windows — работает

note Брандмауэр Hyper-V На некоторых сборках Windows 11 брандмауэр Hyper-V блокирует зеркальные соединения по умолчанию. Если localhost всё ещё не работает после включения зеркального режима, выполните это в PowerShell с правами администратора:

Set-NetFirewallHyperVVMSetting -Name '{40E0AC32-46A5-438A-A0B2-2B479E8F2E90}' -DefaultInboundAction Allow

Вариант 2: Используйте IP-адрес хоста Windows (Windows 10 / старые сборки)

Если вы не можете использовать зеркальный режим, найдите IP-адрес хоста Windows изнутри WSL2 и используйте его вместо localhost:

# Получить IP-адрес хоста Windows (шлюз по умолчанию виртуальной сети WSL2)
ip route show | grep -i default | awk '{ print $3 }'
# Пример вывода: 172.29.192.1

Используйте этот IP в вашей конфигурации Hermes:

model:
  default: qwen2.5-coder:32b
  provider: custom
  base_url: http://172.29.192.1:11434/v1   # IP хоста Windows, а не localhost

tip Динамический хелпер IP-адрес хоста может измениться при перезапуске WSL2. Вы можете получить его динамически в вашей оболочке:

export WSL_HOST=$(ip route show | grep -i default | awk '{ print $3 }')
echo "Хост Windows: $WSL_HOST"
curl http://$WSL_HOST:11434/v1/models   # Проверка Ollama

Или используйте mDNS-имя вашей машины (требуется libnss-mdns в WSL2):

sudo apt install libnss-mdns
curl http://$(hostname).local:11434/v1/models

Адрес привязки сервера (требуется для NAT-режима)

Если вы используете Вариант 2 (NAT-режим с IP хоста), сервер моделей на Windows должен принимать соединения извне 127.0.0.1. По умолчанию большинство серверов слушают только на localhost — соединения WSL2 в NAT-режиме приходят из другой виртуальной подсети и будут отклонены. В зеркальном режиме localhost отображается напрямую, поэтому привязка по умолчанию к 127.0.0.1 работает нормально.

Сервер Привязка по умолчанию Как исправить
Ollama 127.0.0.1 Установите переменную окружения OLLAMA_HOST=0.0.0.0 перед запуском Ollama (Системные настройки → Переменные среды в Windows, или отредактируйте службу Ollama)
LM Studio 127.0.0.1 Включите "Serve on Network" на вкладке Developer → Настройки сервера
llama-server 127.0.0.1 Добавьте --host 0.0.0.0 в команду запуска
vLLM 0.0.0.0 Уже привязан ко всем интерфейсам по умолчанию
SGLang 127.0.0.1 Добавьте --host 0.0.0.0 в команду запуска

Ollama на Windows (подробно): Ollama запускается как служба Windows. Чтобы установить OLLAMA_HOST:

  1. Откройте Свойства системы → Переменные среды

  2. Добавьте новую Системную переменную: OLLAMA_HOST = 0.0.0.0

  3. Перезапустите службу Ollama (или перезагрузите компьютер)

Брандмауэр Windows

Брандмауэр Windows рассматривает WSL2 как отдельную сеть (как в NAT, так и в зеркальном режиме). Если соединения всё равно не работают после выполнения шагов выше, добавьте правило брандмауэра для порта вашего сервера моделей:

# Запустите в PowerShell с правами администратора — замените PORT на порт вашего сервера
New-NetFirewallRule -DisplayName "Allow WSL2 to Model Server" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434

Стандартные порты: Ollama 11434, vLLM 8000, SGLang 30000, llama-server 8080, LM Studio 1234.

Быстрая проверка

Изнутри WSL2 проверьте, что вы можете достичь вашего сервера моделей:

# Замените URL на адрес и порт вашего сервера
curl http://localhost:11434/v1/models          # Зеркальный режим
curl http://172.29.192.1:11434/v1/models       # NAT-режим (используйте ваш реальный IP хоста)

Если вы получаете JSON-ответ со списком ваших моделей, всё в порядке. Используйте тот же URL в качестве base_url в вашей конфигурации Hermes.

Устранение неполадок локальных моделей

Эти проблемы затрагивают все локальные серверы инференса при использовании с Hermes.

"Connection refused" из WSL2 к серверу моделей на Windows

Если вы запускаете Hermes внутри WSL2, а ваш сервер моделей на хосте Windows, http://localhost:<port> не будет работать в режиме NAT-сети WSL2 по умолчанию. См. Сеть WSL2 выше для решения.

Вызовы инструментов отображаются как текст вместо выполнения

Модель выводит что-то вроде {"name": "web_search", "arguments": {...}} как сообщение вместо фактического вызова инструмента.

Причина: На вашем сервере не включена поддержка вызова инструментов, или модель не поддерживает её через реализацию вызова инструментов сервера.

Сервер Решение
llama.cpp Добавьте --jinja в команду запуска
vLLM Добавьте --enable-auto-tool-choice --tool-call-parser hermes
SGLang Добавьте --tool-call-parser qwen (или соответствующий парсер)
Ollama Вызов инструментов включён по умолчанию — убедитесь, что ваша модель поддерживает его (проверьте командой ollama show model-name)
LM Studio Обновитесь до 0.3.6+ и используйте модель с нативной поддержкой инструментов

Модель забывает контекст или даёт бессвязные ответы

Причина: Окно контекста слишком мало. Когда разговор превышает лимит контекста, большинство серверов молча удаляют старые сообщения. Системный промпт + схемы инструментов Hermes могут занимать 4k–8k токенов.

Диагностика:

# Проверьте, что Hermes думает о контексте
# Посмотрите на строку запуска: "Context limit: X tokens"

# Проверьте фактический контекст вашего сервера
# Ollama: ollama ps (столбец CONTEXT)
# llama.cpp: curl http://localhost:8080/props | jq '.default_generation_settings.n_ctx'
# vLLM: проверьте --max-model-len в аргументах запуска

Решение: Установите контекст как минимум на 32,768 токенов для использования агентом. См. раздел каждого сервера выше для конкретного флага.

"Context limit: 2048 tokens" при запуске

Hermes автоопределяет длину контекста из endpoint /v1/models вашего сервера. Если сервер сообщает низкое значение (или не сообщает его вообще), Hermes использует заявленный лимит модели, который может быть неверным.

Решение: Установите его явно в config.yaml:

model:
  default: your-model
  provider: custom
  base_url: http://localhost:11434/v1
  context_length: 32768

Ответы обрываются на полуслове

Возможные причины:

  1. Низкий лимит вывода (max_tokens) на сервере — SGLang по умолчанию даёт 128 токенов на ответ. Установите --default-max-tokens на сервере или настройте Hermes с model.max_tokens в config.yaml. Примечание: max_tokens управляет только длиной ответа — он не связан с тем, насколько длинной может быть история вашего разговора (это context_length).

  2. Истощение контекста — Модель заполнила своё окно контекста. Увеличьте model.context_length или включите сжатие контекста в Hermes.

LiteLLM Proxy — Мульти-провайдерный шлюз

LiteLLM — это OpenAI-совместимый прокси, который объединяет 100+ LLM провайдеров за одним API. Лучше всего подходит для: переключения между провайдерами без изменения конфигурации, балансировки нагрузки, цепочек резервирования, контроля бюджета.

# Установка и запуск
pip install "litellm[proxy]"
litellm --model anthropic/claude-sonnet-4 --port 4000

# Или с конфигурационным файлом для нескольких моделей:
litellm --config litellm_config.yaml --port 4000

Затем настройте Hermes с помощью hermes model → Custom endpoint → http://localhost:4000/v1.

Пример litellm_config.yaml с резервированием:

model_list:
  - model_name: "best"
    litellm_params:
      model: anthropic/claude-sonnet-4
      api_key: sk-ant-...
  - model_name: "best"
    litellm_params:
      model: openai/gpt-4o
      api_key: sk-...
router_settings:
  routing_strategy: "latency-based-routing"

ClawRouter — Маршрутизация с оптимизацией стоимости

ClawRouter от BlockRunAI — это локальный прокси-маршрутизатор, который автоматически выбирает модели на основе сложности запроса. Он классифицирует запросы по 14 измерениям и направляет на самую дешёвую модель, способную выполнить задачу. Оплата производится через криптовалюту USDC (никаких API-ключей не требуется).

# Установка и запуск
npx @blockrun/clawrouter    # Запускается на порту 8402

Затем настройте Hermes с помощью hermes model → Custom endpoint → http://localhost:8402/v1 → имя модели blockrun/auto.

Профили маршрутизации: | Профиль | Стратегия | Экономия | |---------|-----------|----------| | blockrun/auto | Сбалансированное качество/стоимость | 74-100% | | blockrun/eco | Максимально дёшево | 95-100% | | blockrun/premium | Лучшие модели по качеству | 0% | | blockrun/free | Только бесплатные модели | 100% | | blockrun/agentic | Оптимизировано для использования инструментов | варьируется |

ClawRouter требует кошелёк с USDC на Base или Solana для оплаты. Все запросы проходят через бэкенд API BlockRun. Выполните `npx @blockrun/clawrouter doctor`, чтобы проверить статус кошелька.

Другие совместимые провайдеры

Любой сервис с OpenAI-совместимым API работает. Некоторые популярные варианты:

Провайдер Базовый URL Примечания
Together AI https://api.together.xyz/v1 Облачные открытые модели
Groq https://api.groq.com/openai/v1 Сверхбыстрый инференс
DeepSeek https://api.deepseek.com/v1 Модели DeepSeek
Fireworks AI https://api.fireworks.ai/inference/v1 Быстрый хостинг открытых моделей
GMI Cloud https://api.gmi-serving.com/v1 Управляемый OpenAI-совместимый инференс
Cerebras https://api.cerebras.ai/v1 Инференс на wafer-scale чипах
Mistral AI https://api.mistral.ai/v1 Модели Mistral
OpenAI https://api.openai.com/v1 Прямой доступ к OpenAI
Azure OpenAI https://YOUR.openai.azure.com/ Корпоративный OpenAI
LocalAI http://localhost:8080/v1 Самостоятельно размещённый, мульти-модельный
Jan http://localhost:1337/v1 Десктопное приложение с локальными моделями