Настройка моделей

Руководство по настройке LLM моделей в OneAPA.

Справочник "Модели"

Модели LLM настраиваются в справочнике APA_Модели.

Реквизиты модели

Реквизит
Тип
Описание

Наименование

Строка

Название модели для отображения

Провайдер

Перечисление

Тип LLM провайдера

Ключ

Строка

API ключ или токен

Каталог

Строка

Модель или folder_id

URL

Строка

URL для локальных провайдеров

Поддерживаемые провайдеры

Провайдер
Значение
Примечание

Yandex GPT

Yandex

Yandex Cloud

OpenAI

OpenAI

OpenAI API

OpenRouter

OpenRouter

Множество моделей

Ollama

LocalOllama

Локальные модели

Sber

Sber

GigaChat

Настройка OpenAI

Получение API ключа

  1. Зарегистрируйтесь на platform.openai.comarrow-up-right

  2. Перейдите в API Keys

  3. Создайте новый ключ

  4. Скопируйте ключ (он показывается один раз)

Создание модели

Поле
Значение

Наименование

OpenAI GPT-4o

Провайдер

OpenAI

Ключ

sk-proj-...

Каталог

gpt-4o

URL

(пусто)

Доступные модели OpenAI

Модель
Особенности

gpt-4o

Мультимодальная, быстрая

gpt-4o-mini

Экономичная

gpt-4-turbo

Большой контекст

gpt-4

Классическая GPT-4

o1

Reasoning модель

o3

Reasoning модель

circle-info

Модели o1 и o3 — reasoning модели с улучшенными возможностями рассуждения. Для них автоматически применяется temperature=1.

Настройка Yandex GPT

Получение доступа

  1. Создайте аккаунт в Yandex Cloudarrow-up-right

  2. Активируйте сервис YandexGPT

  3. Получите IAM токен

  4. Скопируйте folder_id каталога

Получение IAM токена

Создание модели

Поле
Значение

Наименование

Yandex GPT

Провайдер

Yandex

Ключ

(IAM токен)

Каталог

(folder_id)

URL

(пусто)

circle-exclamation

Настройка Ollama

Установка Ollama

Загрузка модели

Создание модели

Поле
Значение

Наименование

Ollama Llama3

Провайдер

LocalOllama

Ключ

(пусто)

Каталог

llama3

URL

http://localhost:11434

Рекомендуемые модели Ollama

Модель
Размер
VRAM
Качество

llama3

8B

8 ГБ

⭐⭐⭐⭐

llama3:70b

70B

48 ГБ

⭐⭐⭐⭐⭐

mistral

7B

8 ГБ

⭐⭐⭐⭐

qwen2.5

7B

8 ГБ

⭐⭐⭐⭐

gemma2

9B

10 ГБ

⭐⭐⭐⭐

Настройка OpenRouter

Получение API ключа

  1. Зарегистрируйтесь на openrouter.aiarrow-up-right

  2. Пополните баланс

  3. Создайте API ключ

Создание модели

Поле
Значение

Наименование

OpenRouter Claude

Провайдер

OpenRouter

Ключ

sk-or-...

Каталог

anthropic/claude-3-sonnet

URL

(пусто)

Доступные модели OpenRouter

Модель
ID

Claude 3 Opus

anthropic/claude-3-opus

Claude 3 Sonnet

anthropic/claude-3-sonnet

Llama 3 70B

meta-llama/llama-3-70b-instruct

Mistral Large

mistralai/mistral-large

Настройка Sber GigaChat

Получение доступа

  1. Зарегистрируйтесь на developers.sber.ruarrow-up-right

  2. Подключите GigaChat API

  3. Получите API ключ

Создание модели

Поле
Значение

Наименование

Sber GigaChat

Провайдер

Sber

Ключ

(API ключ)

Каталог

GigaChat

URL

(пусто)

Выбор модели для агента

В справочнике "Агенты"

При создании или редактировании агента выберите модель в поле "Модель":

Критерии выбора

Критерий
Рекомендация

Качество ответов

OpenAI GPT-4o, Claude

Скорость

GPT-4o-mini, Mistral

Конфиденциальность

Ollama

Экономия

Ollama, GPT-4o-mini

Работа с изображениями

GPT-4o, GPT-4-turbo

Тестирование модели

Быстрая проверка

  1. Создайте тестового агента с моделью

  2. Откройте чат

  3. Отправьте простое сообщение: "Привет!"

  4. Проверьте получение ответа

Расширенная проверка

Устранение проблем

Ошибка авторизации

Провайдер
Причина
Решение

OpenAI

Неверный ключ

Проверьте API ключ

OpenAI

Недостаточно средств

Пополните баланс

Yandex

Истёк IAM токен

Обновите токен

Ollama

Сервер недоступен

Проверьте запуск Ollama

Медленные ответы

  1. Проверьте скорость сети

  2. Попробуйте более лёгкую модель

  3. Для Ollama — проверьте использование GPU

Некачественные ответы

  1. Попробуйте более мощную модель

  2. Улучшите системный промпт агента

  3. Добавьте примеры в промпт

Далее

Настройка MCPchevron-right

Last updated