Настройка моделей

Руководство по настройке LLM моделей в OneAPA.

Справочник "Модели"

Модели LLM настраиваются в справочнике APA_Модели.

Реквизиты модели

Реквизит	Тип	Описание
Наименование	Строка	Название модели для отображения
Провайдер	Перечисление	Тип LLM провайдера
Ключ	Строка	API ключ или токен
Каталог	Строка	Модель или folder_id
URL	Строка	URL для локальных провайдеров

Поддерживаемые провайдеры

Провайдер	Значение	Примечание
Yandex GPT	Yandex	Yandex Cloud
OpenAI	OpenAI	OpenAI API
OpenRouter	OpenRouter	Множество моделей
Ollama	LocalOllama	Локальные модели
Sber	Sber	GigaChat

Настройка OpenAI

Получение API ключа

1. Зарегистрируйтесь на platform.openai.com

2. Перейдите в API Keys

3. Создайте новый ключ

4. Скопируйте ключ (он показывается один раз)

Создание модели

Поле	Значение
Наименование	OpenAI GPT-4o
Провайдер	OpenAI
Ключ	sk-proj-...
Каталог	gpt-4o
URL	(пусто)

Доступные модели OpenAI

Модель	Особенности
gpt-4o	Мультимодальная, быстрая
gpt-4o-mini	Экономичная
gpt-4-turbo	Большой контекст
gpt-4	Классическая GPT-4
o1	Reasoning модель
o3	Reasoning модель

Модели o1 и o3 — reasoning модели с улучшенными возможностями рассуждения. Для них автоматически применяется temperature=1.

Настройка Yandex GPT

Получение доступа

1. Создайте аккаунт в Yandex Cloud

2. Активируйте сервис YandexGPT

3. Получите IAM токен

4. Скопируйте folder_id каталога

Получение IAM токена

# Через CLI
yc iam create-token

# Или через API
curl -X POST \
  -H "Content-Type: application/json" \
  -d '{"yandexPassportOauthToken":"<OAuth_token>"}' \
  https://iam.api.cloud.yandex.net/iam/v1/tokens

Создание модели

Поле	Значение
Наименование	Yandex GPT
Провайдер	Yandex
Ключ	(IAM токен)
Каталог	(folder_id)
URL	(пусто)

IAM токен действует ограниченное время (12 часов). Настройте автоматическое обновление токена.

Настройка Ollama

Установка Ollama

# Linux/Mac
curl -fsSL https://ollama.com/install.sh | sh

# Windows
# Скачайте установщик с https://ollama.com/download

Загрузка модели

# Загрузка модели
ollama pull llama3

# Проверка
ollama list

Создание модели

Поле	Значение
Наименование	Ollama Llama3
Провайдер	LocalOllama
Ключ	(пусто)
Каталог	llama3
URL	http://localhost:11434

Рекомендуемые модели Ollama

Модель	Размер	VRAM	Качество
llama3	8B	8 ГБ	⭐⭐⭐⭐
llama3:70b	70B	48 ГБ	⭐⭐⭐⭐⭐
mistral	7B	8 ГБ	⭐⭐⭐⭐
qwen2.5	7B	8 ГБ	⭐⭐⭐⭐
gemma2	9B	10 ГБ	⭐⭐⭐⭐

Настройка OpenRouter

Получение API ключа

1. Зарегистрируйтесь на openrouter.ai

2. Пополните баланс

3. Создайте API ключ

Создание модели

Поле	Значение
Наименование	OpenRouter Claude
Провайдер	OpenRouter
Ключ	sk-or-...
Каталог	anthropic/claude-3-sonnet
URL	(пусто)

Доступные модели OpenRouter

Модель	ID
Claude 3 Opus	anthropic/claude-3-opus
Claude 3 Sonnet	anthropic/claude-3-sonnet
Llama 3 70B	meta-llama/llama-3-70b-instruct
Mistral Large	mistralai/mistral-large

Настройка Sber GigaChat

Получение доступа

1. Зарегистрируйтесь на developers.sber.ru

2. Подключите GigaChat API

3. Получите API ключ

Создание модели

Поле	Значение
Наименование	Sber GigaChat
Провайдер	Sber
Ключ	(API ключ)
Каталог	GigaChat
URL	(пусто)

Выбор модели для агента

В справочнике "Агенты"

При создании или редактировании агента выберите модель в поле "Модель":

┌─────────────────────────────────────────────────────────────┐
│  Модель: [OpenAI GPT-4o                            ▼]      │
└─────────────────────────────────────────────────────────────┘

Критерии выбора

Критерий	Рекомендация
Качество ответов	OpenAI GPT-4o, Claude
Скорость	GPT-4o-mini, Mistral
Конфиденциальность	Ollama
Экономия	Ollama, GPT-4o-mini
Работа с изображениями	GPT-4o, GPT-4-turbo

Тестирование модели

Быстрая проверка

1. Создайте тестового агента с моделью

2. Откройте чат

3. Отправьте простое сообщение: "Привет!"

4. Проверьте получение ответа

Расширенная проверка

Тест 1: Простой вопрос
> Какой сегодня день недели?

Тест 2: Логическая задача
> Если у меня 3 яблока и я отдал 1, сколько осталось?

Тест 3: Генерация текста
> Напиши короткое приветствие для пользователя.

Устранение проблем

Ошибка авторизации

Провайдер	Причина	Решение
OpenAI	Неверный ключ	Проверьте API ключ
OpenAI	Недостаточно средств	Пополните баланс
Yandex	Истёк IAM токен	Обновите токен
Ollama	Сервер недоступен	Проверьте запуск Ollama

Медленные ответы

1. Проверьте скорость сети

2. Попробуйте более лёгкую модель

3. Для Ollama — проверьте использование GPU

Некачественные ответы

1. Попробуйте более мощную модель

2. Улучшите системный промпт агента

3. Добавьте примеры в промпт

Далее

Настройка MCP