Ollama

Настройка Ollama для локального запуска LLM в OneAPA.

Обзор

Ollama — инструмент для локального запуска языковых моделей.

Преимущества

Преимущество	Описание
Конфиденциальность	Данные не покидают вашу сеть
Бесплатно	Нет платы за токены
Автономность	Работает без интернета
Контроль	Полный контроль над моделью

Ограничения

Ограничение	Описание
Оборудование	Требуется мощный GPU или много RAM
Качество	Уступает топовым облачным моделям
Настройка	Требует установки и настройки

Установка Ollama

Windows

1. Скачайте установщик с ollama.com/download

2. Запустите установщик

3. Следуйте инструкциям

Linux

curl -fsSL https://ollama.com/install.sh | sh

macOS

brew install ollama

Docker

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Загрузка моделей

Команда pull

# Загрузка модели
ollama pull llama3

# Загрузка конкретной версии
ollama pull llama3:8b
ollama pull llama3:70b

Проверка моделей

# Список загруженных моделей
ollama list

Тестирование

# Запуск в режиме чата
ollama run llama3

Рекомендуемые модели

Для GPU 8 ГБ

Модель	Размер	Качество
llama3	8B	⭐⭐⭐⭐
mistral	7B	⭐⭐⭐⭐
qwen2.5	7B	⭐⭐⭐⭐
gemma2	9B	⭐⭐⭐⭐

Для GPU 16-24 ГБ

Модель	Размер	Качество
llama3:13b	13B	⭐⭐⭐⭐
mixtral	8x7B	⭐⭐⭐⭐⭐
qwen2.5:14b	14B	⭐⭐⭐⭐⭐

Для GPU 48+ ГБ или CPU

Модель	Размер	Качество
llama3:70b	70B	⭐⭐⭐⭐⭐
qwen2.5:72b	72B	⭐⭐⭐⭐⭐

Для Vision (изображения)

Модель	Размер	Описание
llava	7B	Анализ изображений
bakllava	7B	Улучшенная llava

Настройка в OneAPA

Создание модели

Поле	Значение
Наименование	Ollama Llama3
Провайдер	LocalOllama
Ключ	(пусто)
Каталог	llama3
URL	http://localhost:11434

Примеры

Llama 3 8B:

Наименование: Ollama Llama3
Провайдер: LocalOllama
Ключ: 
Каталог: llama3
URL: http://localhost:11434

Mistral 7B:

Наименование: Ollama Mistral
Провайдер: LocalOllama
Ключ: 
Каталог: mistral
URL: http://localhost:11434

На удалённом сервере:

Наименование: Ollama Remote
Провайдер: LocalOllama
Ключ: 
Каталог: llama3
URL: http://192.168.1.100:11434

Требования к оборудованию

Минимальные

Параметр	Значение
CPU	4 ядра
RAM	8 ГБ
Модели	До 3B

Рекомендуемые (7-8B модели)

Параметр	Значение
GPU	NVIDIA 8+ ГБ VRAM
RAM	16 ГБ
Диск	SSD 50 ГБ

Для больших моделей (70B)

Параметр	Значение
GPU	NVIDIA 48+ ГБ VRAM
или RAM	64+ ГБ (CPU режим)
Диск	SSD 100+ ГБ

Оптимизация производительности

Использование GPU

Убедитесь, что установлены драйверы NVIDIA и CUDA:

# Проверка
nvidia-smi

Количество потоков (CPU)

# Установка количества потоков
OLLAMA_NUM_THREAD=8 ollama serve

Количество GPU слоёв

# Использование GPU для части модели
OLLAMA_NUM_GPU=35 ollama serve

Запуск как сервис

Linux (systemd)

# Ollama автоматически устанавливается как сервис
sudo systemctl status ollama
sudo systemctl start ollama
sudo systemctl enable ollama

Windows

Ollama запускается автоматически после установки.

Docker

docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ollama:/root/.ollama \
  --gpus all \
  --restart unless-stopped \
  ollama/ollama

Сетевой доступ

Разрешение внешних подключений

По умолчанию Ollama слушает только localhost. Для доступа с других машин:

# Linux
OLLAMA_HOST=0.0.0.0:11434 ollama serve

# Или в /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0:11434"

Проверка доступности

# С локальной машины
curl http://localhost:11434/api/version

# С удалённой машины
curl http://ollama-server:11434/api/version

Устранение проблем

Ollama не запускается

Причина	Решение
Порт занят	Измените порт или остановите другой процесс
Нет прав	Запустите с правами администратора

Модель не загружается

Причина	Решение
Нет места на диске	Освободите место
Сетевая ошибка	Проверьте интернет

Медленная работа

Причина	Решение
Нет GPU	Модель работает на CPU — это медленно
Мало VRAM	Часть модели загружается в RAM
Слабый CPU	Используйте меньшую модель

Ошибка подключения из 1С

Причина	Решение
Ollama не запущен	Запустите ollama serve
Неверный URL	Проверьте адрес и порт
Firewall	Откройте порт 11434

Далее

Sber GigaChat