> For the complete documentation index, see [llms.txt](https://docs.onerpa.ru/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.onerpa.ru/ai-platforma-oneapa/provajdery-llm/ollama.md).

# Ollama

Настройка Ollama для локального запуска LLM в OneAPA.

## Обзор

**Ollama** — инструмент для локального запуска языковых моделей.

### Преимущества

| Преимущество       | Описание                     |
| ------------------ | ---------------------------- |
| Конфиденциальность | Данные не покидают вашу сеть |
| Бесплатно          | Нет платы за токены          |
| Автономность       | Работает без интернета       |
| Контроль           | Полный контроль над моделью  |

### Ограничения

| Ограничение  | Описание                           |
| ------------ | ---------------------------------- |
| Оборудование | Требуется мощный GPU или много RAM |
| Качество     | Уступает топовым облачным моделям  |
| Настройка    | Требует установки и настройки      |

## Установка Ollama

### Windows

1. Скачайте установщик с [ollama.com/download](https://ollama.com/download)
2. Запустите установщик
3. Следуйте инструкциям

### Linux

```bash
curl -fsSL https://ollama.com/install.sh | sh
```

### macOS

```bash
brew install ollama
```

### Docker

```bash
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
```

## Загрузка моделей

### Команда pull

```bash
# Загрузка модели
ollama pull llama3

# Загрузка конкретной версии
ollama pull llama3:8b
ollama pull llama3:70b
```

### Проверка моделей

```bash
# Список загруженных моделей
ollama list
```

### Тестирование

```bash
# Запуск в режиме чата
ollama run llama3
```

## Рекомендуемые модели

### Для GPU 8 ГБ

| Модель  | Размер | Качество |
| ------- | ------ | -------- |
| llama3  | 8B     | ⭐⭐⭐⭐     |
| mistral | 7B     | ⭐⭐⭐⭐     |
| qwen2.5 | 7B     | ⭐⭐⭐⭐     |
| gemma2  | 9B     | ⭐⭐⭐⭐     |

### Для GPU 16-24 ГБ

| Модель      | Размер | Качество |
| ----------- | ------ | -------- |
| llama3:13b  | 13B    | ⭐⭐⭐⭐     |
| mixtral     | 8x7B   | ⭐⭐⭐⭐⭐    |
| qwen2.5:14b | 14B    | ⭐⭐⭐⭐⭐    |

### Для GPU 48+ ГБ или CPU

| Модель      | Размер | Качество |
| ----------- | ------ | -------- |
| llama3:70b  | 70B    | ⭐⭐⭐⭐⭐    |
| qwen2.5:72b | 72B    | ⭐⭐⭐⭐⭐    |

### Для Vision (изображения)

| Модель   | Размер | Описание           |
| -------- | ------ | ------------------ |
| llava    | 7B     | Анализ изображений |
| bakllava | 7B     | Улучшенная llava   |

## Настройка в OneAPA

### Создание модели

| Поле         | Значение                 |
| ------------ | ------------------------ |
| Наименование | Ollama Llama3            |
| Провайдер    | LocalOllama              |
| Ключ         | (пусто)                  |
| Каталог      | llama3                   |
| URL          | <http://localhost:11434> |

### Примеры

**Llama 3 8B:**

```
Наименование: Ollama Llama3
Провайдер: LocalOllama
Ключ: 
Каталог: llama3
URL: http://localhost:11434
```

**Mistral 7B:**

```
Наименование: Ollama Mistral
Провайдер: LocalOllama
Ключ: 
Каталог: mistral
URL: http://localhost:11434
```

**На удалённом сервере:**

```
Наименование: Ollama Remote
Провайдер: LocalOllama
Ключ: 
Каталог: llama3
URL: http://192.168.1.100:11434
```

## Требования к оборудованию

### Минимальные

| Параметр | Значение |
| -------- | -------- |
| CPU      | 4 ядра   |
| RAM      | 8 ГБ     |
| Модели   | До 3B    |

### Рекомендуемые (7-8B модели)

| Параметр | Значение          |
| -------- | ----------------- |
| GPU      | NVIDIA 8+ ГБ VRAM |
| RAM      | 16 ГБ             |
| Диск     | SSD 50 ГБ         |

### Для больших моделей (70B)

| Параметр | Значение           |
| -------- | ------------------ |
| GPU      | NVIDIA 48+ ГБ VRAM |
| или RAM  | 64+ ГБ (CPU режим) |
| Диск     | SSD 100+ ГБ        |

## Оптимизация производительности

### Использование GPU

Убедитесь, что установлены драйверы NVIDIA и CUDA:

```bash
# Проверка
nvidia-smi
```

### Количество потоков (CPU)

```bash
# Установка количества потоков
OLLAMA_NUM_THREAD=8 ollama serve
```

### Количество GPU слоёв

```bash
# Использование GPU для части модели
OLLAMA_NUM_GPU=35 ollama serve
```

## Запуск как сервис

### Linux (systemd)

```bash
# Ollama автоматически устанавливается как сервис
sudo systemctl status ollama
sudo systemctl start ollama
sudo systemctl enable ollama
```

### Windows

Ollama запускается автоматически после установки.

### Docker

```bash
docker run -d \
  --name ollama \
  -p 11434:11434 \
  -v ollama:/root/.ollama \
  --gpus all \
  --restart unless-stopped \
  ollama/ollama
```

## Сетевой доступ

### Разрешение внешних подключений

По умолчанию Ollama слушает только localhost. Для доступа с других машин:

```bash
# Linux
OLLAMA_HOST=0.0.0.0:11434 ollama serve

# Или в /etc/systemd/system/ollama.service
Environment="OLLAMA_HOST=0.0.0.0:11434"
```

### Проверка доступности

```bash
# С локальной машины
curl http://localhost:11434/api/version

# С удалённой машины
curl http://ollama-server:11434/api/version
```

## Устранение проблем

### Ollama не запускается

| Причина    | Решение                                     |
| ---------- | ------------------------------------------- |
| Порт занят | Измените порт или остановите другой процесс |
| Нет прав   | Запустите с правами администратора          |

### Модель не загружается

| Причина            | Решение            |
| ------------------ | ------------------ |
| Нет места на диске | Освободите место   |
| Сетевая ошибка     | Проверьте интернет |

### Медленная работа

| Причина    | Решение                               |
| ---------- | ------------------------------------- |
| Нет GPU    | Модель работает на CPU — это медленно |
| Мало VRAM  | Часть модели загружается в RAM        |
| Слабый CPU | Используйте меньшую модель            |

### Ошибка подключения из 1С

| Причина           | Решение                  |
| ----------------- | ------------------------ |
| Ollama не запущен | Запустите `ollama serve` |
| Неверный URL      | Проверьте адрес и порт   |
| Firewall          | Откройте порт 11434      |

## Далее

{% content-ref url="/pages/Vk0UAtlAjkEhS95SLdrB" %}
[Sber GigaChat](/ai-platforma-oneapa/provajdery-llm/sber.md)
{% endcontent-ref %}