# Ollama Настройка Ollama для локального запуска LLM в OneAPA. ## Обзор **Ollama** — инструмент для локального запуска языковых моделей. ### Преимущества | Преимущество | Описание | | ------------------ | ---------------------------- | | Конфиденциальность | Данные не покидают вашу сеть | | Бесплатно | Нет платы за токены | | Автономность | Работает без интернета | | Контроль | Полный контроль над моделью | ### Ограничения | Ограничение | Описание | | ------------ | ---------------------------------- | | Оборудование | Требуется мощный GPU или много RAM | | Качество | Уступает топовым облачным моделям | | Настройка | Требует установки и настройки | ## Установка Ollama ### Windows 1. Скачайте установщик с [ollama.com/download](https://ollama.com/download) 2. Запустите установщик 3. Следуйте инструкциям ### Linux ```bash curl -fsSL https://ollama.com/install.sh | sh ``` ### macOS ```bash brew install ollama ``` ### Docker ```bash docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama ``` ## Загрузка моделей ### Команда pull ```bash # Загрузка модели ollama pull llama3 # Загрузка конкретной версии ollama pull llama3:8b ollama pull llama3:70b ``` ### Проверка моделей ```bash # Список загруженных моделей ollama list ``` ### Тестирование ```bash # Запуск в режиме чата ollama run llama3 ``` ## Рекомендуемые модели ### Для GPU 8 ГБ | Модель | Размер | Качество | | ------- | ------ | -------- | | llama3 | 8B | ⭐⭐⭐⭐ | | mistral | 7B | ⭐⭐⭐⭐ | | qwen2.5 | 7B | ⭐⭐⭐⭐ | | gemma2 | 9B | ⭐⭐⭐⭐ | ### Для GPU 16-24 ГБ | Модель | Размер | Качество | | ----------- | ------ | -------- | | llama3:13b | 13B | ⭐⭐⭐⭐ | | mixtral | 8x7B | ⭐⭐⭐⭐⭐ | | qwen2.5:14b | 14B | ⭐⭐⭐⭐⭐ | ### Для GPU 48+ ГБ или CPU | Модель | Размер | Качество | | ----------- | ------ | -------- | | llama3:70b | 70B | ⭐⭐⭐⭐⭐ | | qwen2.5:72b | 72B | ⭐⭐⭐⭐⭐ | ### Для Vision (изображения) | Модель | Размер | Описание | | -------- | ------ | ------------------ | | llava | 7B | Анализ изображений | | bakllava | 7B | Улучшенная llava | ## Настройка в OneAPA ### Создание модели | Поле | Значение | | ------------ | ------------------------ | | Наименование | Ollama Llama3 | | Провайдер | LocalOllama | | Ключ | (пусто) | | Каталог | llama3 | | URL | | ### Примеры **Llama 3 8B:** ``` Наименование: Ollama Llama3 Провайдер: LocalOllama Ключ: Каталог: llama3 URL: http://localhost:11434 ``` **Mistral 7B:** ``` Наименование: Ollama Mistral Провайдер: LocalOllama Ключ: Каталог: mistral URL: http://localhost:11434 ``` **На удалённом сервере:** ``` Наименование: Ollama Remote Провайдер: LocalOllama Ключ: Каталог: llama3 URL: http://192.168.1.100:11434 ``` ## Требования к оборудованию ### Минимальные | Параметр | Значение | | -------- | -------- | | CPU | 4 ядра | | RAM | 8 ГБ | | Модели | До 3B | ### Рекомендуемые (7-8B модели) | Параметр | Значение | | -------- | ----------------- | | GPU | NVIDIA 8+ ГБ VRAM | | RAM | 16 ГБ | | Диск | SSD 50 ГБ | ### Для больших моделей (70B) | Параметр | Значение | | -------- | ------------------ | | GPU | NVIDIA 48+ ГБ VRAM | | или RAM | 64+ ГБ (CPU режим) | | Диск | SSD 100+ ГБ | ## Оптимизация производительности ### Использование GPU Убедитесь, что установлены драйверы NVIDIA и CUDA: ```bash # Проверка nvidia-smi ``` ### Количество потоков (CPU) ```bash # Установка количества потоков OLLAMA_NUM_THREAD=8 ollama serve ``` ### Количество GPU слоёв ```bash # Использование GPU для части модели OLLAMA_NUM_GPU=35 ollama serve ``` ## Запуск как сервис ### Linux (systemd) ```bash # Ollama автоматически устанавливается как сервис sudo systemctl status ollama sudo systemctl start ollama sudo systemctl enable ollama ``` ### Windows Ollama запускается автоматически после установки. ### Docker ```bash docker run -d \ --name ollama \ -p 11434:11434 \ -v ollama:/root/.ollama \ --gpus all \ --restart unless-stopped \ ollama/ollama ``` ## Сетевой доступ ### Разрешение внешних подключений По умолчанию Ollama слушает только localhost. Для доступа с других машин: ```bash # Linux OLLAMA_HOST=0.0.0.0:11434 ollama serve # Или в /etc/systemd/system/ollama.service Environment="OLLAMA_HOST=0.0.0.0:11434" ``` ### Проверка доступности ```bash # С локальной машины curl http://localhost:11434/api/version # С удалённой машины curl http://ollama-server:11434/api/version ``` ## Устранение проблем ### Ollama не запускается | Причина | Решение | | ---------- | ------------------------------------------- | | Порт занят | Измените порт или остановите другой процесс | | Нет прав | Запустите с правами администратора | ### Модель не загружается | Причина | Решение | | ------------------ | ------------------ | | Нет места на диске | Освободите место | | Сетевая ошибка | Проверьте интернет | ### Медленная работа | Причина | Решение | | ---------- | ------------------------------------- | | Нет GPU | Модель работает на CPU — это медленно | | Мало VRAM | Часть модели загружается в RAM | | Слабый CPU | Используйте меньшую модель | ### Ошибка подключения из 1С | Причина | Решение | | ----------------- | ------------------------ | | Ollama не запущен | Запустите `ollama serve` | | Неверный URL | Проверьте адрес и порт | | Firewall | Откройте порт 11434 | ## Далее {% content-ref url="/pages/Vk0UAtlAjkEhS95SLdrB" %} [Sber GigaChat](/ai-platforma-oneapa/provajdery-llm/sber.md) {% endcontent-ref %} --- # Agent Instructions: Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.onerpa.ru/ai-platforma-oneapa/provajdery-llm/ollama.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.