GPU ускорение
Использование видеокарты NVIDIA для ускорения embedding.
Рекомендация: Для GPU-ускорения используйте LM Studio. Это самый простой и надёжный способ — не требуется настройка CUDA в Docker, просто запустите LM Studio на хосте, и MCP-серверы будут использовать GPU через API.
Рекомендуемый подход: LM Studio
Вместо сложной настройки GPU в Docker-контейнерах, используйте LM Studio на хосте:
LM Studio запускается на Windows, Linux и macOS и использует доступное GPU-ускорение
MCP-серверы в Docker обращаются к LM Studio через HTTP API
Нет необходимости в
--gpus allили NVIDIA Container Toolkit
┌────────────────┐ ┌────────────────┐
│ LM Studio │◀────│ MCP Server │
│ (GPU хоста) │ │ (контейнер) │
└────────────────┘ └────────────────┘Подробнее о настройке: LM Studio
Альтернатива: GPU напрямую в Docker
Если вам нужен GPU напрямую в контейнере (не рекомендуется для большинства случаев):
Требования
Linux с NVIDIA Container Toolkit или Windows 11 с Docker Desktop и WSL2
NVIDIA GPU с драйвером версии 470+
Docker-среда с поддержкой проброса GPU в Linux-контейнер
NVIDIA Container Toolkit
Проверка поддержки GPU
Проверка драйвера
Должна отобразиться информация о GPU.
Проверка Docker GPU
Если команда успешна — GPU доступен в Docker.
Настройка Docker Desktop на Windows
Откройте Docker Desktop
Settings → Resources → WSL Integration
Включите интеграцию с вашим WSL дистрибутивом
Apply & Restart
На Linux настройте NVIDIA Container Toolkit для Docker Engine. На macOS прямой проброс NVIDIA GPU в Linux-контейнеры обычно недоступен — используйте LM Studio на хосте, CPU-режим или облачный embedding API.
Использование GPU в контейнерах
Параметр --gpus
Не все образы MCP-серверов поддерживают GPU напрямую. Рекомендуется использовать LM Studio или Ollama для GPU embedding.
Конфигурация LM Studio для GPU
Если LM Studio запущен локально на порту по умолчанию (1234), параметры подключения можно не указывать:
Полная конфигурация, если нужно указать явно:
Сравнение производительности
GPU ускоряет вычисление эмбеддингов, но не все этапы индексации. Модель, длина чанков, CPU, диск и финальная сборка векторного индекса влияют на итог независимо от наличия GPU. Число «документов» без определения единицы и длины текста не даёт сопоставимого замера.
Для CodeMetadataSearch опубликованы подтверждённый пример большого корпуса и методика оценки. Неподтверждённые часы для «типичной конфигурации 1С» не следует использовать как обещание первичной индексации УТ/ERP.
Устранение проблем
GPU не виден в Docker
Ошибка CUDA
Решение:
Закройте другие приложения, использующие GPU
Используйте модель меньшего размера
Уменьшите batch size
LM Studio не использует GPU
Проверьте настройки LM Studio
Убедитесь, что выбран GPU в настройках
Перезапустите LM Studio
Мониторинг GPU
nvidia-smi
В LM Studio
LM Studio показывает использование GPU в интерфейсе при загрузке модели и обработке запросов.
Last updated