С чего начать запуск языковой модели на своём сервере
Запустить большую языковую модель на собственном сервере проще, чем кажется — если разложить процесс на несколько понятных шагов и заранее прикинуть, во что упрётесь. Разберём по порядку, без лишней теории.
Шаг первый — посчитать видеопамять
Языковая модель при работе целиком грузится в память видеокарты (VRAM), поэтому первым делом нужно понять, влезет ли она вообще. Ориентиры для 4-битного квантования такие: модель на 7–8 миллиардов параметров занимает около 5 ГБ, 32–35B — порядка 20 ГБ, 70B — около 40 ГБ, а гигантские 120B — примерно 65 ГБ. Если модель не помещается в одну карту, есть два пути: взять более сжатый квант ценой небольшой потери качества либо собрать сервер на нескольких видеокартах и объединить их память в общий пул. Именно поэтому под серьёзные модели берут многокарточные сборки со 128 ГБ и больше — такого объёма хватает почти на любую задачу.
Шаг второй — выбрать движок запуска
Это программа, которая загружает модель и обрабатывает запросы. Если модель нужна одному человеку — проще всего LM Studio или Ollama: они работают с популярным форматом GGUF, ставятся в пару кликов и не требуют настройки. Если же модель обслуживает несколько сотрудников или встроена в сервис, где запросы идут потоком, берут vLLM — он умеет раздавать одну модель на несколько GPU и держать десятки параллельных обращений без просадки. Выбор движка напрямую влияет на то, сколько людей смогут пользоваться моделью одновременно.
Шаг третий — запустить и замерить скорость
После загрузки модели стоит прогнать пробные запросы и посмотреть на скорость генерации в токенах в секунду. Для понимания: комфортная скорость чтения у человека — около 10–15 токенов в секунду, и всё, что выше, воспринимается как мгновенный ответ. Хорошая сборка на серверных видеокартах выдаёт кратно больше даже на крупных моделях, а под нагрузкой от нескольких пользователей суммарная пропускная способность оказывается ещё выше за счёт параллельной обработки запросов.
Частые ошибки новичков
Первая — недооценить видеопамять и пытаться запустить модель, которая не влезает: она либо не стартует, либо уходит в оперативную память и сильно тормозит. Вторая — гнаться за максимальным качеством кванта там, где хватило бы более лёгкого. Третья — экономить на охлаждении: под нагрузкой карты греются, и без нормального отвода тепла уходят в троттлинг, теряя скорость.
Тем, кто хочет не общую теорию, а пошаговую инструкцию с реальными цифрами по скорости на разном железе, полезен подробный разбор как запустить LLM локально — там расписаны и выбор кванта под конкретную видеокарту, и настройка движка, и типичные грабли вроде нехватки памяти.
