VPS для нейросети: термины и чек-лист

Подробности, цифры, термины и чек-лист по теме «VPS для нейросети». Страница справочника целиком: VPS для нейросети.

Коротко о теме

VPS для нейросети: когда модель держат у себя, сколько нужно видеопамяти, что работает без GPU и почему своя карта окупается не всегда.

Подробности по разделам

Сколько её нужно

Подробный расчёт с калькулятором: сервер с GPU.

Ключевые цифры

Термины на странице

GPU
GPU это видеокарта. На сервере её используют для нейросетей, рендера и расчётов.
LLM
LLM это большая языковая модель. Для запуска на своём сервере ей нужна видеопамять или много оперативной.
Видеопамять
Видеопамять ограничивает, какая модель нейросети поместится на видеокарту.
152-ФЗ
152-ФЗ это закон о персональных данных. Вместе с требованием локализации он обязывает хранить базы с данными россиян на серверах в России.
Облачный сервер
Облачный сервер это VPS, ресурсы которого можно менять на ходу, а оплата часто почасовая.
VPS
VPS это виртуальный сервер: часть физической машины с выделенными ядрами, памятью и диском и собственной операционной системой.

Что проверить

  1. Выберите конфигурацию по памяти и диску под задачу, процессор обычно вторичен.
  2. Проверьте тип виртуализации: KVM даёт свою систему и гарантированные ресурсы.
  3. Уточните, входит ли IPv4 и сколько стоит трафик сверх пакета.
  4. Посчитайте видеопамять под модель до заказа сервера.
  5. Начните с почасовой оплаты и выключайте сервер после работы.
  6. Проверьте драйверы и версию CUDA под ваш фреймворк.

Связанные страницы