Мне регулярно пишут читатели: «Купил ноутбук, хочу поставить нейросеть, как в вашей статье, — она вообще запустится?» Ответ почти всегда один: запустится, но не та, которую вы видели в эффектном демо на YouTube. Ниже — методика, которой я сам пользуюсь перед тем, как качать двадцатигигабайтную модель: от проверки железа до реального замера скорости. Займёт минут пятнадцать, а сэкономит вечер на скачивание того, что не поедет.
Что значит «потянет»: три разных вопроса
Слово «потянет» скрывает три независимых вопроса, и путаница между ними порождает половину разочарований.
- Влезет ли в память. Это главный ограничитель. Модель должна поместиться в видеопамять (VRAM) — или, если не влезла, в оперативку, но тогда скорость падает в разы.
- С какой скоростью будет отвечать. Даже загруженная модель может выдавать два токена в секунду (токен — примерно кусочек слова, три-четыре знака), и читать такой поток вывода физически больно.
- Хватит ли качества. Модель на три миллиарда параметров запустится даже на слабом ноутбуке, но на сложных задачах будет путаться. Локальный запуск — это всегда компромисс между размером, скоростью и качеством.
Шаг 1. Смотрим, что за железо
Начните с видеокарты: именно её память определяет, какую модель вы сможете держать в GPU.
Windows
Диспетчер задач, вкладка «Производительность», пункт «Графический процессор». Смотрите строку «Выделенная память GPU» — это и есть VRAM. Важно: у ноутбуков с двумя видеочипами (встроенным и дискретным) в выпадающем списке нужно выбрать дискретный.
Если стоит карта NVIDIA, точнее покажет команда nvidia-smi в командной строке: там и объём, и текущая занятость памяти, и версия драйвера.
macOS
Меню Apple, «Об этом Mac». У процессоров Apple (M1–M4) память общая для CPU и GPU, поэтому в дело идёт вся оперативка, но не целиком: система оставляет себе 2–4 ГБ.
Linux
Команды nvidia-smi для NVIDIA, lspci для определения карты, free -h для объёма оперативной памяти.
Шаг 2. Прикидываем память по формуле
Считать точно не нужно, хватит школьной арифметики. Объём весов в гигабайтах примерно равен числу параметров (в миллиардах), умноженному на число бит на параметр и делённому на восемь.
Держите в голове четыре ориентира для самого ходового формата сжатия (о нём ниже):
- модель 7–8B — около 5 ГБ;
- 13–14B — около 9 ГБ;
- 30–32B — около 20 ГБ;
- 70B — около 40–42 ГБ.
К этому добавьте 1–2 ГБ на контекст (память под сам диалог) и столько же на систему с браузером. Отсюда практическое правило: модели нужно примерно на 2–3 ГБ больше, чем весит её файл.
Типичные сценарии: 6–8 ГБ VRAM — это комфортно 7–8B и с трудом 14B; 12 ГБ — 14B спокойно, 30B уже нет; 16–24 ГБ — 30B; от 48 ГБ — 70B.
Шаг 3. Разбираемся с квантованием — главный лайфхак
Квантование — это сжатие весов модели за счёт снижения точности чисел. Грубо: вместо 16 бит на параметр хранится 4–5. Файл уменьшается в три-четыре раза, а качество падает заметно меньше, чем можно ожидать.
В названиях файлов вы увидите пометки вроде Q4_K_M, Q5_K_M, Q8_0 — это схемы квантования в формате GGUF (популярный формат для запуска моделей на обычном железе).
- Q4_K_M — золотая середина по умолчанию: не знаете, что выбрать, берите его;
- Q5_K_M — чуть качественнее и на 15–20% тяжелее;
- Q8_0 — почти без потерь, но места нужно вдвое больше, чем у Q4;
- Q3 и ниже — только если совсем прижало: модель начинает путаться в мелочах.
Практический вывод: квантование часто даёт вам модель на размер больше на той же видеокарте. 14B в Q4 почти всегда полезнее, чем 8B в Q8.
Шаг 4. Проверяем на практике за 10 минут
Теория теорией, но реальную скорость знает только запуск. Самый быстрый способ — Ollama: ставится одним файлом, тянет модели с сервера и сама выбирает бэкенд под ваше железо.
- Установите Ollama и откройте терминал.
- Скачайте маленькую модель:
ollama run llama3.2:3b. Это около 2 ГБ — почти гарантированно запустится даже на слабом ноутбуке. - Попросите что-нибудь объёмное: «Напиши 300 слов о преимуществах статического сайта». Засеките время.
- Во втором окне выполните
ollama ps. В колонке PROCESSOR будет видно, ушла модель в GPU целиком или подмешала процессор. - Если маленькая модель поехала — повторите с той, что насчитали в шаге 2.
Тем, кто предпочитает мышку, подойдёт LM Studio: там есть поиск моделей, ползунок квантования и счётчик токенов в секунду прямо в интерфейсе. Удобно для первого знакомства, чуть медленнее в ежедневной работе, чем терминал.
Шаг 5. Читаем цифры: сколько токенов в секунду нужно
Скорость локальных моделей измеряют в токенах в секунду — сколько кусочков текста модель выдаёт за секунду. Ориентиры по моим замерам на разном железе:
- меньше 3 — мука, читать ответ невозможно, работать нельзя;
- 4–7 — терпимо для чата, но раздражает;
- 8–15 — рабочая зона: быстрее, чем вы печатаете;
- 20–40 — комфортно, ощущается почти как облачный сервис.
Отдельно: скорость генерации и скорость чтения промпта — разные вещи. Длинный контекст на 8–16 тысяч токенов может обрабатываться десятки секунд даже на хорошей карте, а потом ответ пойдёт бодро.
Что делать, если не тянет
- Взять модель меньше. Разница между 14B и 8B в вашем конкретном сценарии часто меньше, чем кажется.
- Спуститься по квантованию. Q4 вместо Q6 — и файл влезает.
- Уменьшить контекст. Четыре тысячи токенов вместо 32 экономят пару гигабайт.
- Разрешить частичную выгрузку в оперативку. Ollama и llama.cpp умеют держать часть слоёв в RAM: медленнее, но работает.
- Считать на процессоре. 3–8B в Q4 на современном CPU с 16 ГБ памяти дают 3–8 токенов в секунду — для черновиков и переписывания текста хватает.
- Смотреть в облако. Если задача разовая, дешевле заплатить за API, чем покупать карту.
Кстати, про апгрейд: на вторичном рынке до сих пор популярна RTX 3060 на 12 ГБ — на момент публикации это самый дешёвый вход в локальные 14B. Цены на б/у железо гуляют, проверяйте перед покупкой.
Честно про границы
Даже если у вас 24 ГБ VRAM, локальная модель на 30B не станет вторым ChatGPT. Она хуже держит длинные инструкции, чаще выдумывает факты и не умеет того, что умеют большие модели с доступом к инструментам.
Зато у неё два настоящих преимущества: данные не уходят на чужой сервер и вы не зависите от доступности сервиса и оплаты подписки — а для российских пользователей это вопрос не праздный.
И ещё: локальный запуск не означает автоматически приватность. Если поверх стоит плагин, который ходит в облако за поиском или переводом, данные всё равно утекают. Смотрите, что именно приложение отправляет наружу.
Про лицензии: у Llama, Mistral, Qwen и других семейств условия разные — часть моделей можно свободно использовать коммерчески, часть с ограничениями. Перед тем как встраивать локальную модель в продукт клиента, откройте файл лицензии. Скучно, но дешевле, чем разбираться потом.
Заключение
Короткий алгоритм: посмотрели VRAM, посчитали объём по формуле, забрали модель на размер меньше расчётного, скачали в Q4_K_M, запустили в Ollama и замерили токены в секунду. Если вышло 8 и больше — можно работать; если 2 — меняйте модель, а не компьютер.
Локальные нейросети сегодня — не замена облаку, а ещё один инструмент в ящике. Для черновиков, переписывания текстов, разбора документа под NDA и генерации кода на своём проекте он уже вполне годный. Для сложных многошаговых задач — пока нет.
