XDA провела неделю над небольшим проектом с открытым исходным кодом под названием LLMFit, который решает одну из самых раздражающих проблем в рабочем процессе локальной LLM: у вас есть GPU, у вас есть страница модели на Hugging Face, и вы понятия не имеете, поместится ли модель на вашей машине, прежде чем потратить час на её скачивание. Статья указала на более глубокую истину: сцене локальных LLM нужны инструменты подбора аппаратуры так же, как нужны запускатели моделей, и несколько приложений уже охватывают этот рабочий процесс. Мы протестировали 7 приложений для десктопа, которые подбирают модели под вашу аппаратуру перед началом скачивания.
На что обратить внимание при выборе инструмента для подбора моделей
Хорошие инструменты ясно отвечают на четыре вопроса:
- Поместится ли именно этот квант этой точной модели в VRAM моей GPU и системную RAM?
- Каков ожидаемый показатель токенов в секунду на моей GPU при этой длине контекста?
- Если это не поместится, какой квант или размер модели подойдёт?
- Где скачать нужный файл?
Несколько дополнительных функций отличают сильные инструменты от слабых.
- Живое чтение VRAM вашей текущей GPU (не статический поиск по техническим характеристикам).
- Учёт стоимости VRAM при контексте, а не только базовые веса модели.
- Математика объединённой памяти Apple Silicon, а не только математика дискретной GPU.
- Предполётная проверка для вывода только на CPU на машинах без GPU.
Быстрое сравнение
| Приложение | Лучше всего для | Платформы | Цена | Выдающаяся функция |
|---|---|---|---|---|
| LLMFit | Однократная проверка “поместится ли” перед скачиванием | Windows, macOS, Linux | Бесплатно, открытый исходный код | Читает живую VRAM и подбирает URL Hugging Face |
| Hugging Face Hub | Оценки аппаратуры встроены в страницу модели | Веб (любая ОС) | Бесплатно | Авторитетная таблица квантов и размеры файлов |
| LM Studio | Встроенный значок совместимости при просмотре моделей | Windows, macOS, Linux | Бесплатно для личного использования | Индикатор “возможна полная выгрузка на GPU” |
| Ollama | Библиотека моделей с разумными квантами по умолчанию | Windows, macOS, Linux | Бесплатно, открытый исходный код | Автоматически выбирает квант, который поместится на вашей машине |
| Can You Run It LLM | Веб-калькулятор аппаратуры и модели | Веб (любая ОС) | Бесплатно | Без установки, удобно делиться ссылкой |
| Llama.cpp benchmarker | Реальный бенчмарк на вашей машине, а не оценка | Windows, macOS, Linux | Бесплатно, открытый исходный код | Истина от вашей реальной аппаратуры |
| Open WebUI | Самоуправляемый чат с браузером моделей | Docker (любая ОС) | Бесплатно, открытый исходный код | Выбор моделей для нескольких пользователей с фильтрацией по квантам |
7 лучших приложений для подбора локальных LLM под вашу аппаратуру на десктопе
1. LLMFit — лучшая однократная проверка “поместится ли”
LLMFit — это новичок, на который указала статья XDA. Приложение читает доступную VRAM вашей GPU в реальном времени, разбирает URL Hugging Face и показывает вам, какие кванты каких моделей поместятся, наряду с примерной оценкой токенов в секунду. Перетащите URL Hugging Face в окно, и за несколько секунд вы получите зелёную галочку или красный крест, плюс рекомендацию по кванту, который бы подошёл вместо этого.
Исходный код открыт, и проект развивается быстро, с поддержкой нового формата GGUF, выпущенной в течение нескольких дней после выпуска upstream-версии.
Где это падает: Поддержка Apple Silicon функциональна, но пока не обрабатывает математику объединённой памяти так чисто, как машины с дискретной GPU. Сообщество невелико, и для краевых моделей может потребоваться выпуск.
Цена: Бесплатно, открытый исходный код.
Платформы: Windows, macOS, Linux.
Скачать: github.com/llmfit
Суть: Выбирайте, когда вы хотите быстрый “да или нет” перед тем, как потратить на скачивание.
2. Hugging Face Hub — лучшие оценки аппаратуры, встроенные в страницу модели
Hugging Face Hub — это не приложение, которое вы устанавливаете, но это наиболее точная отправная точка, потому что сами страницы моделей содержат авторитетные размеры файлов, таблицы квантов и (для многих моделей) заметки сообщества об аппаратуре. Обновление Hub UI в 2025 году добавило виджет “Запустить эту модель”, который выводит на поверхность ожидаемые требования к VRAM для обычных квантов.
Для модели, которую вы никогда не слышали, карточка модели и список файлов — это правильная первая остановка перед тем, как вы обратитесь к отдельному инструменту.
Где это падает: Читает страницу модели, не читает вашу аппаратуру. Вам всё ещё нужно знать вашу VRAM и системную RAM.
Цена: Бесплатно.
Платформы: Веб (любая ОС), с клиентами десктопных hub от сторонних разработчиков.
Скачать: huggingface.co
Суть: Выбирайте, когда вам нужны авторитетные размеры файлов и математика квантов из источника.
3. LM Studio — лучший встроенный значок совместимости при просмотре моделей
LM Studio — это отполированный клиент чата, включающий браузер моделей, и браузер показывает значок “Возможна полная выгрузка на GPU” на каждом кванте в зависимости от доступной VRAM вашей машины. Этот единственный значок экономит массу времени: прокрутка GGUF на странице модели становится “прокручивать до тех пор, пока я не вижу значок”.
Выпуск LM Studio в 2025 году добавил оценку “Ожидаемая скорость” рядом с каждым совместимым квантом, что исключает ещё один шаг угадывания.
Где это падает: Бесплатный уровень — это “бесплатно для личного использования”, а не открытый исходный код, что имеет значение для некоторых пользователей. Значок совместимости для машин с очень низкой VRAM может быть чрезмерно оптимистичным при интенсивном использовании контекста.
Цена: Бесплатно для личного использования.
Платформы: Windows, macOS, Linux.
Скачать: lmstudio.ai
Суть: Выбирайте, если вам также нужен отполированный клиент чата; значок совместимости — бонус.
4. Ollama — лучшая библиотека моделей с автоматическим выбором кванта
Ollama решает проблему подбора аппаратуры по-другому. Вместо того чтобы рассказать вам, какие кванты поместятся, библиотека моделей поставляется с квантом по умолчанию, который проект считает разумным балансом для типичных машин. ollama pull llama3.3 дает вам квант, который работает на широком диапазоне аппаратуры без вашего выбора.
Для пользователей, которые вообще не хотят думать о квантах, Ollama — это ближайшее, что категория может предложить “просто дайте мне модель, которая работает”.
Где это падает: Квант по умолчанию не всегда лучше всего подходит для вашей конкретной GPU. Опытные пользователи с картой 24GB или 48GB захотят выбрать более тяжелый квант вручную.
Цена: Бесплатно, открытый исходный код.
Платформы: Windows, macOS, Linux.
Скачать: ollama.com
Суть: Выбирайте, когда вы хотите модель, которая работает без размышления о квантах.
5. Can You Run It LLM — лучший веб-калькулятор аппаратуры и модели
Can You Run It LLM — это веб-инструмент, который берёт вашу модель GPU из выпадающего списка, модель, которую вы хотите, и длину контекста, и возвращает чистый ответ да-нет плюс оценку токенов в секунду. Это правильный инструмент, когда вы не хотите ничего устанавливать и хотите поделиться ссылкой с другом, который тоже покупает аппаратуру.
Инструмент также выводит на поверхность наименьший квант модели, который поместился бы на вашей машине, что полезно при планировании обновлений.
Где это падает: Это калькулятор, а не живое чтение VRAM. Если что-то другое уже использует вашу память GPU (вкладка браузера, игра), калькулятор не знает.
Цена: Бесплатно.
Платформы: Веб (любая ОС).
Скачать: canyourunitllm.com
Суть: Выбирайте для проверки без установки и удобного обмена перед скачиванием.
6. Llama.cpp benchmarker — лучший реальный бенчмарк на вашей машине
Llama.cpp поставляется с небольшим бинарником бенчмарка (llama-bench), который запускает реальный вывод против файла кванта и сообщает токены в секунду для обработки подсказки и генерации. Оценки, которые дают другие инструменты — это образованные предположения; это истина от вашей аппаратуры.
Для пользователей, выбирающих между двумя близкими квантами на одной машине, запуск бенчмарка на обоих занимает несколько минут и даёт реальное сравнение.
Где это падает: Требует сборки или скачивания бинарника llama.cpp и подачи ему файла модели, который вы хотите протестировать, что требует больше работы, чем другие инструменты.
Цена: Бесплатно, открытый исходный код.
Платформы: Windows, macOS, Linux.
Скачать: github.com/ggerganov/llama.cpp
Суть: Выбирайте, когда оценка недостаточна и вам нужно реальное измерение.
7. Open WebUI — лучший самоуправляемый чат с браузером моделей, фильтруемым по квантам
Open WebUI работает как самоуправляемый фронтенд чата (обычно в Docker) и сочетается с бэкэндом Ollama или llama.cpp. Выбор модели показывает, какие модели загружены, какие работают, и тег кванта для каждой. Для настройки с несколькими пользователями дома или небольшой команды, где несколько человек используют сервер LLM, браузер моделей служит справочником команды “что поместится на нашу общую GPU”.
Выпуск Open WebUI в 2025 году добавил фильтр, осведомлённый об аппаратуре, который скрывает модели, которые бэкэнд не может обслуживать при запрошенной длине контекста.
Где это падает: Фильтр аппаратуры только так хорош, как отчёты бэкэнда. Некоторые конфигурации нуждаются в ручных подсказках VRAM.
Цена: Бесплатно, открытый исходный код.
Платформы: Docker, любая ОС.
Скачать: openwebui.com
Суть: Выбирайте, когда общий фронтенд чата и браузер моделей принадлежат одному инструменту.
Как выбрать правильный
- Если вы хотите самую быструю проверку “поместится ли” на URL Hugging Face: LLMFit.
- Если вы хотите авторитетные размеры файлов и таблицы квантов из источника: Hugging Face Hub.
- Если вам также нужен отполированный клиент чата: LM Studio.
- Если вы не хотите думать о квантах: Ollama.
- Если вы хотите веб-калькулятор без установки, чтобы поделиться с другом: Can You Run It LLM.
- Если оценка недостаточна и вам нужен реальный бенчмарк: Llama.cpp benchmarker.
- Если общему серверу LLM нужен браузер моделей для нескольких пользователей: Open WebUI.
Часто задаваемые вопросы
Как я узнаю, сколько VRAM нужно локальной LLM?
Размер файла базовых весов — это минимум; добавьте примерно 20% для KV-cache и накладных расходов во время выполнения при коротких контекстах, больше для длинного контекста. LLMFit и LM Studio делают эту математику за вас. Обычно GGUF 7B Q4_K_M требует примерно 4-5GB VRAM при коротких контекстах.
Могу ли я запустить локальную LLM без GPU?
Да. Квантованные малые модели (3B, 7B при Q4 или меньше) работают на CPU на машинах с 16GB RAM. Токены в секунду будут малой частью GPU, но рабочий процесс работает. Ollama и LM Studio обе чисто обрабатывают только вывод на CPU.
Какова лучшая локальная LLM для GPU с 8GB?
Квант Q4 или Q5 модели 7B подходит с пространством для короткого контекста. Многие модели 8B Llama и Qwen с агрессивной квантизацией тоже подходят. Используйте LLMFit, чтобы выбрать конкретный квант, а не гадать.
Все ли эти инструменты с открытым исходным кодом?
Большинство. LM Studio — это “бесплатно для личного использования”, а не открытый исходный код. LLMFit, Ollama, библиотеки клиентов Hugging Face, Llama.cpp и Open WebUI — это открытый исходный код. Can You Run It LLM — это свободный веб-инструмент, не открытый исходный код.
Работают ли эти инструменты на Apple Silicon?
Да. Модель объединённой памяти Apple Silicon поддерживается Ollama, LM Studio, Llama.cpp и (с оговоркой выше) LLMFit. Токены в секунду на M-серии часто превосходят дискретные GPU сравнимой VRAM благодаря быстрой пропускной способности памяти.
