Модели mixture-of-experts выполняют только часть своих параметров на один токен, поэтому 295B Tencent Hy3 или 671B DeepSeek V3 теперь умещаются в бюджеты оперативной памяти потребителей, которые раньше ограничивались около 70B плотных моделей. Tencent выпустила Hy3 под Apache 2.0 7 июля 2026 года с 21B активными параметрами и окном контекста 256K. DeepSeek продолжает выпускать обновления V3, Mixtral 8x22B остается конкурентоспособной по стоимости, а Qwen3 MoE имеет варианты от 30B до 235B. Узким местом стало не GPU VRAM, а то, понимает ли ваш локальный раннер разреженную маршрутизацию экспертов, и не каждый раннер это понимает.
Мы протестировали 8 лучших приложений для запуска открытых моделей MoE LLM на настольных компьютерах под Windows, macOS и Linux. Каждое оценивалось по совместимости GGUF и safetensors, управлению маршрутизацией экспертов, поведению оффлоада на CPU для холодных экспертов и скорости, с которой проект выпускает поддержку новых архитектур, таких как hy_v3, qwen3moe и deepseek2. Некоторые из них — это однофайловые исполняемые файлы. Другие требуют понимания Docker. Все они бесплатны для личного использования, и большинство бесплатны и для коммерческого использования.
На что обратить внимание при выборе MoE-совместимого локального раннера LLM
Несколько критериев отличают приложения, которые поддерживают новую архитектуру MoE с первого дня, от тех, которые молча отказываются загружать веса:
- Встроенная поддержка текущих архитектур MoE: Mixtral, DeepSeekMoE, Qwen3MoE, Hunyuan-A13B и hy_v3. Раннеры обычно отстают от календаря выпусков моделей на 2-4 недели, поэтому что-нибудь более старое — это тревожный знак.
- Охват GGUF и safetensors. GGUF — это то, что сообщество Hugging Face на самом деле публикует для локального использования. Раннеры без этого заблокированы из большинства квантизаций.
- Управление маршрутизацией экспертов. Каждая MoE имеет маршрутизатор top-k. Возможность регулировать количество активных экспертов меняет пропускную способность на качество, и это разница между MoE, которая чувствует себя быстрой, и той, которая чувствует себя плотной.
- Избирательный оффлоад на CPU. Хорошо настроенный раннер держит маршрутизатор и веса общего внимания на GPU и отправляет холодных экспертов в системную RAM. Так 295B модель умещается в 64 GB DDR5 плюс карта среднего диапазона.
- OpenAI-совместимый API сервер. Почти каждое расширение редактора, фреймворк агента и инструмент памяти говорят на диалекте OpenAI Chat Completions. Если раннер не предоставляет один, интеграция становится домашней работой.
- Глубина квантизации. Q4_K_M — текущий рабочий инструмент для MoE. Более новые методы, такие как APEX и IQ4_XS, экономят больше VRAM без заметной потери качества на маршрутизируемых экспертах.
Быстрое сравнение
| Приложение | Лучше всего для | Платформы | Лицензия | Цена | Архитектуры MoE |
|---|---|---|---|---|---|
| LM Studio | Первый запуск MoE с GUI | Windows, macOS, Linux | Proprietary | Бесплатно | Mixtral, DeepSeek, Qwen3MoE, Hunyuan-A13B |
| Ollama | Запуски MoE в терминале | Windows, macOS, Linux | MIT | Бесплатно | Mixtral, DeepSeek V3, Qwen3MoE |
| llama.cpp | Основной раннер, на который полагаются все обертки | Windows, macOS, Linux | MIT | Бесплатно | Mixtral, Qwen3MoE, DeepSeekMoE, Hunyuan-A13B |
| Jan | Эквивалент LM Studio с открытым исходным кодом | Windows, macOS, Linux | AGPLv3 | Бесплатно | Что угодно, что поддерживает llama.cpp |
| KoboldCPP | Установка в один файл | Windows, macOS, Linux | AGPLv3 | Бесплатно | Mixtral, DeepSeek, Qwen3MoE |
| Text Generation WebUI | Фронтенд для продвинутых пользователей | Windows, macOS, Linux | AGPLv3 | Бесплатно | Mixtral, Qwen3MoE, DeepSeekMoE через три загрузчика |
| vLLM | Обслуживание MoE с несколькими GPU | Linux (Windows/macOS через WSL или Docker) | Apache 2.0 | Бесплатно | Mixtral 8x22B, DeepSeek V3, Qwen3MoE |
| LocalAI | Многобэкенд OpenAI drop-in | Linux, macOS, Windows (Docker) | MIT | Бесплатно | Все, что покрывает llama.cpp или vLLM |
Приложения
1. LM Studio — лучший MoE раннер в целом для большинства людей
LM Studio — самый быстрый путь от свежей установки к работающей MoE чату. Каталог моделей в приложении перечисляет варианты Mixtral, DeepSeek Coder V2 Lite, Qwen3 MoE и Hunyuan-A13B с фильтрами размера и квантизации, поэтому выбор модели MoE для бюджета вашей VRAM — это прокручиваемый шаг, а не экспедиция на Hugging Face. Экран загрузки отображает ползунок количества экспертов, который соответствует llama.expert_used_count, позволяя переопределить top-k по умолчанию, когда качество важнее, чем токены в секунду. LM Studio для рабочих процессов MoE также поставляется с MLX бэкендом на Apple Silicon и путем CUDA на Nvidia, поэтому одна и та же установка работает на M3 Max или рабочей станции с RTX 5090.
Где это отстает: приложение для настольного компьютера имеет закрытый исходный код, и встроенный headless сервер требует пары настроек для правильного открытия. По сравнению с простым CLI раннером, GUI держит больше RAM в фоне.
Цена:
- Бесплатно: полное приложение для настольного компьютера для личного и коммерческого использования, без лимитов на скорость, без облачных звонков
- Платно: План Enterprise за $10 на пользователя в месяц для SSO, управления моделями и MCP, частных каталогов команды
Платформы: Windows, macOS, Linux
Загрузить: lmstudio.ai
Итог: выбор, если вы хотите, чтобы модель MoE чатила на вашем настольном компьютере до обеда. Пропустите, если вы отказываетесь устанавливать бинарники с закрытым исходным кодом.
2. Ollama — лучший бесплатный CLI для открытых моделей MoE
Ollama вытягивает Mixtral, DeepSeek V3, Qwen3 MoE и варианты Hunyuan с одной ollama run и открывает REST endpoint на localhost:11434, который говорит на диалекте OpenAI Chat Completions. Реестр соответствует новым выпускам MoE, а внутренние маршрутизации отслеживают текущий форк llama.cpp, поэтому архитектуры, такие как mixtral, deepseek2 и qwen3moe, загружаются без операций с флагами. Ollama для локального вывода MoE — это инструмент, к которому большинство разработчиков обращаются, когда хотят написать сценарий рабочего процесса вокруг маршрутизируемой модели.
Где это отстает: демон не имеет UI для регулировки количества экспертов, поэтому вы редактируете Modelfile или передаете переопределения через API для настройки разреженной маршрутизации. Modelfiles по умолчанию также консервативно ограничивают длины контекста, что больно на окне 256K Hy3, пока вы не поднимете num_ctx.
Цена:
- Бесплатно: весь runtime, вытягивание реестра моделей и API сервер
- Платно: ничего от проекта
Платформы: Windows, macOS, Linux
Загрузить: ollama.com или GitHub
Итог: правильный выбор, если терминал — это место, где вы уже живете. Не тот, если вы хотите визуальные элементы управления маршрутизацией экспертов.
3. llama.cpp — лучшая база для любителей экспериментов
llama.cpp — это runtime, который обертывают почти все другие приложения в этом списке. Прямое использование означает поддержку архитектуры MoE в первый день для всего, что коммитит upstream: Mixtral, Qwen3MoE, DeepSeekMoE и рекомендуемый путь для Hunyuan-A13B. Вы также получаете флаги, которые прячут обертки, такие как --override-kv llama.expert_used_count=int:4 для настройки top-k и --cpu-moe для отправки холодных экспертов в системную RAM.
Где это отстает: нет GUI. Управление моделями, квантизация и OpenAI-совместимый сервер (llama-server) — это отдельные двоичные файлы со своими аргументами. Новые архитектуры обычно появляются через 2-4 недели после выпуска документа, что ударило ранних пользователей Hy3, работающих из исходного кода.
Цена:
- Бесплатно: MIT-лицензированный исходный код и предварительно построенные двоичные файлы для CUDA, ROCm, Metal, Vulkan, SYCL и OpenVINO
- Платно: ничего
Платформы: Windows, macOS, Linux
Загрузить: llama.app или GitHub
Итог: для тех, кто хочет знать, какие слои приземляются на GPU. Может быть слишком для случайного чата.
4. Jan — лучший эквивалент LM Studio с открытым исходным кодом
Jan — это оболочка для настольного компьютера над llama.cpp с лицензией AGPLv3, браузером моделей Hugging Face, который фильтрует файлы GGUF по размеру, и локальным OpenAI-совместимым API сервером на localhost:1337. Каталог MoE охватывает варианты Mixtral, DeepSeek Coder V2 Lite и сообщественные квантизации Qwen3 MoE, и приложение наследует переопределения маршрутизации экспертов llama.cpp через панель настроек модели. Jan для пользователей MoE, которые хотят GUI, — это ближайший эквивалент с открытым исходным кодом для LM Studio.
Где это отстает: Jan обычно отстает от самых последних архитектур MoE на выпуск или два, поэтому если поддержка hy_v3 только что появилась в мастере llama.cpp, вам может потребоваться подождать сборки Jan. Некоторые пользователи также сообщают о давлении на память при просмотре очень больших списков моделей.
Цена:
- Бесплатно: полное приложение для настольного компьютера под AGPLv3
- Платно: ничего
Платформы: Windows, macOS, Linux
Итог: выберите Jan, если вы хотите GUI в стиле LM Studio без закрытого двоичного файла. Посмотрите в другое место, если вам нужна поддержка в день выпуска совершенно новых архитектур.
5. KoboldCPP — лучший MoE раннер без установки
KoboldCPP сжимает полный runtime, чат KoboldAI и UI рассказов, и OpenAI-совместимый endpoint в один исполняемый файл размером 200 MB. Начиная с версии 1.8, экран загрузки открывает количество экспертов MoE на странице Tokens для квантизаций Mixtral, DeepSeek и Qwen3 MoE. Предварительно построенные варианты CUDA, Vulkan и только CPU поставляются для Windows, Linux и Apple Silicon, что делает KoboldCPP для рабочих нагрузок MoE кратчайшим возможным путем установки.
Где это отстает: UI оптимизирован для творческого письма и ролевых игр, которые читаются с шумом для прямой работы помощника. Обнаружение моделей ручное: вы помещаете GGUF рядом с исполняемым файлом и указываете на него.
Цена:
- Бесплатно: весь двоичный файл под AGPLv3, без телеметрии
- Платно: ничего
Платформы: Windows, macOS (Apple Silicon), Linux
Загрузить: koboldcpp.com или GitHub
Итог: тот, который нужно взять, если вы отказываетесь устанавливать полный фреймворк. Менее приятно, если вы хотите управляемые обновления моделей.
6. Text Generation WebUI — лучший фронтенд для продвинутых пользователей
Text Generation WebUI Oobabooga позволяет переключаться между загрузчиками llama.cpp, ExLlamaV2 и Transformers для каждой модели, что важно для MoE, потому что каждый загрузчик открывает другой элемент управления количеством экспертов. Загрузчик ExLlamaV2 имеет настройку “Number of Experts per Token” для моделей семейства Mixtral, а сторона llama.cpp принимает переопределения через --override-kv llama.expert_used_count. Флаг --cpu-moe отправляет веса экспертов в системную RAM для установок с интенсивным оффлоадом.
Где это отстает: каждый загрузчик имеет свои особенности, и приложение предполагает, что вы понимаете, какой подходит для какой квантизации. Настройка при первом запуске тяжелее, чем Jan или LM Studio.
Цена:
- Бесплатно: весь проект под AGPLv3
- Платно: ничего
Платформы: Windows, macOS, Linux
Загрузить: GitHub
Итог: получите его, если вам нравится настройка загрузчиков и A/B тестирование квантизаций. Пропустите, если вы хотите MoE в один клик.
7. vLLM — лучше всего для пропускной способности MoE в масштабе
vLLM — это раннер, на который люди переходят, когда установка чата с одним GPU перерастает себя. Версия 0.6 и позже поддерживает параллелизм экспертов для Mixtral 8x22B, DeepSeek V3 и Qwen3 MoE через --enable-expert-parallel, с параллелизмом тензоров FP8 и BF16 на нескольких GPU. Непрерывная пакетная обработка означает, что один и тот же ящик может обслуживать дюжины одновременных запросов MoE без скачка хвостовой задержки, который наивный сервер получит.
Где это отстает: vLLM нацелен на Linux с оборудованием NVIDIA. Пользователи macOS и Windows проходят через WSL или контейнер, и установки с одним GPU платят за сложность, которую они не будут использовать.
Цена:
- Бесплатно: проект Apache 2.0, установка с
pip install vllm - Платно: ничего от самого проекта
Платформы: Linux (нативно), Windows и macOS через WSL или Docker
Итог: раннер по выбору, когда вы обслуживаете MoE команде. Может быть слишком для одного ноутбука.
8. LocalAI — самый гибкий drop-in для MoE
LocalAI — это двоичный файл Go, который представляет API, совместимый с OpenAI, Anthropic и ElevenLabs, и переключает бэкенды для каждой модели. Под капотом он обертывает llama.cpp, vLLM, MLX, whisper.cpp и stable-diffusion, поэтому любой GGUF MoE, который llama.cpp может преобразовать, работает через один и тот же endpoint, который отвечает на ваши вызовы эмбеддингов и TTS. Проект выпустил свою собственную стратегию квантизации APEX, настроенную для роль тензоров MoE, которая позволяет весам класса Mixtral соответствовать качеству Q8_0 по размерам, близким к Q4.
Где это отстает: многобэкенд-дизайн тяжелее, чем приложение с одним runtime, и конфигурация находится в YAML, а не в GUI. Пользователи Windows и macOS по умолчанию используют Docker.
Цена:
- Бесплатно: MIT-лицензированный исходный код и образы контейнеров
- Платно: ничего
Платформы: Linux, macOS, Windows (Docker на всех трех работает)
Загрузить: localai.io или GitHub
Итог: выбор, когда один endpoint должен ответить на чат, эмбеддинги, TTS и вывод MoE одновременно. Пропустите, если вам нужно только окно чата.
Как выбрать правильное
Если вы никогда не запускали локальную модель, начните с LM Studio. Элементы управления MoE находятся в UI, каталог моделей курирован, и первый чат Mixtral происходит за пятнадцать минут.
Если вы предпочитаете терминал, Ollama — самый короткий путь к запущенной Qwen3 MoE или DeepSeek V3. Объедините его с облегченным веб-фронтендом позже, если вы хотите окно чата.
Если вы хотите понять, что происходит под капотом, идите прямо к llama.cpp. Каждый регулятор — это флаг, и каждая архитектура документирована в исходном коде.
Если ваш приоритет — открытый источник, не жертвуя GUI, Jan приближается к замене LM Studio.
Если вы отказываетесь устанавливать фреймворк, KoboldCPP — это один исполняемый файл без зависимостей.
Если вы уже жонглируете четырьмя загрузчиками и хотите их под одной крышей, Text Generation WebUI — это то, что вы уже знаете, что вам нужно.
Если вы обслуживаете трафик MoE команде или хотите параллелизм экспертов на двух или более GPU, vLLM — это разумный ответ.
Если вам нужен один OpenAI-совместимый endpoint, который также обрабатывает TTS, эмбеддинги и видение рядом с чатом MoE, запустите LocalAI в Docker и готово.
FAQ
Какое лучшее бесплатное приложение для запуска моделей MoE LLM на настольном компьютере? Ollama для пользователей терминала, LM Studio для всех остальных. Оба бесплатны для личного и коммерческого использования, оба поддерживают Mixtral, DeepSeek V3 и Qwen3 MoE из коробки, и оба соответствуют новым выпускам MoE в течение пары недель после upstream llama.cpp.
Может ли потребительское оборудование действительно запустить модель размером 295B, такую как Tencent Hy3? Да, с оговорками. Hy3 активирует только 21B из своих 295B параметров на токен, поэтому пропускная способность читается ближе к плотной модели 21B, чем к 295B. Вам по-прежнему нужно достаточно системной RAM, чтобы удерживать полные квантизированные веса, примерно 180 GB для квантизации Q4, поэтому рабочая станция с 256 GB DDR5 и GPU на 24 GB является текущей точкой входа.
В чем разница между Ollama и LM Studio для моделей MoE? Ollama — это CLI демон с REST сервером и курируемым реестром моделей. LM Studio — это приложение для настольного компьютера с чатом UI, экраном загрузки с явным ползунком “Number of Experts” и сервером, который переключается. Оба обертывают похожие бэкенды на основе llama.cpp. Выберите Ollama, если вы пишете сценарий вашего рабочего процесса, LM Studio, если вы хотите визуальные элементы управления.
Поддерживает ли llama.cpp Tencent Hy3 и другие новые архитектуры MoE? llama.cpp обычно добавляет новую архитектуру MoE в течение 2-4 недель после выпуска модели. Mixtral, Qwen3MoE и DeepSeekMoE все появились вскоре после выпусков моделей, а Hunyuan-A13B имеет путь llama.cpp, рекомендуемый в собственной документации Tencent. Hy3, которая поставляется 6 июля 2026 года, имеет сообщественные GGUF и объединения в upstream в том же окне 2-4 недели.
Нужен ли мне GPU для локального запуска модели MoE? Не совсем. llama.cpp, KoboldCPP, Ollama и LocalAI все поддерживают вывод только на CPU и оффлоад холодных экспертов, поэтому рабочая станция с 128 GB или более оперативной памяти может запустить меньшие квантизации MoE с читаемыми скоростями. Современный GPU с 12-24 GB VRAM плюс оффлоад системной RAM — это где опыт становится приятным.
Какой раннер MoE имеет лучший OpenAI-совместимый API? Для одной машины, LM Studio и Ollama открывают чистые OpenAI Chat Completions endpoints без конфигурации. Для команды или флота, сервер vLLM предлагает наивысшую пропускную способность и встроенный параллелизм экспертов. LocalAI stitches несколько бэкендов позади одного OpenAI-стиля API, что полезно, когда чат, эмбеддинги и видение должны делить один URL.
