В марте XDA отметил сдвиг: Ollama 0.19 переключила бэкенд Apple Silicon на MLX, и перефилл увеличился примерно на 1,6x, декодирование — на 2x на том же оборудовании серии M. Причина кроется в той части архитектуры Mac, которая тихо стала ключевой особенностью для локального ИИ. Единая память позволяет GPU читать ту же оперативную память, которую использует CPU, поэтому MacBook на 64 ГБ может загрузить модель класса 70B, которая не поместится на 24-гигабайтной карте RTX, а MLX, собственный ML-фреймворк Apple, научился сильнее использовать это оборудование, чем кроссплатформенные рантаймы когда-либо могли.
Мы протестировали 7 лучших приложений для запуска локальных LLM на Mac с уклоном в сторону инструментов, которые действительно используют MLX или Metal, а не тех, которые просто компилируются. Тестирование было скучным: как быстро модель загружается на M2 Pro, насколько чисто приложение использует GPU-ускорение, приятен ли чат-интерфейс после часа использования и следит ли проект за новыми архитектурами моделей. Большинство сильных вариантов бесплатны или имеют щедрый личный план.
На что обратить внимание в приложении для локального LLM на Mac
Несколько критериев отделяют инструменты, которые выживают на MacBook, от тех, которые удаляют к концу второй недели:
- Поддержка MLX. Фреймворк Apple теперь самый быстрый путь на чипах серии M. Приложения, которые поставляют бэкенд MLX, а не просто обёртку llama.cpp, будут расширять преимущество на кремнии M5 и более позднем.
- GPU-ускорение Metal. Для приложений, еще использующих llama.cpp, качество бэкенда Metal определяет, является ли количество токенов в секунду полезным или слайд-шоу.
- Совместимость GGUF. GGUF — формат, который использует каталог Hugging Face. Приложение, которое не может загрузить недавний GGUF, — это тупик, даже на Apple Silicon.
- Осведомленность об единой памяти. Хорошие приложения показывают, сколько общей оперативной памяти съест модель, и не позволяют загружать то, что вызовет подкачку. Плохие позволяют macOS истощаться, а затем падают.
- OpenAI-совместимый API. Локальная точка доступа на
localhost— это то, что подключает модель к расширениям редактора, блокнотам и ярлыкам. Самые сильные приложения предоставляют это без дополнительной настройки. - Позиция в области конфиденциальности. Некоторые приложения работают полностью в автономном режиме. Другие по умолчанию отправляют данные для аналитики и требуют флага, чтобы остановить это, что важно, если причина перехода на локальный вариант была конфиденциальностью.
Быстрое сравнение
| Приложение | Лучше всего для | Поддержка Apple Silicon | Бесплатный план | Выделяющаяся особенность |
|---|---|---|---|---|
| Ollama | Установки в одну строку с бэкендом MLX | Двигатель MLX на серии M | Да (открытый исходный код) | OpenAI-совместимый API на localhost:11434 |
| LM Studio | Отполированный чат с бок-о-бок GGUF и MLX | Родной рантайм MLX | Да (бесплатно для личного использования) | Загружайте GGUF и модель MLX в одно окно |
| Jan | Полностью открытый чат, который уважает автономный режим | Metal через llama.cpp | Да (открытый исходный код) | Нет телеметрии и прозрачная панель настроек |
| GPT4All | Mac с малой оперативной памятью и старый Apple Silicon | Metal через llama.cpp | Да (открытый исходный код) | CPU-первые квантизации, настроенные для машин на 8 ГБ |
| Msty | Сравнение двух локальных моделей бок о бок | Metal через llama.cpp | Да (бесплатный уровень) | Две модели, одно окно, один и тот же запрос |
| MLX Chat (mlx-lm) | Максимальная пропускная способность и точная настройка | Первопартийный MLX | Да (открытый исходный код) | Собственный рантайм Apple для моделей MLX |
| Llama.cpp | Прямое управление бэкендом Metal | Тонко настроенные ядра Metal | Да (открытый исходный код) | Рантайм, который оборачивает все остальное приложение |
7 лучших приложений для запуска локальных LLM на Mac
1. Ollama — лучшая установка в одну строку с бэкендом MLX
Ollama переместила свой бэкенд Apple Silicon на MLX в версии 0.19 и превратила стабильный рантайм в заметно быстрый. Одна и та же команда ollama run загружает квантизованную модель и начинает общение, но на Mac серии M с по крайней мере 32 ГБ единой памяти новый двигатель обрабатывает перефилл примерно на 1,6x быстрее и декодирование близко к 2x быстрее, чем путь llama.cpp, который он заменил. Недавние обновления добавили поддержку NVFP4 4-бит для более высокого качества при той же стоимости памяти.
Где он подводит: Двигатель MLX ограничен Apple Silicon с достаточной единой памятью, поэтому старые 16 ГБ MacBooks откатываются на стандартный рантайм. Нативный интерфейс по-прежнему — это CLI и демон, поэтому большинство людей сочетают его с отдельным чат-фронтом.
Цена:
- Бесплатно: открытый исходный код, без лицензионного сбора
- Платно: нет
Платформы: macOS, Windows, Linux
Загрузка: ollama.com
Вывод: Выбирайте Ollama для локальных LLM на Mac, если вам нужен самый быстрый бэкенд с наименьшей стоимостью установки и вы готовы принести свой собственный интерфейс.
2. LM Studio — лучший чат-интерфейс для смешивания GGUF и MLX
LM Studio — одно из немногих приложений, которое запускает как модели llama.cpp GGUF, так и модели MLX в одном окне, что делает его самым простым способом почувствовать разницу в скорости Apple Silicon самому на одном запросе. Apple упомянула LM Studio в материалах запуска M5 по этой причине. Браузер моделей подключается к Hugging Face, отмечает оптимизированные для MLX варианты и показывает, поместится ли файл в вашу единую память, прежде чем вы решитесь на загрузку.
Где она подводит: Лицензия разрешает бесплатное личное использование, но платный план требуется в деловых контекстах, что стоит знать перед установкой на корпоративный MacBook. Приложение имеет закрытый исходный код.
Цена:
- Бесплатно: личное использование
- Платно: рабочий план для деловых целей
Платформы: macOS, Windows, Linux
Загрузка: lmstudio.ai
Вывод: Выбирайте LM Studio для локальных LLM на Mac, если вам нужно одно окно, которое обрабатывает обнаружение моделей, выбор MLX или GGUF, чат и локальный API.
3. Jan — лучший полностью открытый чат-клиент для macOS
Jan — это то, что происходит, когда команда перестраивает опыт LM Studio как открытый исходный код с нуля. Десктопное приложение выглядит нативно на macOS, использует бэкенд Metal через llama.cpp для GPU-ускорения, и заявленная политика проекта — работать полностью в автономном режиме без телеметрии. Панель настроек делает очевидным, какие переключатели влияют на сетевые вызовы, что необычно в этой категории.
Где она подводит: Производительность отстает от Ollama и LM Studio на Apple Silicon, потому что Jan еще не поставил первоклассный MLX рантайм, поэтому он оставляет часть пропускной способности серии M на столе. Истории мобильности и удаленного API новее, чем чат на рабочем столе.
Цена:
- Бесплатно: открытый исходный код, без лицензионного сбора
- Платно: нет
Платформы: macOS, Windows, Linux
Загрузка: jan.ai
Вывод: Выбирайте Jan для локальных LLM на Mac, если открытый исходный код важнее, чем выжимание последних 20 процентов из вашего GPU.
4. GPT4All — лучший для старого Apple Silicon и 8 ГБ Mac
GPT4All по-прежнему выполняет скучную работу лучше, чем большинство на оборудовании, о котором остальная область перестала заботиться. Список моделей по умолчанию настроен для вывода CPU и скромного GPU, малые квантизации работают на M1 MacBook Air с 8 ГБ единой памяти, а чат-интерфейс включает локальный чат документов, который указывает на папку на диске. Для владельцев базовых ноутбуков Apple Silicon, которые отскочили от моделей 7B, работающих в замедленном темпе, подобранный выбор малых моделей — это правильная отправная точка.
Где он подводит: Ускорение Apple Silicon поддерживается через Metal, но это не то, на чем сфокусирован проект, поэтому большие модели отстают от приложений, осведомленных о MLX. Чат-интерфейс функционален, а не красив.
Цена:
- Бесплатно: открытый исходный код, без лицензионного сбора
- Платно: нет
Платформы: macOS, Windows, Linux
Загрузка: gpt4all.io
Вывод: Выбирайте GPT4All для локальных LLM на Mac, если ваша единая память ограничена и вам нужен чат-клиент, который поставляется с моделями, настроенными для этого.
5. Msty — лучший для сравнения двух локальных моделей по одному запросу
Msty заполняет конкретный пробел на macOS: он может общаться с двумя локальными моделями одновременно и показывать их ответы бок о бок. В сочетании с крючками для удаленных API, это делает его самым простым способом проверить новый релиз Qwen MLX в сравнении с Gemma GGUF по одному и тому же запросу без жонглирования двумя окнами. Стеки знаний позволяют вам прикреплять папки или URL-адреса к чату для поиска, и сборка macOS выглядит нативно.
Где она подводит: Бесплатный уровень охватывает большинство личных используемых случаев, но несколько мощных функций сидят за платным планом. Поиск моделей уже, чем у LM Studio, и нет первоклассного рантайма MLX, поэтому чистая пропускная способность отстает от приложений, осведомленных о MLX.
Цена:
- Бесплатно: богатый функциями личный план
- Платно: план Aurum для продвинутых функций
Платформы: macOS, Windows, Linux
Загрузка: msty.app
Вывод: Выбирайте Msty для локальных LLM на Mac, если вы активно сравниваете модели и хотите чат-клиент, построенный для этого рабочего процесса.
6. MLX Chat (mlx-lm) — лучший для максимальной пропускной способности и точной настройки
MLX Chat — это чат-слой над mlx-lm, собственным рантаймом Apple для запуска и точной настройки LLM с MLX. Это самый прямой способ использования фреймворка, который питает бэкенды MLX в Ollama и LM Studio, и на оборудовании класса M5 собственные числа Apple показывают, как MLX обогнал llama.cpp с значительным отступом, с временем до первого токена менее трех секунд на 30B MoE модели. pip install mlx-lm плюс ID модели Hugging Face дает вам работающий чат из командной строки.
Где он подводит: Это ближайший инструмент в списке к исследовательскому проекту. Нет отполированного установщика или браузера моделей, вы управляете окружениями Python, и чат-интерфейсы, которые его оборачивают, минимальны. Это также только macOS, по дизайну.
Цена:
- Бесплатно: открытый исходный код, без лицензионного сбора
- Платно: нет
Платформы: macOS (только Apple Silicon)
Загрузка: github.com/ml-explore/mlx-lm
Вывод: Выбирайте MLX Chat для локальных LLM на Mac, если вам нужен собственный рантайм Apple под рукой и вы комфортно себя чувствуете в терминале.
7. Llama.cpp — лучший для прямого управления бэкендом Metal
Llama.cpp — это рантайм, который почти все приложение в этом списке либо оборачивает, либо раньше использовало. Построение его из исходного кода на Mac берет одну команду, бэкенд Metal тонко настроен для Apple Silicon, а бинарный файл llama-server предоставляет тот же OpenAI-совместимый API, что и отполированные приложения без установщика в середине. Для кого-нибудь, кто хочет видеть точно, какие ядра работают, настраивать параметры семплера за запрос или тестировать совершенно новую архитектуру модели в день, когда она приземляется на Hugging Face, это путь.
Где он подводит: Нет собственного чат-интерфейса кроме базового веб-интерфейса, нет подобранного браузера моделей, и поверхность флага достаточно широка, чтобы первый запуск обычно предполагал чтение README. Приложения, осведомленные о MLX, начали обгонять его по чистой пропускной способности на самых новых чипах серии M.
Цена:
- Бесплатно: открытый исходный код, без лицензионного сбора
- Платно: нет
Платформы: macOS, Windows, Linux
Загрузка: github.com/ggml-org/llama.cpp
Вывод: Выбирайте Llama.cpp для локальных LLM на Mac, если вам нужен рантайм, который оборачивают все остальные приложения, без ничего между вами и ядрами Metal.
Как выбрать
Если вам нужен самый простой путь к рабочей установке на Apple Silicon, установите Ollama и сочетайте ее с чат-фронтом, который вам нравится.
Если вам нужно одно приложение, которое обрабатывает MLX, GGUF, обнаружение модели и чат в отполированном окне, установите LM Studio.
Если открытый исходный код важнее последних 20 процентов пропускной способности, установите Jan.
Если ваш MacBook имеет 8 ГБ единой памяти или старый M1, установите GPT4All и придерживайтесь его подобранных малых моделей.
Если вы активно сравниваете модели по одному запросу, установите Msty.
Если вам нужен собственный рантайм Apple под рукой и вы не прочь терминала, установите MLX Chat поверх mlx-lm.
Если вам нужно прямое управление бэкендом Metal без ничего в пути, соберите Llama.cpp из исходного кода.
FAQ
Действительно ли MLX делает локальные LLM быстрее на Mac, чем llama.cpp?
На современном Apple Silicon, да. Собственные числа Ollama после переключения на MLX показали перефилл примерно на 1,6x быстрее и декодирование близко к 2x быстрее на том же оборудовании серии M, а опубликованные Apple тесты M5 показывают, как MLX отходит дальше на самых новых чипах. На старых машинах M1 и M2 разрыв меньше, но все еще реален.
Сколько единой памяти мне нужно для запуска локального LLM на Mac?
Для комфортного опыта с 7B моделью с 4-бит квантизацией достаточно 16 ГБ единой памяти. Для моделей класса 14B 32 ГБ — это сладкое пятно. Для 70B плотных моделей или 30B-A3B моделей mixture-of-experts с запасом для контекста требуется 64 ГБ или больше.
Является ли Ollama лучшим приложением для запуска локальных LLM на Mac?
Это лучший бэкенд для большинства пользователей Mac теперь, когда двигатель MLX поставлен. Если вам также нужен отполированный чат-интерфейс в одном окне, LM Studio ближе к ответу из одного приложения. Ollama плюс отдельный интерфейс остается самым распространенным стеком.
Могу ли я использовать локальный LLM на моем Mac с моим редактором кода?
Да. Любое приложение, которое предоставляет OpenAI-совместимую точку доступа, включая Ollama, LM Studio, Jan и Msty, может быть установлено как базовый URL в расширениях редактора, нацеленных на OpenAI. Continue, режим bring-your-own-key в Cursor и большинство расширений VS Code это принимают и никогда не видят, как ваш код покидает машину.
