В статье XDA про Hermes Agent назвали разрыв, который беспокоит энтузиастов локальных LLM уже два года: модель в окне чата — это не то же самое, что модель, которая может что-то реально делать. Модель на 70B, работающая на вашем собственном GPU, впечатляет. Модель на 7B, которая может читать ваши файлы, запускать скрипты и записывать результаты, полезна совсем по-другому.
Мы протестировали семь настольных приложений, которые добавляют возможности агентов к локальным LLM, используя Ollama и LM Studio в качестве бэкенда моделей на Windows, macOS и Linux. Выбранные нами инструменты охватывают как open-source фреймворки для работы со скриптами, файлами и shell, так и более лёгкие инструменты, сфокусированные на одной задаче.
Что важно в локальном LLM-агенте
- Гибкость бэкенда. Полезный агент работает с любым сервером моделей, который вы уже используете. Ollama, LM Studio, llama.cpp и OpenAI-совместимые endpoint — всё это здесь поддерживается.
- Выполнение инструментов, которые вы можете проверить. Агенты, которые запускают shell-команды, должны иметь шаг подтверждения или sandbox. Слепое выполнение инструментов на реальной рабочей станции — это как эксперименты с локальными LLM заканчиваются повреждением конфигурации.
- Границы доступа к файлам. «Читать любой файл» удобно, но опасно. Лучшие инструменты позволяют ограничить агента папкой проекта.
- Память между запусками. Одни задачи требуют свежего разговора. Другим нужен контекст из вчерашнего запуска. Инструменты различаются в том, является ли память опциональной.
- Стоимость отказа. Неудачный облачный агент — это потраченный вызов API. Неудачный локальный агент, выполнивший неправильную shell-команду — это задача восстановления. Выбирайте инструменты, которые безопасно отказывают.
Быстрое сравнение
| Приложение | Лучше всего для | Поддержка бэкенда | Выполнение инструментов | Лицензия |
|---|---|---|---|---|
| Open Interpreter | Естественно-языковой shell с выполнением кода | Ollama, LM Studio, llama.cpp, OpenAI-совместимые | Да, с опциональным безопасным режимом | AGPLv3 |
| OpenHands | Агент для разработки ПО с реальными кодовыми базами | OpenAI-совместимые, Ollama | Да, изолировано в Docker | MIT |
| Hermes Agent | Лёгкий runner привязанный к моделям Hermes | Ollama, LM Studio, llama.cpp | Да, скриптовые инструменты | MIT |
| AutoGPT | Автономный runner для долгосрочных задач | OpenAI-совместимые, Ollama через прокси | Да, на основе плагинов | MIT |
| AgentGPT | Агент в браузере с опцией self-hosted | OpenAI-совместимые, Azure, локальный прокси | Да, в браузере | GPL-3.0 |
| Continue | Агент для кодирования в редакторе | Ollama, LM Studio, OpenAI-совместимые | Да, ограниченный IDE | Apache 2.0 |
| CrewAI | Фреймворк оркестрации multi-agent | Любой OpenAI-совместимый endpoint | Да, через Python инструменты | MIT |
Приложения
1. Open Interpreter — лучший general-purpose shell
Open Interpreter — это самое близкое к «локальному LLM, который может пользоваться вашим компьютером». Установите его через pip, укажите на endpoint Ollama или LM Studio, и попросите его суммировать содержимое папки, переименовать файлы по дате или запросить SQLite базу данных. Он пишет Python, просит подтверждение перед запуском и возвращает результат в разговор.
Где он отстаёт: Режим по умолчанию запускает код локально с подтверждением; безопасный режим добавляет sandbox, но ограничивает возможности инструментов. Меньшие локальные модели иногда галлюцинируют вызовы функций, которые не работают при выполнении. Интерактивный REPL отличный; настольный GUI новее и более шероховатый.
Цена:
- Бесплатно: AGPLv3 open source
- Платно: нет
Платформы: Windows, macOS, Linux
Скачать: Open Interpreter | Исходный код
Итог: Выбирайте это, когда вам нужна единая команда CLI, которая превращает локальный LLM в работающий shell-помощник.
2. OpenHands — лучший для задач разработки ПО
OpenHands (проект, ранее известный как OpenDevin) создан для работы на уровне кодовой базы. Агент работает внутри Docker sandbox, получает реальный shell, может использовать браузер и выполнять многошаговые планы для Git-репозитория. Он подключается к OpenAI-совместимым endpoint, включая локальные прокси Ollama и LM Studio, так что модель остаётся на вашем оборудовании, а агент получает полные инструменты разработки.
Где он отстаёт: Более сложная настройка, чем Open Interpreter; нужен работающий Docker и готовность выделить контейнеру существенные ресурсы. Меньшие локальные модели (менее 13B) борются с многошаговым планированием, которое ожидает OpenHands. Веб-интерфейс функционален, но не такой гладкий, как облачная версия.
Цена:
- Бесплатно: MIT open source
- Платно: нет
Платформы: Windows, macOS, Linux (через Docker)
Скачать: OpenHands
Итог: Выбирайте это, когда агенту нужно прочитать реальную кодовую базу, запустить тесты и создать pull request.
3. Hermes Agent — лучший лёгкий runner
Hermes Agent — это проект, который выделила XDA. Он объединяет локальный LLM с небольшим, сфокусированным agent runtime, который может запускать скрипты и читать файлы, спроектирован вокруг семейства fine-tuned моделей Hermes, но совместим с любой chat-tuned моделью, поданной через Ollama или llama.cpp. Размер небольшой и конфигурация короткая.
Где он отстаёт: Молодой проект; документация и база знаний сообщества тонкие. Лучшие результаты получаются при работе с моделями семейства Hermes, для которых был настроен runtime; обычные open модели работают, но менее надёжно. Оркестрация задач проще, чем OpenHands.
Цена:
- Бесплатно: MIT open source
- Платно: нет
Платформы: Windows, macOS, Linux
Скачать: Hermes Agent на GitHub
Итог: Выбирайте это, когда вам нужен маленький runner, который не мешается и запускает скрипты, которые у вас уже есть.
4. AutoGPT — лучший автономный runner для задач
AutoGPT популяризировал паттерн «дайте LLM цель и позвольте ему разобраться со шагами». Недавний переписанный код поддерживает агент-builder в стиле графа, плагины для веб-поиска, манипуляции файлами и использования инструментов, а также self-hosted бэкенд, который общается с локальными endpoint моделей через OpenAI-совместимые прокси.
Где он отстаёт: Автономные циклы на малых локальных моделях могут спирализироваться, накапливая вызовы инструментов без прогресса. Экосистема плагинов была большой во время хайпа 2023, затем сжалась; проверяйте плагины перед предоставлением им доступа к файловой системе. Интерфейс более загромождён, чем альтернативы CLI.
Цена:
- Бесплатно: MIT open source
- Платно: опциональное управляемое облако
- vs OpenHands: более широкие цели, менее структурированное выполнение
Платформы: Windows, macOS, Linux
Скачать: AutoGPT
Итог: Выбирайте это, когда задача широкая и цель — «посмотрим, что придумает агент», а не «выполни этот определённый план».
5. AgentGPT — лучший option для браузера
AgentGPT работает в вкладке браузера. Он предоставляет интерфейс на основе целей, который разбивает высокоуровневую задачу на подзадачи и выполняет их через endpoint модели. Self-hosted Docker build позволяет вам указать на локальный сервер моделей, что держит модель на вашем оборудовании, предоставляя удобный веб-интерфейс для нетехнических пользователей.
Где он отстаёт: Выполнение инструментов более ограниченное, чем Open Interpreter или OpenHands; он полагается на поиск и рассуждение, а не на доступ к файловой системе. Хостированная версия — это платный SaaS; self-hosted версия — бесплатный путь.
Цена:
- Бесплатно: GPL-3.0 self-hosted
- Платно: хостированные планы начиная примерно с 40 USD в месяц для более высоких лимитов
Платформы: Windows, macOS, Linux (браузер; бэкенд через Docker)
Скачать: AgentGPT
Итог: Выбирайте это, когда вам нужен веб-интерфейс, который нетехнические коллеги смогут использовать, указав на ваш локальный сервер моделей.
6. Continue — лучший агент в редакторе
Continue — это расширение VS Code и JetBrains, которое превращает редактор в интерфейс агента. Он подключается к Ollama, LM Studio, llama.cpp и OpenAI-совместимым endpoint, поддерживает использование инструментов, ограниченное workspace, и обрабатывает автодополнение, чат и многошаговые правки, не покидая IDE.
Где он отстаёт: Agentic глубина более поверхностная, чем OpenHands; он отличный в «отредактируй эти файлы на основе этого промпта» и слабее в «исследуй эту кодовую базу от начала до конца». Поверхность инструментов ограничена IDE, а не всей машиной.
Цена:
- Бесплатно: Apache 2.0 open source
- Платно: опциональные командные функции
Платформы: Windows, macOS, Linux (как расширение VS Code или JetBrains)
Скачать: Continue | Исходный код
Итог: Выбирайте это, когда работа происходит в IDE и вы хотите агента внутри редактора, а не в отдельном окне.
7. CrewAI — лучший для multi-agent setups
CrewAI — это Python фреймворк, а не полированное приложение. Причина включения: когда «один агент» — это неправильная единица работы и вам действительно нужны исследователь, писатель и критик, работающие в координации, это самый удобный путь для настройки против локального сервера моделей. Он нацелен на аудиторию разработчиков Python и производит код оркестрации, а не интерфейс чата.
Где он отстаёт: Code-first, нет GUI. Требует, чтобы вы определили команду, инструменты и задачи в Python. Кривая обучения реальная и документация ожидает знакомства с паттернами в стиле LangChain.
Цена:
- Бесплатно: MIT open source
- Платно: опциональный CrewAI Enterprise
Платформы: Windows, macOS, Linux (как Python библиотека)
Скачать: CrewAI | Исходный код
Итог: Выбирайте это, когда одного агента недостаточно и вы можете писать Python.
Как выбрать правильный
- Если вам нужен единый command-line инструмент, который выполняет работу: Open Interpreter.
- Если вам нужен агент, который работает с реальными проектами ПО: OpenHands.
- Если вам нужен маленький runner привязанный к семейству Hermes: Hermes Agent.
- Если вам нужна широкая автономия и вы принимаете затраты: AutoGPT.
- Если вам нужен веб-интерфейс для нетехнических пользователей: AgentGPT.
- Если работа происходит в IDE: Continue.
- Если вам нужны несколько скоординированных агентов: CrewAI.
FAQ
В чём разница между локальным LLM-агентом и chat моделью?
Chat модель производит текст. Агент работает в цикле: подумай, вызови инструмент, наблюди результат, подумай снова, вызови другой инструмент, пока цель не достигнута или цикл не завершится. Инструменты — это скрипты, чтение файлов, веб-поиски, shell-команды или что-то ещё, что предоставляет фреймворк. Одна и та же модель может быть либо тем, либо другим в зависимости от оболочки runtime.
Могу ли я запустить это на Raspberry Pi?
Некоторые можно, с маленькими моделями. Open Interpreter и Hermes Agent достаточно лёгкие для старта. OpenHands требует ресурсов Docker, превышающих то, что Pi может выдать удобно. Планируйте минимум 16 GB RAM и GPU или Apple Silicon для любого агента, построенного вокруг модели 13B или больше.
Какой из них самый безопасный для запуска на реальной рабочей станции?
OpenHands изолирует всё внутри Docker по умолчанию, что даёт самую сильную изоляцию. Open Interpreter имеет безопасный режим, который добавляет слой sandbox. Относитесь к остальным, как вы относились бы к любому инструменту, который запускает произвольные скрипты: ограничьте его папкой проекта, не запускайте как root и создавайте резервную копию перед тем, как позволить ему что-то трогать.
Мне нужен GPU?
Полезные агенты начинают чувствовать себя отзывчиво примерно на моделях 13B. Без GPU, модель 7B на современном CPU работает для простых задач. Mac Apple Silicon с 32 GB unified memory работает удивительно хорошо. Дискретный NVIDIA GPU с 16 GB+ — это самая гибкая настройка.
Могу ли я использовать это с OpenAI API вместо локальной модели?
Да для большинства из них. Перечисленные фреймворки принимают любой OpenAI-совместимый endpoint, так что та же настройка работает против GPT-4o, Anthropic через прокси, Groq, Together или вашего локального экземпляра Ollama. Смысл локального — держать данные на вашем оборудовании; коду агента всё равно, откуда источник.
В чём разница между OpenHands и Open Interpreter?
OpenHands построен для инженерных задач против кодовой базы, с сильной изоляцией и циклом планирования. Open Interpreter построен для использования «natural-language shell» по всей машине, с более лёгким sandbox и chat-first интерфейсом. Используйте OpenHands внутри репо; используйте Open Interpreter на машине.
