HTTrack WebSite Copier — это инструмент для автономного просмотра, который есть в каждом списке «как скачать сайт» вот уже двадцать лет. Он всё ещё работает на классических статических сайтах, всё ещё выходит для Windows и Linux, и всё ещё делает то, что написано в названии. Однако он годами не получал серьёзных обновлений, полностью игнорирует контент, отрендеренный JavaScript, имеет интерфейс из эпохи Windows XP и падает на современных сайтах, которые полагаются на динамическую загрузку. Люди, ищущие альтернативы HTTrack, обычно хотят одно из трёх: инструмент, который справляется со страницами, отрендеренными JavaScript, современный интерфейс, не требующий чтения документации, или формат сохранения одного файла вместо древа папок. Вот семь инструментов, которые охватывают все три варианта.
Быстрое сравнение
| Инструмент | Лучше всего для | Лицензия | Платформы | Особенность |
|---|---|---|---|---|
| Cyotek WebCopy | Современный GUI для Windows | Бесплатно | Windows | Разумные настройки по умолчанию, читаемый интерфейс |
| SiteSucker | Нативное приложение для macOS | Платно | macOS | Захват сайта методом drag-and-drop |
| wget | Надежность командной строки | Бесплатно, open-source | Windows, macOS, Linux | Скриптуемый, зеркалирует всё |
| Offline Explorer | GUI для опытных пользователей | Платно | Windows | Расписание, фильтры, интеграция с браузером |
| A1 Website Download | Перекрестье SEO-краулера | Платно | Windows, macOS | Визуально отображает внутренние ссылки |
| monolith | Сохранение одного файла | Бесплатно, open-source | Windows, macOS, Linux | Один самодостаточный HTML-файл |
| Getleft | Лёгкий бесплатный инструмент | Бесплатно | Windows | Маленький, быстрый, контроль глубины |
Почему люди переходят с HTTrack
Он не запускает JavaScript. Что-либо отрендеренное после загрузки страницы (современные SPA, ленивая загрузка изображений, AJAX-контент) для HTTrack невидимо. В загруженной копии есть пустые секции там, где должны быть динамические части.
Интерфейс — пережиток. Мастера, многошаговые диалоги и панель опций, которая не переделывалась пятнадцать лет. Новые пользователи тратят больше времени на конфигурацию, чем на саму загрузку.
Обновления замедлились. Стабилен в том, что делает, но далеко позади современного веба. Никаких серьёзных работ над рендерингом JS, никаких современных потоков аутентификации, никакого headless-браузера.
Он создаёт древо папок. Выход — структура каталогов, которая отражает сайт, что верно, но неудобно. Совместное использование загрузки — это zip-файл вместо одного артефакта.
Альтернативы
Cyotek WebCopy: современный GUI для Windows
Cyotek WebCopy — это бесплатный инструмент зеркалирования сайтов только для Windows с современным интерфейсом. Разумные настройки из коробки, чёткая модель проекта (один проект на сайт), редактор правил для паттернов включения/исключения и панель результатов, которая показывает, что реально было сохранено.
Где он отстаёт: Как и HTTrack, не выполняет JavaScript. Только Windows.
Цена: Бесплатно.
против HTTrack: Тот же подход (HTTP-краулер, который следует за ссылками), но с намного лучшим UI и разумными настройками по умолчанию.
Миграция с HTTrack: Создайте новый проект, указывающий на тот же сайт; экспортируйте правила, если ваша конфигурация HTTrack была сложной.
Загрузка: cyotek.com/cyotek-webcopy
Вывод: Выбор для пользователей Windows, которые хотят поведение HTTrack с пользовательским интерфейсом 2020-х.
SiteSucker: нативное приложение для macOS
SiteSucker — долгожданный ответ для macOS. Перетащите URL на значок док, выберите, на какую глубину копировать, и загрузка начнётся. Настройки включают переписывание ссылок, фильтры по типам файлов и аутентификацию. Версия для iPad существует для загрузок на планшет.
Где она отстаёт: Платно (скромная плата за лицензию в Mac App Store). Не рендерит JavaScript.
Цена: Платная однократная лицензия.
против HTTrack: Нативное для macOS; HTTrack на macOS существует, но не поддерживается.
Миграция с HTTrack: Пересоздайте проект в панели настроек SiteSucker.
Загрузка: ricks-apps.com/osx/sitesucker
Вывод: Выбор на Mac.
wget: надежность командной строки
GNU wget — каноничный загрузчик сайтов командной строки. wget --mirror --convert-links --adjust-extension --page-requisites --no-parent <url> зеркалирует сайт с переписыванием ссылок в одну строку. Надёжен против ошибок, возобновляет прерванные загрузки, интегрируется в скрипты cron.
Где он отстаёт: Только командная строка. Не запускает JavaScript. Подробный вывод требует терпения от новичков.
Цена: Бесплатно и open-source.
против HTTrack: Легче, надёжнее, каждый флаг задокументирован.
Миграция с HTTrack: Переведите паттерны include/exclude в флаги --accept и --reject.
Загрузка: gnu.org/software/wget
Вывод: Правильный выбор, если вы живёте в терминале.
Offline Explorer: GUI для опытных пользователей
Offline Explorer от Metaproducts — это коммерческий тяжеловес GUI. Шаблоны проектов, расписание, поиск в загруженном контенте, интеграция с IE/Chrome/Firefox для захвата того, что на экране, и фильтры по глубине/URL, которые намного превосходят возможности HTTrack. Уровни Pro и Enterprise добавляют SQL-бэкенды и командные функции.
Где он отстаёт: Платно, и уровни Pro/Enterprise стоят недёшево. Только Windows.
Цена: Платная однократная лицензия за каждый уровень.
против HTTrack: Больше функций, больше полировки, с ценником.
Миграция с HTTrack: Создайте новый проект. Существующие загрузки HTTrack не импортируются, но исходные URL остаются.
Загрузка: metaproducts.com
Вывод: Выбор, когда бюджет не является ограничением, а пробелы в функциях HTTrack есть.
A1 Website Download: пересечение SEO-краулера
A1 Website Download от Microsys построен командой, которая также делает SEO-краулеры. Выход включает визуальную карту сайта внутренних ссылок и аналитический вид того, какие страницы на что ссылаются, в дополнение к самой автономной копии.
Где она отстаёт: Платно. Интерфейс наследует от SEO-инструмента, что означает больше регуляторов, чем нужно чистому копировщику сайтов.
Цена: Платная однократная лицензия.
против HTTrack: Предлагает копию плюс структурное понимание архитектуры ссылок сайта.
Миграция с HTTrack: Создайте новый проект.
Загрузка: microsystools.com
Вывод: Выбор, когда вам нужна автономная копия и карта структуры ссылок сайта.
monolith: сохранение одного файла
monolith — это инструмент командной строки, который сохраняет одну веб-страницу как один самодостаточный HTML-файл со всеми изображениями, стилями, скриптами и шрифтами, встроенными как data URI. Результат — один файл, который вы можете отправить по электронной почте, бросить в папку или открыть где-либо.
Где он отстаёт: Только одна страница, не весь сайт. Headless-рендеринг JavaScript опционален и требует отдельной установки Chrome.
Цена: Бесплатно и open-source.
против HTTrack: Другая форма. monolith предназначен для чистого сохранения одной статьи; HTTrack — для зеркалирования целого сайта.
Миграция с HTTrack: Используйте оба. monolith для сохранения одной страницы для последующего чтения; инструменты класса HTTrack для зеркалирования полного сайта.
Загрузка: github.com/Y2Z/monolith
Вывод: Выбор, когда «сохранить эту одну страницу идеально» — это работа.
Getleft: лёгкий бесплатный инструмент
Getleft — это маленький, бесплатный загрузчик сайтов для Windows с контролем глубины, фильтрами по типам файлов и паузой/возобновлением. Интерфейс простой, но установка крошечная и результат надёжен на статических сайтах.
Где он отстаёт: Только Windows. Не видел интенсивной разработки годами. Нет рендеринга JS.
Цена: Бесплатно.
против HTTrack: Меньше установка, легче первый запуск, похожие ограничения на динамических сайтах.
Миграция с HTTrack: Переведите параметры проекта.
Загрузка: sourceforge.net/projects/getleftdown
Вывод: Выбор, когда вам нужно что-то маленькое и бесплатное.
Как выбрать
Выберите Cyotek WebCopy, если вам нужна ближайшая современная замена HTTrack для Windows.
Выберите SiteSucker на Mac.
Выберите wget, когда скриптинг, расписание или запуск на сервере в полномочиях.
Выберите Offline Explorer, когда покрытие функций и полировка оправдывают оплату инструмента.
Выберите monolith, когда цель — одна страница, архивированная чисто, а не весь сайт.
Выберите Getleft, когда «маленький и бесплатный» побеждает «мощный и настраиваемый».
Оставайтесь на HTTrack, если у вас есть существующий проект, целевой сайт достаточно статичен, чтобы HTTrack уже правильно его захватывает, и устаревший интерфейс вас не беспокоит.
Часто задаваемые вопросы
Что с сайтами, отрендеренными JavaScript?
Нет инструмента общего назначения, который бы хорошо обрабатывал современные SPA по умолчанию. Практические обходные решения: используйте wrapper для headless Chrome (monolith с режимом headless или wget в сочетании с puppeteer или playwright), или примите, что сохранённая копия будет лишена динамически загруженного контента. ArchiveBox и SingleFile — два инструмента сообщества, которые оборачивают headless Chrome для этой цели.
Как загрузить сайт, требующий входа? HTTrack, Cyotek WebCopy и wget все принимают базовую HTTP-аутентификацию и строки куков. Для аутентификации на основе сессии войдите в ваш браузер, экспортируйте куки (используя расширение браузера) и передайте их инструменту. Потоки аутентификации, которые используют OAuth или недолговечные токены, сложнее и могут требовать headless-браузер подход.
Есть ли способ зеркалировать сайт как один файл архива? monolith производит один HTML-файл на страницу. Для целого сайта типичные ответы — архив WARC (формат, который используется archive.org; инструменты включают warcprox и wpull) или zip зеркальной папки.
Законны ли эти инструменты? Сами инструменты законны. То, что вы загружаете, регулируется условиями обслуживания сайта и авторским правом. Личное автономное чтение общедоступных страниц в целом нормально; распространение соскребленного контента — нет. Если сомневаетесь, проверьте robots.txt и условия сайта.
Какой инструмент не будет ограничен частотой целевым сайтом?
Все они могут быть ограничены по частоте, если вы краулите слишком агрессивно. Флаги --wait и --random-wait wget, ограничения подключения HTTrack и параметр скорости запроса Cyotek позволяют замедлить краул до вежливого темпа. Некоторые сайты всё ещё блокируют агрессивные краулеры независимо от темпа; уважайте это.
