Разорвите веб-сайт через HTTP к образам загрузки, HTML и CSS
10 ответов
wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp http://example.com
Это работает в консоли.
это будет захватывать сайт, ожидать 3 секунды между запросами, ограничивать, как быстро он загружает так, он не уничтожает сайт и саму маску способом, которая заставляет его, казаться, просто быть браузером, таким образом, сайт не сокращает Вас от использования механизма антипиявки.
Отметьте -A параметр, который указывает на список типов файлов, которые Вы хотите загрузить.
Можно также использовать другой тег, -D domain1.com,domain2.com для указания на серию доменов, Вы хотите загрузить, если у них есть другой сервер или безотносительно для хостинга различных видов файлов. Нет никакого безопасного способа автоматизировать это для всех случаев, если Вы не получаете файлы.
wget обычно предварительно устанавливается на Linux, но может быть тривиально скомпилирован для других систем Unix или загружен легко для Windows: GNUwin32 WGET
Используйте это во благо и не злые.
Хорошее, бесплатное решение: HTTrack
HTTrack является свободным (GPL, libre/free программное обеспечение) и простая в использовании офлайновая утилита браузера.
Это позволяет Вам загружать сайт Всемирной паутины от Интернета до локального каталога, создавая рекурсивно все каталоги, получая HTML, изображения и другие файлы с сервера на Ваш компьютер. HTTrack располагает структуру относительной ссылки исходного сайта. Просто откройте страницу "зеркального" веб-сайта в Вашем браузере, и можно просмотреть сайт от ссылки до ссылки, как будто Вы просматривали его онлайн. HTTrack может также обновить существующий зеркальный сайт, и резюме прервало загрузки. HTTrack полностью настраивается, и имеет интегрированную систему справочной информации.
Необходимо использовать wget - который доступен для большинства платформ. завихрение не запросит документы рекурсивно, который является одними из главных преимуществ wget.
Linux: (обычно включаемый в дистрибутив) http://www.gnu.org/software/wget/
Windows: http://gnuwin32.sourceforge.net/packages/wget.htm
Mac: http://www.geekology.co.za/blog/2009/02/macports-compile-and-install-open-source-software-on-mac-os-x/
Удостоверьтесь, что Вы не стучите, веб-сайт - настроил подходящие задержки между запросами и удостоверяется, что это в рамках условий предоставления услуг сайта.
- Adam
На самом деле, развитие мой комментарий в сообщении GWLLOSA, я просто помнил, что у меня есть GnuWin32, установленный, и конечно же это содержит порт Windows wget.
http://sourceforge.net/projects/gnuwin32/
GnuWin32 provides Win32-versions of GNU tools,
or tools with a similar open source licence.
The ports are native ports, that is they rely
only on libraries provided with any 32-bits
MS-Windows operating system, such as
MS-Windows 95 / 98 / 2000 / NT / XP
Я думаю, что средство захвата сайта IDM является лучшим решением, существует, также Телепортируют про
Я использовал это несколько лет назад, и это работало хорошо. Windows только. Используемый, чтобы быть рекламным программным обеспечением, но больше, по-видимому:
Менеджер по Бесплатной загрузке может загрузить полные веб-сайты также.
Windows только я думаю.