Проверка битые ссылки в файле HTML?
У меня есть файл HTML с несколькими сотнями ссылок, моей базой данных исследования, в некотором роде, собранный за эти годы. Каков был бы самый легкий способ проверить, какой из них все еще живы?
(импортирующий в Firefox вне рассмотрения),
1 ответ
Используйте wget. Простая, scriptable, командная строка, и доступный на Вашей любимой платформе, является ли это выходом Unix, Победа*, Cygwin, и т.д. (см. Википедию для ссылок на различные версии). Из страницы справочника:
--spider
При вызове с этой опцией Wget будет вести себя как поисковый робот, что означает, что он не загрузит страницы, просто проверьте, что они там. Например, можно использовать Wget для проверки закладок:
wget --spider --force-html -i bookmarks.htmlЭтой функции нужно намного больше работы для Wget для нахождения рядом с функциональностью реальных поисковых роботов.
Вы могли бы хотеть --no-verbose и/или --output-document=file опции также.