Командная строка поисковый робот HTTP для Windows? [дубликат]

Возможный дубликат:
Как я могу загрузить весь веб-сайт

У кого-то была бы рекомендация для поискового робота веб-сайта, который может быть вызван и оборудован настройками из командной строки?

Это должно было бы работать в среде Windows.

Сохранение данных, переходить по ссылкам таблицы стилей и т.д. не являются проблемой. Мне только нужен поисковый робот, чтобы запуститься со страницы, проанализировать его и перейти по всем ссылкам на том же домене так, чтобы в конце, все страницы на сайте требовали однажды.

Фон: я запускаю веб-сайт, который часто загружается от местоположения станции. Комбинируя данные из различных источников, это имеет несколько уровней кэширования. Я не хочу первый пользователь, который посетит сайт после новой загрузки для ожидания, пока страница не была сгенерирована и сохранена в кэше.