При поиске поискового робота / загружают программу, которая может использовать существующие cookie браузера и может обработать [закрытый] JavaScript
Я ищу программу пауку веб-сайт* и загружаю содержание на диск. У меня есть следующие требования хотя, которые, кажется, сбивают с толку программы, которые я попробовал:
Процесс входа в систему сайта распределяется между несколькими страницами, таким образом, я должен смочь запустить сессию вручную с моим веб-браузером, пройти проверку подлинности, затем запустить паука и предоставить ему доступ к cookie.
Многие ссылки выполняют JavaScript и затем возвращают содержание.
Многие ссылки возвращают документы в формате PDF (некоторые пауки действительно поддерживают это).
До сих пор, хотя я не могу найти паука, который может обработать № 1 и № 2.
* сайт является сервисом оплаты счета, и он имеет мою историю счета. Я надеюсь прекращать использовать сервис, но я хочу сохранить историю.