Я установил и выполнил Web Crawler Heritrix. Это хранило данные в .arc.gz файлах

Если бы Вы использовали Web Crawler Heritrix, я был бы очень признателен за Вашу справку.

3 вопроса:

1. Файл дуги, вероятно, содержит исходные коды страниц MANY там. Как я выясняю, который является который?
2. Как я интерпретирую .arc.gz файлы? Я открыл их в VIM и понял, что был HTML-код + спам (который я не могу даже проанализировать использование Python SGMLParser из-за спама).
3. Рекомендуется сжаться? (.gz)

В основном я понятия не имею, что.ARC файлы и что я могу сделать с ними. Я привык использовать URLLIB2, чтобы загрузить и проанализировать HTML вручную.