Может хранение 300k файлы в проблемах причины папки?
Я проверяю большой веб-сайт (по 200k страницам) использующий wget (там лучший инструмент btw?). Wget сохранил все файлы к одному каталогу.
Раздел является HFS (я думаю), он вызовет проблемы, если у меня будут все файлы в одном dir? Принятие я получу доступ ко всем ним только от консоли (я знаю Средство поиска, имеет проблемы с директорами> 5k файлы).
Или есть ли, возможно, способ создать микрораздел, который был бы сжат и будет допускать быстрый, оптимизированный доступ к этой сумме файлов?
2 ответа
Несмотря на выполнимость базовой файловой системы, Вы ДЕЙСТВИТЕЛЬНО никогда не должны хранить это много файлов в одном каталоге. Когда это прибудет время для просмотра содержания того каталога, Вы быстро обнаружите, что существует ОГРОМНАЯ сумма задержки, в то время как ОС пытается создать список файлов и такой. Это действительно помещает существенное количество деформации в системе.
Большинство инструментов там, которые делают любой вид "веб-архивации", будет обычно создавать структуру каталогов, подобную расположению веб-сайта. Почти все веб-сайты не основывают все свое содержание прочь корневого каталога... т.е. mydomain.com/document-1... у них будет некоторая логистика позади всего этого, которые разделяют его на несколько путей (по ряду причин), т.е. изображения входят в mydomain.com/images и наполняют о золотой рыбке, находятся в mydomain.com/goldfish/ и т.д...
Существует несколько инструментов там, которые могут и создавать этот вид структуры каталогов для Вас. даже wget имеет опции загрузить весь сайт. Лично, я использовал "httrack" в прошлом, и он работал вполне хорошо. Существуют также параметры командной строки для wget для загрузки всего сайта также. Посмотрите на-r (рекурсивная) опция. Просто удостоверьтесь, что Вы устанавливаете свой доменный список, таким образом, Вы не загружаете ссылки бесконечно через несколько сайтов. Лучше всего сделайте некоторое чтение на wget странице справочника.
Википедия указывает, что HFS имеет предел файла 65 535. Таким образом, если Вашим разделом будет действительно HFS, то Вы поразите это.
Из Википедии:
Кроме того, предел 65 535 блоков выделения привел к файлам, имеющим "минимальный" размер, эквивалентный 1/65,535-й размер диска. Таким образом любой данный объем, неважно, его размер, мог только сохранить максимум 65 535 файлов. Кроме того, любой файл был бы выделен больше места, чем этому на самом деле было нужно до размера блока выделения. Когда диски были маленькими, это не было большого значения, потому что отдельный размер блока выделения был тривиален, но поскольку диски начали приближаться к метке на 1 ГБ, самая маленькая сумма места, которое мог занять любой файл (единственный блок выделения) стала чрезмерно большой, тратя впустую существенное количество дискового пространства. Например, на диске на 1 ГБ, размер блока выделения под HFS составляет 16 КБ, поэтому даже 1-байтовый файл поднял бы 16 КБ дискового пространства. Эта ситуация была меньшим количеством проблемы для пользователей, имеющих большие файлы (такие как изображения, базы данных или аудио), потому что эти большие файлы потратили впустую меньше пространства как процент их размера файла. Пользователи со многими маленькими файлами, с другой стороны, могли потерять обильную сумму пространства из-за большого размера блока выделения. Это превратило диски разделения в меньшие логические тома, очень призывающие к пользователям Mac, потому что маленькие документы, хранившие на меньшем объеме, подняли бы намного меньше пространства, чем если бы они находились на большом разделе. Та же проблема существовала в файловой системе FAT16.