[закрыто] Файловый менеджер для работы с очень большим кол-вом файлов

kursok3

Есть папка в которой записано большое количество файлов (около 1 миллиона файлов по 10 Кб каждый). Нужно с помощью файлового менеджера удалить часть файлов, а другую часть переместить.
Если использовать Total Commander, то для открытия такой папки требуется много времени и затем при каждом изменении файлов Total Commander пересчитывает папку заново. Также в списке появляются не все файлы из папки, а только первых 65000. Поэтому с ним работать мягко говоря не удобно.
Может быть есть файловый менеджер, который бы быстрее работал? :confused:
Спасибо.

Maurog

может, проще скрипты использовать для этого?
bash\Tcl\perl\etc

Troyn09

можно еще far попробовать

schipuchka1

если у тебя нтфс, то бедная твоя файловая система. Поддерживаю скрипты, хотя фар тоже неплох

YUAL

поскольку врядил ты миллион файлов будешь ручками просматривать то файловый менеджер тебе не нужен. скрипты спасут отца русской демократии.

schipuchka1

хотя фар тоже неплох
на 100 000 работал вполне нормально, перечитывал только через час где-то

kursok3

на 100 000 работал вполне нормально, перечитывал только через час где-то
для 100 000 файлов в папке проблем и в Total Commander нет. А вот где-то с 400 000 начинаются сильные тормоза.
Буду тогда использовать скрипты.
Всем спасибо.

williamsmith61

Сдается мне, тормоза у тебя не от файлового менеджера а от файловой системы. Миллион файлов это только MFT записей 1 гигабайт.
Делай поиск, файлы на панель и мочи.

Dasar

Сдается мне, тормоза у тебя не от файлового менеджера а от файловой системы. Миллион файлов это только MFT записей 1 гигабайт.
тормоза в TC, winapi листинг быстро делает

yroslavasako

для 100 000 файлов в папке проблем и в Total Commander нет.
Также в списке появляются не все файлы из папки, а только первых 65000.
ты уж определись

kursok3

ты уж определись
Тут нет противоречия. Если в папке 100 000 файлов, то она достаточно быстро открывается в ТС и можно, например, удалить или переименовать часть файлов. При этом в папке показываются только первые 65 000 файлов, остальных нет, но через Ctrl+A можно все файлы выделить, например.

YUAL

фееричненько. кстати а как проводник отображает миллион файлов?

saveliev_a

Нормально так отображает:

kursok3

кстати а как проводник отображает миллион файлов?
отображает может и нормально, но при открытии такой папки система (Win7) сначала отображает, что в ней скажем 100 000 файлов и начинает добавлять по 1000 файлов в секунду. Ждать не особо хочется пока она все их посчитает. Я пробовал открывать папки с 50-100 тыс. файлов в проводнике. В принципе они нормально открываются.

kursok3

Да ладно, нормально отображает. И кстати все файлы, а не только 65000 первых, как ТС.

Но все равно работать не удобно с ними в проводнике.

Dasar

в 7-ке на четверочку отображает: интерфейс не подвисает, показывает первые файлы, а потом потихоньку подгружает остальное, проц на полную грузит, полностью загружает где-то секунд за 30
зы
cmd-ный dir, кстати, работает не лучше - тоже грузит проц и работает секунд 30
ззы
.net отдает примерно секунды за 4

dangerr

Как же тяжело живётся в твоём параллельном мире, где не придумали базы данных. :)

YUAL

не будь снобом.
бывают разные ситуации. конечно хранить миллион мелких файлов в файловой системе да ещё в одной папке это трындец, но мало ли ситуаций могло к этому привести?

dangerr

Возможно всё, конечно. Но очень сомнительно, что 10^6 файлов были туда положены вручную. А если так, то для таких объёмов данных сохранение в файлах было не самой лучшей идеей.
Вообще интересно бы услышать ответ ТС на вопрос: а как такое получилось?

saveliev_a

Тут нет противоречия. Если в папке 100 000 файлов, то она достаточно быстро открывается в ТС и можно, например, удалить или переименовать часть файлов. При этом в папке показываются только первые 65 000 файлов, остальных нет, но через Ctrl+A можно все файлы выделить, например.
Еще раньше мне показалось нелогичным такое поведение TC. И похоже, что это у автора странный TC, либо он просто не разобрался в теме.

kursok3

И похоже, что это у автора странный TC, либо он просто не разобрался в теме.
У меня отображается 130 000 файлов в папке следующим образом - видно только первые 2^16 файлов при перемотке с помощью скролл бара справа. Я такое наблюдал на двух разных версиях ТС на Vista и Win7.

schipuchka1

Где вы тока такой тотал нашли?)
Перечитывает содержимое папки секунды 4, после выполняет свои функции (выбор по маске, сортировка панелей) почти мгновенно. И да, нормально прокручивается.
Хотя для бОльших файлов возможно содержимое перечитываться дольше будет

saveliev_a

Хм. Нашел тему, в которой описывается, что при 65536 файлах в каталоге не работает колесико для прокрутки. При этом автор TC говорит, что это, скорее всего, баг в винде. У меня повторяется и на XP SP3, и на 2003 SP2.

saveliev_a

Очень толсто.

kursok3

Хм. Нашел тему, в которой автор TC говорит, что это, скорее всего, баг в винде.
Я не знаю насколько тут винда может быть виновата, но если поменять режим просмотра с "Подробный" (который я всегда использовал) на "Краткий", то колесо прокрутки работает нормально и показывает все файлы и после 65000. Так что скорее это баг "Подробного" режима в ТС.

kursok3

Хотя для бОльших файлов возможно содержимое перечитываться дольше будет
Я сравнивал FAR и ТС для открытия одних и тех же папок с большим количеством файлов. Разницы в скорости открытия не заметил. Так что я бы не стал говорить, что ТС тормозит. Зато он удобней в плане функций (для меня по крайней мере). Проблему с отображением 65000 файлов подсказал как "обойти".

saveliev_a

1) Я исправил предыдущее сообщение, так как понял, что речь шла о другой, возможно, связанной проблеме.
2) Лумаю, что для краткого и подробного режимов используются разные компоненты, поэтому и баг проявляется только в подробном.
3) Попробуй использоваться не сборку, а официальную последнюю версия TC.
4) Можешь еще проверить на моей сборке? Ставить ее не нужно, просто разархивируешь и запускаешь. Ну или можешь поставить с оффсайта, а потом скопировать из сборки wincmd.ini и каталог conf.

kursok3

3) Попробуй использоваться не сборку, а официальную последнюю версия TC.
Если использовать версию 7.56a, скачанную с сайта (http://www.ghisler.com/download.htm). Это последняя офиц. версия, насколько я понял. То проблема с "Полным" режимом остается. Меня лично решение с использованием "Краткого" режима вполне устраивает. :p

saveliev_a

Очень странно. Попробуй еще из сборки моей взять wincmd.ini.
Оставить комментарий
Имя или ник:
Комментарий: