обновления на lorien.local

Landstreicher

Добавлены фичи в SMB Search:

  • возможность разным компам иметь одинаковые имена. синхронизированы с DNS от v.ru, hackers, gznet.ru. Количество компов резко выросло.
    Уважаемые пользователи сети - пожалуйста проверьте ваше наличие в списках групп!
  • показ размера каталогов (с подкаталогами)
  • поиск в найденном

Все фичи написаны на скорую руку, очень нужно активное тестирование! Поищите чего-нибудь.
Какие бы фичи вы еще хотели видеть? Какие баги на данный момент все еще не исправлены?
Еще: сайт написан с расчетом чтобы соотвествовать HTML 4.01 Transitional, если вы обнаружите, что по какому-то запросу выдается страница, не удовлетворяющая этим требованиям - пожалуйста сообщите об этом (это расценивается как баг). Проверить можно на http://validator.w3.org/

Monstera

The requested URL /film_list.php was not found on this server.
так должно быть?

pechenkinsa


При переходе на подробную показывает правильный объем расшаренных ресурсов
Суммарный объем выдает за 20 Тб, раньше было ок. 12

murshudv

В найденном не ищет.
Выдаёт Error: Nothing found -- possible syntax error

murshudv

Неправильно показывает размер некоторых каталогов. То, что внутри, в сумме большего размера, чем показывается.

Landstreicher

Пофиксено. Были типичные ошибки типа int вместо long long int итп

Landstreicher

Да, film_list больше не поддерживается. Зачем он вам понадобился?

Landstreicher

Исправил один баг. Теперь вроде(?) ищет. Приведите, пожалуйста, пример что нужно делать, чтобы получить неверный результат.

murshudv

Теперь вроде всё ok. Спасибо!

Monstera

z80 лежал

kuro7718

Или я туплю. Или он не поддерживает логические операторы в поиске ?

dgaf

ссылки на файлы испортились
http://lorien.local/smb/xx.xx.xx.xx/shara/file

otets-mihail

можно ли еще на каждый хост показывать значение OS, которое smbclient выдает?

marizha

а возможен ли такого рода запрос: picture nature. а результатом хочется путь типа , т.е. содержащий оба ключевых слова...

Landstreicher

я думал на эту тему. не знаю как такое сделать.
дело в том что хранятся только сами имена файлов, путь не хранится, потому что бы тогда потребовался очень большой объем (и так занимает 450 Mb, а пути очень длинные бывают). То что при поиске выдается полный путь - он конструируется на лету. Но делать это при проверке каждого файла - будет очень долго (файлов > 9 млн., а результатов среднего поиска ~ 12000, в 750 раз меньше).
Как обойтись без конструирования полного имени я пока не придумал.
Можно сделать компромиссные варианты, типа файл содержит nature, а каталог, его непосредственный родитель - содержит picture. Такое можно сделать. А вот с полным путем - не совсем понятно. Предложите метод или что-нибудь конкретное - сделаю.

Landstreicher

оригинальная мысль. попробую сделать после того, как доделаю сортировку.
PS. а зачем оно надо?

dgaf

ссылки на файлы испортились
http://lorien.local/smb/xx.xx.xx.xx/shara/file

дошло
клево

Lenokkk

Кстати, может стоит добавить поиск в подсетях 10.15.x.x ? Вон, Z81 это уже умеет...

Landstreicher

Стоит.
Я уже спрашивал, но мне никто не ответил. Может на этот раз будет лучше.
Скажите мне IP-адрес DNS-сервера, который знает компы из сетей 10.15.x.x?
10.3.0.1 не предлагать - он про них не знает.

huyabla

DNS 10.3.0.1 дожен знать, во всяком случае он стоит у всех основным, а на самом деле надо спросить у Вади он точно должён знать....
ну а пока могбы и без ДНСки сделать... ну нафих тебе имена компов пусть будут тока IPшники... ну что мешает?...

Landstreicher

Добавлена сортировка. Более конкретно:

  • добавлена возможность указания до трех сортировок
  • доступны сортировки по имени компа, по рабочей группе, по вкл/выкл-нности компа, по размеру файла, по дате модификации, по признаку каталог/файл.
  • каждая сортировка может быть по возрастанию и по убыванию.
  • параметры сортировки сохраняются при переходу по ссылке на Advanced или при поиске другой строки в поле сверху.
  • можно указывать число файлов на странице
  • пофиксено пара десятков разных мелких багов.

Например, сейчас стало возможным делать такие запросы:
http://lorien.local/fastsearch.php?go=Fast+search&what=pink%20floyd&sort=hoststatus&sort2=filesize&inv_sort2=1&show=dirs
Просьба ко всем протестировать возможности сортировки на http://lorien.local/advanced.php!
Какие параметры сортировки вы бы еще хотели видеть?

Monstera

можно добавить критерий поиска "программа" (это где фильмы, музыка и т.д.)

Landstreicher

можно.
определите понятие программы при условии что известен размер и расширение файла.
в UNIX-системах исполнимые файлы обычно не имеют специального расширения.
в Windows-системах для этих целей используется .exe, .com, .bat, .dll (?).
Кто работает в Windows - поправьте меня пожалуйста, как там определяется "программа".

Monstera

хватило бы ехе и dll имхо

Troyn09

в Net browsing-hackers комп неверно назван (THE-EDGE 172.16.4.38) - должно быть

Marinavo_0507

Using domain server:
Name: 172.16.4.1
Address: 172.16.4.1Aliases:
38.4.16.172.in-addr.arpa domain name pointer the-edge.hackers.
пинайте админов

ser21444

Скажите мне IP-адрес DNS-сервера, который знает компы из сетей 10.15.x.x?
10.3.0.1 не предлагать - он про них не знает.

Нет такого DNS-сервера. Но я не против все повесить на 10.3.0.1. Дайте мне только списки соответствия ip и имени. Боюсь что такого списка-то нет ;(

Filan

Пусть будет так
В DNS я прописан как THE-EDGE.

anatolij49

а можно добавить искать в найденом ?

huyabla

Дайте мне только списки соответствия ip и имени. Боюсь что такого списка-то нет

а что тебе мешает лан скоуп запустить и посмотреть в ентом IP диапозоне хотябы всех велюченных, на данный момент, найдёшь...
а кстати в чём сложность создания самообноляющегося ДНСа ну типа штоб галочку зарегистрировать енто соединение в ДНС не снимать в свойтвах?....

huyabla

вот к примеру:

gz-j

10.15.10.1
SERV-DJ-001
Неактивен

10.15.10.16
HOST-J-0016
Неактивен

10.15.10.26
PC-J934R
Неактивен

10.15.10.43
PC-J-805L
Неактивен

10.15.10.44
PC-J-805R
Неактивен

10.15.10.45
MSU
Неактивен

10.15.10.48
PC-J-836R
Неактивен

10.15.10.64
PC-J-724L
Неактивен

10.15.10.68
JAMES
Неактивен

10.15.10.72
ANCHIK
Неактивен

10.15.10.77

Неактивен

10.15.10.81
HOST-J-0081
Неактивен

10.15.10.89

Неактивен

10.15.10.101
GZ-P04RWHWN3UGB
Неактивен

10.15.10.121
ABDESH
Неактивен

10.15.10.191
ODIN
Неактивен

10.15.10.202
hag.gz-v
Неактивен
________________

gz-d

10.15.7.1
SERV-DJ-001
Неактивен

10.15.7.26
SUNLISYS
Неактивен

10.15.7.37
HOST-D-0037
Неактивен

10.15.7.53
PC-223
Неактивен

10.15.7.61
HOST-D-0061
Неактивен

10.15.7.71
SUNGIRL
Неактивен

10.15.7.74
HOST-D-0074
Неактивен

10.15.7.78

Неактивен

10.15.7.79
HOST-D-0079
Неактивен

10.15.7.91
HOST-D-0091
Неактивен

10.15.7.117
KOLYAN
Неактивен

Landstreicher


можно поподробнее, что именно испортилось, и что именно клево?

dgaf

ну раньше под файлом была ссылка file:// (smb://) x.x.x.x/shara/file а счас через этот самый gate идет.

ser21444

Во, во:
hag.gz-v
GZ-P04RWHWN3UGB
HOST-D-0079
Впринципе-то пох конечно, но беспорядок там.

zubr15

А как быть вот с этим:
Fatal error: cannot open connection to fsearch server
не в первый раз уже появляется.

teonazoi

А поиск по ftp можно добавить?

Landstreicher

это значит что идет maintainance
конкретно вчера - глючило железо, как следствие - починка, включая fsck на час + прочее, система была в дауне вот и выдавало такой error.

huyabla

читай ПМ я тебе послал... а так попробуй 10,3,0,5 вроде там есть возможность забирать анонсы....

Monstera

максимум как я понял 999 на странице

Corrector

А проводится ли индексирование по имени файла?

Landstreicher

1000 - слишком много, все значения > 1000 игнорируются и используется дефолтное.
хотите больше? говорите сколько. число 1000 с потолка взята
IMHO очень здоровая страница получится - неудобно смотреть будет

Landstreicher

> А проводится ли индексирование по имени файла?
Что имеется ввиду? Имена всех файлов хранятся и по ним можно искать.
Если речь идет о каких-то специальных структурах типа деревьев, хэшей, итп - то нет, их не используется. просто хранятся все имена файлов.
основная причина - очень частые обновления. какое-нибудь суффиксное дерево позволяет быстро искать, однако его зае#$шься постоянно апдейтить (средняя скорость сканирования - комп в минуту).

Corrector

1) Какая скорость сканирования (файлов/сек) - на локальном компе, чтобы исключить медленное влияние сети
2) Хранится ли вся база данных (имена 10 миллионов файлов) в памяти?
3) Верно ли, что при поиске пробегаются все 10 миллионов файлов и отобираются те, где есть вхождения строки запроса в имя файла?
>> А проводится ли индексирование по имени файла?
>Что имеется ввиду? Имена всех файлов хранятся и по ним можно искать.
Если используется MySql, то можно провести полнотекстовое индексирование по имени файла для быстрого поиска по запросу вида
SELECT * FROM Files_Table WHERE match(Files_Table.FileNameEx) against ('Query*' IN BOOLEAN MODE)
(но в этом методе для файла "myfile.txt" поле FileNameEx должно содержать "myfile yfile file ile le e txt xt t")
Размер базы данных при этом вырастает до 5 гигов. Зато почти нет требований к оперативной памяти.

Landstreicher

1) База почти полностью обновляется за 8 часов. Она объемом 500 Mb, файлоы 10 млн (хостов 2306, ср. файлов на хосте ~ 4400).
2) Да хранится. Не вижу в этом ничего плохого.
3) Верно.
>> А проводится ли индексирование по имени файла?
>Что имеется ввиду? Имена всех файлов хранятся и по ним можно искать.
>Если используется MySql, то можно провести полнотекстовое индексирование по имени файла для быстрого поиска по запросу вида
MySQL не катит в виду своей редкостной тормознутости. Рукописная прога на C обгоняет его примерно раз в 15-20. Кроме того, есть запросы бываю не только имени файла, а еще по размеру, типу, итп.
Потом непонятно как в SQL считать объем подкаталого рекурсивно - наверняка придется какой-нибудь изврат писать. Вобщем, SQL - темное и далекое прошлое, для возвращаться к нему не вижу никаких причин.
> Размер базы данных при этом вырастает до 5 гигов. Зато почти нет требований к оперативной памяти.
Так и так вроде нормально: оперативки гиг, база - 500 Mb.

Marinavo_0507

> Да хранится. Не вижу в этом ничего плохого.
Ну видишь, оказывается поиск по полному пути трудно сделать.
Сделай плиз кнопочки для включения имени одного и двух уровней директорий,
чтобы находить музыку с именами Группа\Альбом\Название.mp3

Corrector

>Ну видишь, оказывается поиск по полному пути трудно сделать.
вообще-то наоборот получается, что поиск по полному пути делать - фигня:
надо только хранить в памяти флаг - есть ли вхождения в родительских папках.


ParentDir_Found := true;
ParentDir_Level := 0;
for i := 0 to Files - 1 do
begin
if Files_Table[i].Attrib and faDirectory <> 0 then
//это каталог,
if Pos(Parent_Dir_Query, Files_Table[i].FileName)>0 then
//в котором есть все вхождения
begin
if ParentDir_Found = true then
ParentDir_Level := min (Files_Table[i].Level, ParentDir_Level)
else
ParentDir_Level := Files_Table[i].Level
end
else
else
//это не каталог
begin
if Files_Table[i].Level > ParentDir_Level then
if ParentDir_Found then
if Pos(Query, Files_Table[i].FileName)>0 then
CallGoodResult; //этот файл нам подходит
else
else
else
ParentDir_Found := false;
end
end;


Объем файлов внутри папок можно узнавать еще на стадии сканирования (добавлять размер текущего файла папке-предку и предку его предка, и тд)
А сканирования соотвественно, оформить на C++, Delphi, (Kylix если под *NIXом).
При испольховании Delphi + ODBC + MySql получается скорость сканирования 1000 файлов/сек
ЗЫ: А было бы неплохо еще добавить поиск по ftp.

ser21444

Кстати, а что со статистикой ?
http://lorien.local/stat.php

sergei1969

это делалось, чтоб среди найденных искать по имени директории, а не файла
другого способа ведь нет

ser21444

а, теперь он http://lorien.local/stat.pl

Lenchans

А можно вынести на главную страницу еще и поле dir/files&dirs/files , а то часто ищу каталоги и задалбывает постянно лезть в продвинутый поиск.

Lenokkk

Просьба добавить в раздел "documents" расширения djv и djvu

Landstreicher

добавлено

dima9202

о! так значит, форумом эффективнее, чем мылом =) в СD images в таком случае здорово бы добавить все форматы: cue, iso, ccd, nrg(или как там у неро? bwt, mds, cdi. Давно прошу уже. Сейчас точно не все из них индексируются, как CD images.

gopnik1994

маза еще создать группу архивов...

Landstreicher

добавил

Landstreicher

сейчас ничего не забыл?

stellina7

поиск по фтп хотелось бы
и раньше, кажется, было минимум два символа в запросе, а сейчас мона и пустую строку искать
Оставить комментарий
Имя или ник:
Комментарий: