Ищу сетевую ФС
lustre
это был DC++
линух идёт лесом.
линух идёт лесом.
диси не удовлетворяет требованиям ни в коем разе
именно, dc не удовлетворяет. Разве что найдётся какая-нибудь надстройка. В идеале, кстати, сервера выделенного вообще не должно быть.
Кто сказал, что линукс? Если операционка не указана - значит готов рассмотреть любые предложения.
Кто сказал, что линукс? Если операционка не указана - значит готов рассмотреть любые предложения.
Конкретное расположение файла не критично и нас не волнует - он может лежать на трёх разных машинах, или на одной - не важно.выделенный файловый сервер
вот же дебил. перечитай ещё раз. Нужен не файловый сервер, а файловое хранилище, когда принципиален объём доступной информации, а не скорость доступа. И свалить излишки на компьютерах в лабе на один виртуальный сетевой диск - идеальный вариант. И лучше бы для этих целей вообще не нужен был сервер.
Эта штука называется Content Delivery Network
если в сообещнии нет смайликов, это ещё не значит что их там нет© а вот если они там есть...
файловый сервер - это не файловое хранилище? а объём разве проблема?
да я знаю, что это не то что ты ищешь.
Нужен не файловый сервер, а файловое хранилище, когда принципиален объём доступной информации, а не скорость доступа. И свалить излишки на компьютерах в лабе на один виртуальный сетевой диск - идеальный вариант.тем не менее. выделенный файловый сервер подключеный как сетевой диск на всех компах - прозрачное решение.
файловый сервер - это не файловое хранилище? а объём разве проблема?
да я знаю, что это не то что ты ищешь.
В принципе, файлохранилище можно раздфсить: http://en.wikipedia.org/wiki/Distributed_File_System_%28Micr...
По моему опыту штука глючноватая + неизбежны коллизии.
По моему опыту штука глючноватая + неизбежны коллизии.
а чем тебе люстра не понравилась? распространяется кстати по гпл.
блин, на рабочих компах есть лишнее место. И его хочется нормально заюзать для соответствующих задач. Например поднять там музыкальную помойку, etc. Ну не получается отрезать половину винта и вставить её в выделенный сервер.
а чем тебе люстра не понравилась? распространяется кстати по гпл.сначала попробую что-нибудь попроще, не ентерпрайз уровня.
Building a Lustre cluster requires a Lustre MetaData Server (MDS)
ну вот для ДФС хватит одного сервака на W2k3
похмелфс не для такой задачи разве?
я думал, что он для лулзов
линукс тоже фор фан
То что ты спрашиваешь называется Tahoe.
Пару дней назад вышла версия 1.3
http://allmydata.org/trac/tahoe
Пару дней назад вышла версия 1.3
http://allmydata.org/trac/tahoe
This is the successor to v1.2, which was released July 21, 2008 [1].
20 This is a major new release, adding a repairer, an efficient backup
21 command, support for large files, an (S)FTP server, and much more.
22
23 See the NEWS file [2] and the known_issues.txt file [3] for more
24 information.
25
26 In addition to the many new features of Tahoe itself, a crop of related
27 projects have sprung up, including Tahoe frontends for Windows and
28 Macintosh, two front-ends written in JavaScript, a Tahoe plugin for
29 duplicity, a Tahoe plugin for TiddlyWiki, a project to create a new
30 backup tool, CIFS/SMB integration, an iPhone app, and three incomplete
31 Tahoe frontends for FUSE. See Related Projects on the wiki:
Т.е. взаимодействие с обычными сетевыми сервисами организовано.
спасибо. Я уже был в процессе обработки длинного списка линков с опеннета, когда ты запостил эту ссылку. До tahoe я бы не скоро добрался бы
там в вики есть ещё related projects. Богатые референсы набрали разрабы, любо-дорого читать.
ну вот для ДФС хватит одного сервака на W2k3для DFS хватит правильно собранной самбы.
Я рассмотрел несколько распределённых файловых систем, до которых смог достаточно быстро доискаться в интернете.
Цель поисков: отказоустойчивая гетерогенная многосерверная файловая система для хранения больших объёмов информации при сравнительно небольшой нагрузке на чтение файлов.
Результаты:
1. Lustre
Сановское enerprise-level решение.
Лицензия: GPL
Платформы: все компоненты linux-only, POSIX совместимые.
Архитектура:
1. Метасервер
2. Файлосерверы
3. Клиенты
Метасервер хранит конфигурацию сети, осуществляет управление файловыми серверами и динамическую их перенастройку. Отвечает за механизм сихнхронизации.
Файлосерверы подчинены метасерверу, хранят на себе файло, переодически перекидывая его друг другу.
Клиенты берут настройку через метасервер, непосредственный доступ к файлам и файловым операциям, в том числе lock осуществляют попеременно с разных файлосерверов
Фичи:
Работает с супер-пупер дровами для дорогих сетевух и поддерживает по максимуму ускорение, которое можно из них выдавить. Так же поддерживает внушительный список протоколов, в том числе TCP/IP.
Журналируемая система с синхронизированными локами (в том числе побочными) и апдейтами
Умеет автоматически всасывать настройки для сервера и клиента с метасервера.
Из активных серверов делает зеркальные пары для обеспечения отказоустойчивости.
2. AFS (Andrew File System)
Новый кандитат на стандартную сетевую файловую систему, выступающий заменой NFS и CIFS.
Существуют три разных реализации, рассматриваем OpenAFS
Лицензия: GPL
Платформы: Все компоненты кросс-платформенные, есть версии для винды и для мака.
Архитектура:
1. Сервера, которые шарят заданный контент с заданными правами. Имеют backend database для храения параметров аутентификации, синхронизации файловой системы, хранения списка хостов и опционально бэкапов. Все локальные сервера объединяются в одну серверную ячейку, задаваемую backend базами данных, (отношение * -> 1 впрочем в винде вроде доступно только 1->1.
Ячейка - минимальная независимо-конфигурируемая единица AFS. Из ячеек образуется сеть при сотрудничестве всех владельцев ячеек.
2. Клиент, настраеваемый для доступа к конкретному AFS гриду. Клиенты обладают своим кешем.
3. Утилита для настройки и мониторинга клиента и/или сервера. Умеет оживлять упавшие процессы.
Фичи:
Объединяет несколько независимых серверов (ячеек) в общий namespace.
Позволяет добавлять избыточность в пределах одной ячейки.
Умеет делать read-only репликацию по сети - то бишь распределённое кеширование. К сожалению, нет алгоритмов автоматизации, так что приходится делать её ручками или через скрипт.
Юзает Kerberos аутентификацию.
Не приспособлен к продвинутому локингу файлов, базы данных на нём не похостишь.
Шифрует весь трафик.
Cleversafe
Разбивает хранимые файлы на нераспознаваемые кусочки и хранит на разных серверах, гарантирует отсутствие полной копии на одном сервере, потом собирает их в одно.
Лицензия: GPL
Платформы:
Сервер, Метасервер - Linux+JRE (Java
Клиент - винда или линукс.
Архитектура:
1. Клиенты.
2. Файловые серверы.
3. Метасерверы.
Метасерверы служат управляющей прослойкой между хранилищами данных и клиентами. В этом случае нет распределения нагрузки, так как она вся приходится на эти серверы.
Фичи:
Может дисперизовать с произвольной избыточностью, обеспечивая load balancing и fault tolerance.
Шифрует весь трафик
Ceph
Ещё одна замена NFS, пока есть только под линукс в зародочном преальфа состоянии. Дальнейший обзор пропускаю, так как разрабы ещё не определились с документацией.
GFarm
Распределённая grid сетевая файловая система.
Лицензия: какой-то opensource, они на сайте не указывают.
Платформы: судя по всему, все компоненты linux-only (на сайте только тарбол и rpm)
Архитектура:
Метасервер хранит всю метафайловую информацию и управляет размещением кусков файлов (chunk) на файловых серверах.
Клиент обращается к метасерверу и производит аутентификацию. Далее шлёт запрос на работу с файлом. Метасервер шедулит запрос на один из файлсерверов, и тот сливает информацию клиенту.
Все файлсерверы также являются клиентами и используют соответствующий интерфейс для общения с метасервером.
Фичи:
Метасервер контроллирует нагрузку на ноды и определяет сколько запросов им передавать.
Поддерживает автоматическую репликацию.
Метасервер поддерживает хранимые процедуры. В том числе они могут задавать ручную репликацию данных.
Предоставляет более широкую распределённость чем AFS и имеет механизм адаптации для сокращения общей нагрузки путём репликации часто запращиваемых файлов (аналогично Lustre, видимо)
flud Система для децентрализованного бекэапа данных. Пока слишком сырая, чтобы обсуждать.
Разумеется, поверх всех линукс клиентов может функционировать FTP, NFS или самба гейт.
Tahoe - искомое
Распределённая, децентрализованная сетевая файловая система.
Лицензия: какой-то opensource, они на сайте не указывают.
Платформы: судя по всему кроссплатформенная, так как работает на основе питона.
Архитектура:
легко расширяется добавлением узлов, центрального сервера нет. Никаких подробностей о системе хранения данных. Аспекты безопасности также не раскрываются на сайте. Скорее всего там есть криптование на хранение и на передачу данных.
Цель поисков: отказоустойчивая гетерогенная многосерверная файловая система для хранения больших объёмов информации при сравнительно небольшой нагрузке на чтение файлов.
Результаты:
1. Lustre
Сановское enerprise-level решение.
Лицензия: GPL
Платформы: все компоненты linux-only, POSIX совместимые.
Архитектура:
(client)->(fileserver)->(metaserver)
1. Метасервер
2. Файлосерверы
3. Клиенты
Метасервер хранит конфигурацию сети, осуществляет управление файловыми серверами и динамическую их перенастройку. Отвечает за механизм сихнхронизации.
Файлосерверы подчинены метасерверу, хранят на себе файло, переодически перекидывая его друг другу.
Клиенты берут настройку через метасервер, непосредственный доступ к файлам и файловым операциям, в том числе lock осуществляют попеременно с разных файлосерверов
Фичи:
Работает с супер-пупер дровами для дорогих сетевух и поддерживает по максимуму ускорение, которое можно из них выдавить. Так же поддерживает внушительный список протоколов, в том числе TCP/IP.
Журналируемая система с синхронизированными локами (в том числе побочными) и апдейтами
Умеет автоматически всасывать настройки для сервера и клиента с метасервера.
Из активных серверов делает зеркальные пары для обеспечения отказоустойчивости.
2. AFS (Andrew File System)
Новый кандитат на стандартную сетевую файловую систему, выступающий заменой NFS и CIFS.
Существуют три разных реализации, рассматриваем OpenAFS
Лицензия: GPL
Платформы: Все компоненты кросс-платформенные, есть версии для винды и для мака.
Архитектура:
(client)->{(server)->(cell)->(grid)}1. Сервера, которые шарят заданный контент с заданными правами. Имеют backend database для храения параметров аутентификации, синхронизации файловой системы, хранения списка хостов и опционально бэкапов. Все локальные сервера объединяются в одну серверную ячейку, задаваемую backend базами данных, (отношение * -> 1 впрочем в винде вроде доступно только 1->1.
Ячейка - минимальная независимо-конфигурируемая единица AFS. Из ячеек образуется сеть при сотрудничестве всех владельцев ячеек.
2. Клиент, настраеваемый для доступа к конкретному AFS гриду. Клиенты обладают своим кешем.
3. Утилита для настройки и мониторинга клиента и/или сервера. Умеет оживлять упавшие процессы.
Фичи:
Объединяет несколько независимых серверов (ячеек) в общий namespace.
Позволяет добавлять избыточность в пределах одной ячейки.
Умеет делать read-only репликацию по сети - то бишь распределённое кеширование. К сожалению, нет алгоритмов автоматизации, так что приходится делать её ручками или через скрипт.
Юзает Kerberos аутентификацию.
Не приспособлен к продвинутому локингу файлов, базы данных на нём не похостишь.
Шифрует весь трафик.
Cleversafe
Разбивает хранимые файлы на нераспознаваемые кусочки и хранит на разных серверах, гарантирует отсутствие полной копии на одном сервере, потом собирает их в одно.
Лицензия: GPL
Платформы:
Сервер, Метасервер - Linux+JRE (Java
Клиент - винда или линукс.
Архитектура:
1. Клиенты.
2. Файловые серверы.
3. Метасерверы.
Метасерверы служат управляющей прослойкой между хранилищами данных и клиентами. В этом случае нет распределения нагрузки, так как она вся приходится на эти серверы.
(client)->(metaserver)->(fileserver)
Фичи:
Может дисперизовать с произвольной избыточностью, обеспечивая load balancing и fault tolerance.
Шифрует весь трафик
Ceph
Ещё одна замена NFS, пока есть только под линукс в зародочном преальфа состоянии. Дальнейший обзор пропускаю, так как разрабы ещё не определились с документацией.
GFarm
Распределённая grid сетевая файловая система.
Лицензия: какой-то opensource, они на сайте не указывают.
Платформы: судя по всему, все компоненты linux-only (на сайте только тарбол и rpm)
Архитектура:
/ \ -> (metaserver)
|client| | |
\ / -> (chunkserver)
Метасервер хранит всю метафайловую информацию и управляет размещением кусков файлов (chunk) на файловых серверах.
Клиент обращается к метасерверу и производит аутентификацию. Далее шлёт запрос на работу с файлом. Метасервер шедулит запрос на один из файлсерверов, и тот сливает информацию клиенту.
Все файлсерверы также являются клиентами и используют соответствующий интерфейс для общения с метасервером.
Фичи:
Метасервер контроллирует нагрузку на ноды и определяет сколько запросов им передавать.
Поддерживает автоматическую репликацию.
Метасервер поддерживает хранимые процедуры. В том числе они могут задавать ручную репликацию данных.
Предоставляет более широкую распределённость чем AFS и имеет механизм адаптации для сокращения общей нагрузки путём репликации часто запращиваемых файлов (аналогично Lustre, видимо)
flud Система для децентрализованного бекэапа данных. Пока слишком сырая, чтобы обсуждать.
Разумеется, поверх всех линукс клиентов может функционировать FTP, NFS или самба гейт.
Tahoe - искомое
Распределённая, децентрализованная сетевая файловая система.
Лицензия: какой-то opensource, они на сайте не указывают.
Платформы: судя по всему кроссплатформенная, так как работает на основе питона.
Архитектура:
легко расширяется добавлением узлов, центрального сервера нет. Никаких подробностей о системе хранения данных. Аспекты безопасности также не раскрываются на сайте. Скорее всего там есть криптование на хранение и на передачу данных.
Отпишись еще пожалуйста после того как настроишь о том как сложно было это делать и какие подводные камни нашлись.
Никаких подробностей о системе хранения данных. Аспекты безопасности также не раскрываются на сайте.Всё описано пыщь И вообще в траке куча документации пыщь
ЗЫ 2 настраивается просто, но штука мне не понравилась. Дурацкая система безопасности, основанная на незнании случайно сгенерированного урла. При этом очень хорошо проработанная безопасность узлов. В старых версиях еще был унылый доступ к данным, то есть никакого вебдава и фузе хромало. Сейчас наверно пофиксили, не смотрел.
Оставить комментарий
yroslavasako
Ищется сетевая ФС, которая позволит прозрачно объединить несколько хранилищ на разных компах, соединённых быстрой сеткой, в одно, в идеале с избыточностью. На всех компах есть рутовые полномочия и возможность настроить локальные клиенты и серверы согласованно друг с другом. Конкретное расположение файла не критично и нас не волнует - он может лежать на трёх разных машинах, или на одной - не важно. Криптография не помешает, но не обязательная.Помнится тут когда-то рекламировали подобную систему, призывая перейти на неё в пределах ГЗ, но эта идей провалилась. Во-первых, каждый хотел бы настроить её по-своему, во-вторых, все хотят хранить на своём компьютеры полезные для себя файлы, а не неизвестно какие отрезки. Очень прошу рекламодателя повторить свои рекомендации.