надежное хранилище по оптимальной цене - как ?

olsh

тут вот глянул хнс за последнее время - многие интересуются организацией хранилищ, да и сам давно уже думаю над этим.
конкретный вопрос: как организовать подобное хранилище из нескольких жд с тем условием, чтобы, с одной стороны, выход из строя 1-2 дисков не приводил к безвозвратной потере данных (разумеется, с восстановлением с другой, цена за единицу хранения была минимальная (оптимальная; разумеется, это без привязки к стоимости хардов, а именно стоимость организации)? сразу же в голову приходят различные варианты рэйд-массивов, но их такая куча, да и аппаратная реализация некоторых превышает общий бюджет на весь комплекс +) в общем, буду рад любой полезной информации.
ps слышал, что у Интеловских матерей был какой-то специальный рейд "для бедных"

kruzer25

да и аппаратная реализация некоторых превышает общий бюджет на весь комплекс
А какой у тебя "общий бюджет на весь комплекс"?
Сата-контроллер на десяток винтов обойдётся тебе в 8-10крур.
слышал, что у Интеловских матерей был какой-то специальный рейд "для бедных"
Для такого рейда и интеловская мать не нужна, можно его сделать средствами оси.
Но тогда, для того, чтобы оно с нормальной скоростью работало - нужен мощный проц.
чтобы, с одной стороны, выход из строя 1-2 дисков не приводил к безвозвратной потере данных
raid6.
Но вообще-то, насколько я понимаю, вероятность того, что два винта умрут в один день - крайне мала. Так что, как только у тебя умирает винт - надо сразу ехать в магазин и покупать новый.
ЗЫ: ЗХотя, слышал про такие случаи, как "работал сервер два года, не выключаясь, перезагрузили его - а все винты уже дохлые" (т.е. винты уже не могли завестись, но, уже включенные, работали).

olsh

я надеюсь обойтись "малой кровью", т.е. просто приобрести минимальный системник, удовл. требованиям и туда всунуть рейд-контроллер, или, если первое очень дорого выйдет, просто мамку со встроенными 8-10 портами и там что-нибудь замутить (пока не знаю, как, правда ). бюджет - думаю, до 20крур смогу выделить (это на систему без учета винтов)

kruzer25

бюджет - думаю, до 20крур смогу выделить (это на систему без учета винтов)
ну так это дохуя
Мать - 3крур, память - 3крур, проц - 3крур, контроллер - 10крур

hoha32

Мать с 6ю портами + контроллер с 4мя на PCI-E 1x дадут тебе искомые 10 портов и будут стоить существенно дешевле 10 тыщ.
Только вот часть портов SATA будут внешние, их придётся внутрь системника заводить =)

AlexV769

осилишь?
RAID6 на нем работает на той же скорости, что и 5й. + 200 баков на BBU надо правда...

kruzer25

И будет у него жопософтварный рэйд. А зачем, если в его бюджет уложится нормальное решение?

hoha32

Затем, что производительности современных и не очень процов по уши хватит на поддержание работоспособности этих рейдов (явно не одного если они вообще ему понадобятся.

kruzer25

А что делать, если винда упадёт?
Такой софтварный рэйд - изврат немерянный, такое использовать, если только денег совсем в обрез.

hoha32

А что делать, если винда упадёт?

Ставить заново, наверное... Один чёрт инфа о рейд-массиве хранится не в винде.

uncle17

венда ставится на отдельный зеркальный массив из двух хардов, остальные харды - под хранилище.

kruzer25

Один чёрт инфа о рейд-массиве хранится не в винде
А где, если он софтовый?

kruzer25

венда ставится на отдельный зеркальный массив из двух хардов, остальные харды - под хранилище.
То есть, как только сгорает один из хардов, так ты сразу теряешь все данные, которые на нём были?
Что-то мне подсказывает,Ю что это не тот вариант, который нужен топикстартеру

uncle17

я же написал - "зеркальный массив"

hoha32

У контроллера есть своя флеш-память, там и хранится, видимо.
По крайней мере у тех, что я видел, массив создавался до установки винды.
Их софтверности это не отменяет, конечно.
А на хардверных стоит 486й процессор - это к вопросу о загрузке системы.

viktor954

По своему опыту скажу:
Софтовый RAID-медленно
Контроллер Intel SRCS16
http://www.intel.com/design/servers/raid/srcs16/index.htm
брать не рекомендую, хотя он и стоит 3 копейки....
Тут выше уже упомянули ARC-1120 - очень неплохой вариант, хотя я смотрю в сторону
http://www.alliancegroup.ru/catalog/catalog.html?id=9069&...

AlexV769

Вышеупомянутый 3ware не умеет (пере-)собирать RAID ни в foreground, ни без запущенной системы.
В результате для ребилда массива у нас приходится загружаться с CD-ROM в FreeBSD, после чего начинается ребилд. Уверяю, очень удобно.
12ти и более портовые Areca, к тому же, имеют очень удобный http-интерфейс управления через встроенный ethernet-порт. Для винды, насколько я знаю, есть ещё удобная утилита управления.

Marinavo_0507

12ти и более портовые Areca, к тому же, имеют очень удобный http-интерфейс управления через встроенный ethernet-порт.
Поставишь на хостинг - и плати за 2 порта, плюс дополнительная возможность DoS.

AlexV769

Поставишь на хостинг - пользуйся BIOS и CLI. Порт не юзай. Он из BIOS отключается.

olsh

круто, спасибо, то, что надо. только не понял, что есть BBU ?

olsh

сорри, а при чем тут винда ? там же вроде минус только в загрузке ЦП. действительно, те мамки, что мне попадались строили райд до загрузки системы

viktor954

Backup Battery Unit. Батарейка с дополнительным кэшем.

olsh

чем конкретно интел плох ? мне, в принципе, пофик на доп. возможности, лишь бы нормально справлялся с прямыми обязанностями.
второй слишком дорогой, если 1010 - цена в зелени, при том, что на вид он не отличается от предложения Бориса

olsh

чтоб не гуглить в двух словах - нафик нужно ?

AlexV769

Батарейка с дополнительным кэшем
Это HP так делать любит. У ареки - это просто обычный аккумулятор.
Батарейка позволяет поддерживать содержимое кеша контроллера в течение какого-то времени после неожиданного выключения.
Работать на контроллере в режиме Write Back (через кеш) без батарейки не рекомендуется, поскольку выключение питания может убить массив.

AlexV769

Дык тебе ссылку дали на 16ти портовый 3ware, а я тебе - на 8ми портовую areca
16ти портовая areca стоит около 1400 без батарейки.

viktor954

Такие мамки в лучшем случае поддерживают RAID5. И то на уровне драйвера.
Сравни - SiL 3114 в своё время самый распространённый RAID-контроллер с поддержкой RAID5:
http://www.siliconimage.com/support/supportsearchresults.asp...
Под Винду RAID5
http://www.siliconimage.com/support/supportsearchresults.asp... - есть
под Linux:
http://www.siliconimage.com/support/supportsearchresults.asp... - нет.
Даже когда массив "создаётся" из БИОСа работа с ним осуществляется на уровне драйвера.
BBU нужна, чтобы включился Write-Back cache - кэш отложенной записи. По умолчанию без батарейки контроллер не использует бортовой кэш при операциях записи, т.к. в случае внезапного отключения содержимое кэша будет потеряно. Обычно можно принудительно включить кэш на запись, но контроллер честно предупреждает, чем это черевато.
Про Intel - за пол-года у меня RAID5 частично или полностью разрушался 5 раз. при полностью исправных дисках. при темпереатуре дисков не выше 34 градусов, при адекватном блоке питания... Просто в некий момент контроллер "отбрасывал" какой диск в состояние Fail. Контроллер менялся по гарантии - но всё так и осталось. 3 раза он отбрасывал сначала один, а потом второй диск, что для RAID5 почти смертельно. Слать алерты на почту он не умеет, поэтоу все три раза 1.4 Тб я восстанавливал по крохам... В общем - если хочешь этот контроллер - с радостью продам...

AlexV769

Ах да. Ареки с сетью умеют сами слать алерты по почте, да
2006-12-19 14:44:17 H/W Monitor : Test Event
2006-12-22 20:37:46 192.168.001.032 : HTTP Log In
2007-1-11 5:36:8 ARC-1160-VOLVolume Degraded
2007-1-11 5:36:8 ARC-1160-VOLVolume Degraded
2007-1-11 5:36:8 ARC-1160-VOLVolume Degraded
2007-1-11 5:36:8 Raid Set # 00 : RaidSet Degraded
2007-1-11 5:36:11 Raid Set # 00 : Rebuild RaidSet
2007-1-11 5:36:19 IDE Channel 7 : Device Failed
2007-1-11 5:36:19 ARC-1160-VOLStart Rebuilding
2007-1-11 5:43:5 ARC-1160-VOLComplete Rebuild Elapse Time : 000:06:45
2007-1-11 5:43:5 ARC-1160-VOLStart Rebuilding
2007-1-11 5:43:27 ARC-1160-VOLComplete Rebuild Elapse Time : 000:00:22
2007-1-11 5:43:27 ARC-1160-VOLStart Rebuilding

viktor954

Ну с сетью-то понятно, но все адекватные контроллеры умеют это делать и через свою управляющую софтину. SRCS16 - никак не умеет....

Marinavo_0507

По своему опыту скажу:
Софтовый RAID-медленно
По моему опыту наоборот (у софтового есть другие недостатки зато).
Может, ты под виндой делал?

viktor954

Да, медленный софтварный RAID5 получается под виндой. GEOM RAID5 я собирал, но не тестировал, т.к. система была не моя... А что, круто получается? Или есть другие реализации?

olsh

я не защищаю софт-рейд, просто хочу понять - если массив уже сделан до вмешательства винды, что может с ним приключиться, если вынь упадет ? далее, разве вот эти выносные микросхемы не также через драйвер общаются с системой ?
а насчет батареи - тогда уж дешевле упс взять =) и включить этот самый кэш

Marinavo_0507

Ну я под линуксом только пробовал. Лучше, чем 3ware и aacraid.
Что неудивительно, если подумать.

olsh

да, точно, читал подеагонале
дык, тут в соседнем треде мультипликаторы обсуждают - оно не прокатит в связке с более дешевым вариантом ареки ?

Marinavo_0507

а насчет батареи - тогда уж дешевле упс взять =) и включить этот самый кэш
упс - довольно ненадёжная штука (Legendary Reliability - рекламная разводка)
кроме того, можно шнур питания задеть ногой или шваброй

viktor954

UPS не спасает от кнопки Power или Reset. BBU - спасает.
>если массив уже сделан до вмешательства винды
Данные-то будут на месте, но решение - system dependent....
В случае "полу-софтового" RAID5 (например, SiL3114R5) XOR делает всё равно CPU, а не контроллер....
Под виндой это МЕДЛЕННО!

Marinavo_0507

Под виндой это МЕДЛЕННО!
Она чё, частоту процессора снижает?
От драйвера должно зависеть.

viktor954

Хрен знает - на "бортовом" Intel ICH-каком-то - на запись 8..10 Мб/сек, на чтение - ~40. На SiL3112/SiL3114 - 6..9/~30... На SiL3114R5 - так же, как на простом SiL3114. М.б. на самом деле сильно зависит от драйвера...

olsh

кроме того, можно шнур питания задеть ногой или шваброй

UPS не спасает от кнопки Power или Reset. BBU - спасает

поскольку для меня это несущественно, то, грубо говоря, упс все-таки вариант.
В случае "полу-софтового" RAID5 (например, SiL3114R5) XOR делает всё равно CPU, а не контроллер....
Под виндой это МЕДЛЕННО!

т.е., получается, гадфазер таки прав, и реальных преимуществ у выносной платы нет ? ну, в случае, если имеем отдельный комп с грамотно настроенной, скажем, FreeBSD где-нибудь, где нет швабр и резетов
зы просто я думал, там какие-то принципиальные вещи реализованы, недоступные в простой реализации. а так получается, что можно те же, а то и меньшие, деньги вбухать в нормальный системник с хорошими комплектующими и получить на выходе то же самое или даже лучше ?

uncle17

на "бортовом" Intel ICH-каком-то - на запись 8..10 Мб/сек, на чтение - ~40. На SiL3112/SiL3114 - 6..9/~30
а чо так ма?
У меня до 70 в обе стороны доходило... на 3114

Marinavo_0507

поскольку для меня это несущественно, то, грубо говоря, упс все-таки вариант
нифига
там сдохнут батареи, и ты этого не заметишь, потому что эта сука самотестирование будет проходить исправно

olsh

ну, ок. это даже теперь не так существенно, тем более, что сча посмотрел - нормальные упсы как раз в эти же 200 бук и встанут. теперь меня больше второй вопрос заботит. ты как мутил свой рэйд? на каком железе и софте ? какие получились параметры ? и самое главное - он все-таки соответствует критерию надежности (хотя бы, если вылетает только один винт) ?

Marinavo_0507

> на каком железе и софте ?
на глаз (рация на бронепоезде)
на самом деле по сравнению с железными разница значительная
ну какие параметры? такие, какие можно было ожидать, зная производительность дисков - просто железные рейды лажали и давали заметно ниже показатели (только в некоторых случаях, но практически важных)
понятно же, что нынче процы гигабайты в секунду могут обрабатывать - значит затык в дисках
некоторые говорят, что при ребилде пятого рейда чувствуется, что проц отвлекается - но это опять же от задачи зависит - у меня не чувствовалось
если вылетает, всё нормально, как и ожидалось
просто с софтовым рейдом побольше гемора, из-за того, что биос его не видит

CapitanJack

кстати если подохнет железный рейд то гемороя будет больше чем если винда рухнет. в последнем случае подцепил винты к другому компу и все.

kruzer25

я же написал - "зеркальный массив"
Зеркальный массив с данными? Ты про систему написал.
Если данные будут в зеркальном массиве, то, либо автору треда вместо 10 винтов для того же объёма придётся использовать 24, либо у него останется опасность потерять инфу, когда сдохнут два харда.
Если надо не потерять инфу, когда сдохнет один хард - придётся использовать 18 винтов (вместо тех же 10).

kruzer25

У контроллера есть своя флеш-память, там и хранится, видимо.
У нынешних дешёвых матерей есть флэш-память?
По крайней мере у тех, что я видел, массив создавался до установки винды.
На тех, которые видел я - массив создавался в биосе, вот только (вот незадача!) ни установщик винды, ни установщик линукса (если не прыгать очень долго с бубном) этот массив видели как пачку отдельных винтов.

hoha32

На тех, которые видел я - массив создавался в биосе, вот только (вот незадача!) ни установщик винды, ни установщик линукса (если не прыгать очень долго с бубном) этот массив видели как пачку отдельных винтов.
Именно в биосе. Биос это тоже флеш, как ни странно. Если "попрыгать с бубном" и подгрузить вовремя нужный драйвер, винда увидит диск как положено, со всеми разделами.
Если, конечно, винда не упала так, чтоб утянуть с собой раздел без возможности восстановления из винды (у меня такое было).

kruzer25

Именно в биосе. Биос это тоже флеш, как ни странно
Я имею в виду не место, где кэш массива, а место, из которого всё это настраивалось.
Если "попрыгать с бубном" и подгрузить вовремя нужный драйвер, винда увидит диск как положено
Но тем не менее, это жутко os-dependent решение. Потому что по умолчанию все этот массив увидят именно как раздельные винты.
А то, что во время установки винда видит массив как раздельные винты, наводит на мысль, что загрузчик винды на этот рейд не поставить... или я ошибаюсь?

dgaf

такова особенность полусофт-полухард рейдов
в линукс практически всегда лучше софт рейд, чем такой изврат.

kruzer25

в линукс практически всегда лучше софт рейд, чем такой изврат.
Ага, так в результате и сделали.
Оставить комментарий
Имя или ник:
Комментарий: