[unix] система бэкапа

Julie16

Требуется система бэкапа, удовлетворяющая следующим требованиям:
1) Надежность. Желательно чтобы лично Вы имели с этой системой дело
2) Сетевой бэкап(возможность делать бэкап не только локально, но и по сети).
3) Инкрементальный бэкап.
4) Автоматизированный. Ну чтобы он не спрашивал меня: "вставьте дискету номер 32 в дисковод"
5) Возможность указывать директории, подлежащие бэкапу.
В общем понятно что это можно сделать и самому (например nfs + cron + elta + ... но хочется проверенное и работающее решение. В сети конечно можно найти кучу подобных систем, но хотелось бы чтобы система уже была кем-то проверена и заведомо работоспособна. чтобы через пару лет не оказалось что система, на которую я положился, и не работает вовсе.

Ivan8209

dump(1)
?
---
...Я работаю антинаучным аферистом...

Ivan8209

Тебе никогда не приходила в голову мысль, что всё украли до тебя?
В общем, изучай unix utils.
---
"Vyroba umelych lidi, slecno, je tovarni tajemstvi."
Karel Capek

Julie16

Это не удовлетворяет половине требований.

Ivan8209

Перечисли, которым именно.
---
...Я работаю антинаучным аферистом...

Julie16

2 - 5

Ivan8209

2а. man dump; man ssh
2б. man rdump
3. man dump
4. man dump
5. Да, это отсутствует. Сохраняется файловая система.
Итого, по существу лишь одно положение из заявленных четырёх.
Есть способ примерно такой:
find this this this -newerXX age-file -depth | cpio -o -H ustar > there
Есть жестокий способ загнать всё в VCS.
Но это очень жестоко.
---
...Я работаю антинаучным аферистом...

Julie16

Ты видимо не понял что я хочу. Мне нужна готовая СИСТЕМА, я не собираюсь писать скрипты и делать пайпы. Потому что я не хочу через 2 года обнаружить что я запятую не там поставил. И у нас разные понятия что такое инкрементальный бэкап. Если бы ты знал что такое elta, ты бы наверное меня понял. Поэтому все твои предложения идут лесом. Если тебе нечего посоветовать ПО ТЕМЕ(кроме никому ненужных предложений почитать манпрочти мою просьбу ЕЩЕ РАЗ и ОЧЕНЬ ВНИМАТЕЛЬНО то лучше не пиши тут.

Ivan8209

Я прекрасно знаю, что такое elta.
Есть хорошее, хорошо отработанное штатное решение, называемое dump.
Если ты не хочешь слушать ответы, то зачем задаёшь вопросы?
---
"Это глупость вообще, но мне это знакомая песня."
В. С. Черномырдин.

Marinavo_0507

IMHO надёжный сабж - оксюморон

ava3443

Legato Networker
Veritas NetBackup
IBM Tivoli Storage Manager
CA ArcServe
HP OpenView Storage Data Protector
CommVault Galaxy
P.S.

eduard615

дома я fsbackup юзаю
а если в промышленных объемах, то аманда

Julie16

Мне не нужны твои недоответы. Так яснее? Мне нужно готовое решение. Ты не понял почему мне не подходит дамп? Это не РЕШЕНИЕ. Это может быть составной частью решения. Не более того. Тем более, он не умеет делать бэкап отдельных директорий. Это для меня критично. Мне нужно скажем делать бэкап одной директории: /home/anton/Work. Все. Остальное мне НЕ ВАЖНО. Так как проще поставить систему заново, чем восстанавливать ее. И места для бэкапа требуется меньше.
PS: то что ты написал - это не ответы. Это понос. Во всяком случае совсем не то что я хотел услышать. Вот если бы написал просто http://backuppc.sourceforge.net/ и объяснил почему пользуешь именно ее, это было бы ответом.

Julie16

fsbackup
А вот это интересно. Спасибо.

CapitanJack

во во! мои рекомендации - Tivoli Storage Manager

Ivan8209

CA ArcServe вычеркни.
Это отстой.
Причём --- дорогой отстой.
---
...Я работаю антинаучным аферистом...

CapitanJack

наверное у тебя руки кривые были

Ivan8209

А ты с ним, надо думать, тоже общался?
---
...Я работаю...

CapitanJack

конкртетно с ним - нет. но с софтом такого уровня - да. ежели ты не прочел все доки то не стоит туда даже сувацца.

Chupa

http://www.microwerks.net/~hugo/about/about.html
Можно систему поднять вообще с нуля.
Сам когда-то пользовался, но сейчас забил.

Ivan8209

Конкретно под него надо подбирать оборудование из очень
ограниченного списка и ещё учитывать кучу ограничений,
никак с возможностями этого оборудования не связанных.
---
...Я работаю антинаучным аферистом...

Julie16

Это не совсем то... Даже автор ее позиционирует по другому. Но все равно спасибо.

CapitanJack

и в чем тут минус? или ты привык к халявным продуктам без всяких гарантий?

Ivan8209

Ты думаешь, там есть какие-то гарантии?
Обычные "disclaims."
Минусы как обычно --- в ограничениях.
Причём очень жёстких.
Даже, я бы сказал, необосноснованно жёстких.
---
...Я работаю антинаучным аферистом...

CapitanJack

ты просто пришел из другого мира. смотри вон тему от хигоата

Ivan8209

Я вполне сознаю, что это другой мир со всеми вытекающими.
Но всё же, тот мир должен уйти.
---
...Я работаю антинаучным аферистом...

CapitanJack

ээ с чего вдруг?

Ivan8209

"Ротация кадров!"
---
...Я работаю антинаучным аферистом...

CapitanJack

бред какой то ты несёшь вон найди товарисчу лучше оупенсорс проект с таким функционалом. да чтоб еще кучу разных ленточных библиотек поддерживал(он же не хотел дискетки руками сувать )

Julie16

Да мне не нужно на ленту. И на дискеты не нужно. Про дискеты - так, для примера. Мне нужно по сети на винт.

Ivan8209

dump разучился писать на ленты?
ArcServe с лентами, кстати, тоже не очень.
Хотя чуть лучше, чем со всем остальным.
---
...Я работаю антинаучным аферистом...

CapitanJack

у меня глюцки или стандартные юниксовые разучились правильно работать? всякие там tar и cpio и dd

Julie16

Ышо один знаток. Прочти что мне нужно и мои ответы КОНТРЕ. И тогда сразу станет ясно почему меня это не устраивает.

CapitanJack

чуве! я тебе уже посоветовал TSM. мы даже готовы тебе его продать. ах у тебя нету денех? ну меня это нифига не ебЁт

Julie16

Ну в ТАКОМ случае твое мнение меня тоже не волнует. Я почему-то уверен что найду опенсорс систему с требуемой функциональностью. Даже более того, fsbackup меня вполне устраивает. Может я и поищу еще немного(http://www.nongnu.org/rdiff-backup/docs.html выглядит тоже вполне прилично а может и нет. И ваш Tivoli bla-bla мне на не упал

Ivan8209

cpio не умеет (самостоятельно) делать инкрементное.
tar такое только гнутый умеет. Но не пробовал.
dd --- вообще не то.
Самое то --- dump.
Только он его не хочет.
Ему elta нужна.
Наверное, для музыки или фильмов.
---
...Я работаю антинаучным аферистом...

Marinavo_0507

Зачем elta для музыки или фильмов?

Julie16

Самое то --- dump.
Не, ну ты точно не в себе. Мне это НЕ ПОДХОДИТ. Я не собираюсь делать дамп 10-и гиговой партиции. Мне нужно-то пару сотен мегабайт бэкапить.

Ivan8209

Не знаю, не ко мне вопрос.
Я не знаю, зачем elta для резервного.
---
...Я работаю антинаучным аферистом...

Julie16

Потому что у меня в этой папке идет разработка. и я думаю что для .o файлов elta - очень даже неплохо. Я конечно понимаю что эти файлы можно не хранить, но это только пример.

Ivan8209

chflags(1) в руки.
---
...Я работаю антинаучным аферистом...

Julie16

Гвоздь тебе в жопу Еще раз, для тупых и обиженных жизнью: мне нужно РЕШЕНИЕ. Мне уже даже надоело это объяснять.

Ivan8209

chflags+dump --- самое простое и естественное решение.
Никаких гвоздей.
---
...Я работаю антинаучным аферистом...

okunek

да когда ж вы подеретесь блин ?!

Ivan8209

О! Я наконец-то понял, в чём дело.
Теперь ясно, почему тебе не нравится решение с dump.
Просто ты линуксоид, у тебя нет dump.
И chflags нет.
Да-а.
Сильно тебя жизнь обидела.
---
...Я работаю антинаучным аферистом...

sergey_m

Мдаа.. Тяжела жизнь линуксоеда после того как Линус объявил dump некошерным.

Julie16

В общем я остановился на fsbackup. Правда немного пришлось поработать напильником(он рассчитан на старую версию berkeley db но это мелочи.

sergey_m

5. man dump, man chflags
под люлексом нет chflags, есть какой-то аналог.
Но в любом случае dump ему не подходит. Линус запретил.

sergey_m

Прочитал весь тред.Антон, ты может быть хороший программист, но похоже опыта администрирования у тебя не много.
Когда передо мной встала такая задача, то я решил её с помощью dump, ssh, gzip и split за полчаса. Теперь для того, что бы подключить очередную машину к централизованной системе бэкапа мне нужно залить на неё архив и шелльный скрипт, который создает юзера бэкап и из архива делает ему home, в котором лежат его скрипты и ssh ключ. В некоторых случаях можно пройтись и пометить те каталоги, которые не надо бэкапить. Потом мне нужно зайти на сервер бэкапа и вставить эту машину в список бэкапируемых, сделать дамп нулевого уровня.
РЕШЕНИЯ, они как правило очень громоздки и очень часто платны. Я видел Veritas, и пришел к выводу что он для UNIX не применим. На работе у меня стоит Amanda, но с ней без бутылки не разберешься. Кроме того. все эти РЕШЕНИЯ будут overkill если тебе надо бэкапить пару сотен метров.
И вообще, РЕШЕНИЯ - это не unix way, сторонником которого ты являешься, как мне кажется.

sergey_m

Несколько лет пытался понять, откуда у Иесуса такие понты и снобизм. Недавно в соседнем треде стало ясно, что он торгует сантехникой и прочими решениями.

Marinavo_0507

Причину со следствием не спутал?

Julie16

Так вот: fsbackup и есть набор таких скриптов. Я полагаю что функциональность того что сделал ты и fsbackup весьма близки. Только мне не пришлось ничего делать и я получил проверенную временем систему(а для меня это очень важно).
PS: про администрирование - это ты верно заметил.
PPS: для меня набор этих скриптов - и есть решение. Я же не говорил о решении энтерпрайз уровня. Решения - они разные

CapitanJack

чуве я не торгую сантехникой а твои речи про веритас и юникс это вапче нечто у тебя юникс ограничиваецца только фрюниксами?

Marinavo_0507

А у тебя излишнего доверия машин друг к другу нет?
Иными словами:
1) в случае компроментации бекап-сервера, не сможет ли злоумышленник проникнуть на клиенты?
2) в случае компроментации клиента, не сможет ли злоумышленник повредить бекапы других клиентов? а старые бекапы этого клиента?

Marinavo_0507

Кстати, у GNU tar вроде бы достаточно фичей, чтобы заменить dump.
Да, всякими продвинутыми атрибутами не пользуюсь, так как не вижу смысла.

sergey_m

чуве я не торгую сантехникой
Только в каждом треде предлагаешь продать или хотя бы подсчитать цену,
а твои речи про веритас и юникс это вапче нечто
Я смотрел на Veritas BackupExec в 2000 году. Это был большой пакет под Windows на несколько десятков мегов. В нём был сервер и клиент и много всяких фишек. Рядом в забытом боге каталоге лежал бинарник и README, каталог назывался unix. Бинарник опознался как SCO executable, каталог README даже не описывал ключей, с которыми можно вызывать этот бинарник.
у тебя юникс ограничиваецца только фрюниксами?
Нет. Например в случае с veritas была потребность бэкапить Linux.
Но вообще я стараюсь, что бы мой unix ограничивался FreeBSD.

Marinavo_0507

Ещё кстати, судя по описанию моделей от Sun на оптеронах, сантехника - больше не ругательное слово

sergey_m

> у GNU tar вроде бы достаточно фичей, чтобы заменить dump.
Из не мелочей:
уровни бэкапа
хождение по дампу как по файловой системе
Мелочей можно еще напридумывать.

sergey_m

в случае компроментации бекап-сервера, не сможет ли злоумышленник проникнуть на клиенты?
Нет. Только сбэкапить. В ключе прописана опция command.
в случае компроментации клиента, не сможет ли злоумышленник повредить бекапы других клиентов?
Нет
а старые бекапы этого клиента?
Старые бэкапы повредить не может. Может повредить будущие, что логично.
P.S. Дамп нулевого уровня я обычно делаю вручную, а не из cron.

Marinavo_0507

> уровни бэкапа
функция инкрементального бекапа вроде может это заменить, если чуть обвязать скриптами
> хождение по дампу как по файловой системе
это как?

CapitanJack

ну это клево взять дистрибутив по винду и искать там в нем что то под юникс я не уверен что веритас нет бекап есть по фрибсд. под линукс должен быть. а вот под аикс/солярис/хп-укс точно есть. советую тебе переходить на них

Marinavo_0507

Можно вкратце, как добился (2)?

sergey_m

функция инкрементального бекапа вроде может это заменить, если чуть обвязать скриптами
Ох, боюсь не так просто в реальности, как в словах.
хождение по дампу как по файловой системе
это как?

cat usr.dgz.* | gunzip | restore rf -
restore> cd mysql
restore> cd billing
restore> ls
бла
бла
бла
restore> add clients.*
restore> extract
restore> exit

sergey_m

> Можно вкратце, как добился (2)?
Скрипт на сервере заходит в определенный каталог и логинится на клиента. Говорит какой раздел дампить. Принимает дамп и валит его в файлы в текущем каталоге. В принципе клиент может засрать винт под завязку, это да. Но такой защиты нет скорее из-за лени, а не из-за принципиальных проблем.

sergey_m

> ну это клево взять дистрибутив по винду и искать там в нем что то под юникс
И нашел. Только убогое. Это был не дистрибутив под винду. Это был дистрибутив backup exec. Было написано, что сервер под Windows NT, а клиент есть под Windows и под UNIX.
> а вот под аикс/солярис/хп-укс точно есть. советую тебе переходить на них
Пытаешься продать?

Marinavo_0507

> Ох, боюсь не так просто в реальности, как в словах
Да вроде нетрудно.
tar сохраняет в указанном файле данные о том, что он прочитал.
И при следующем запуске пропускает те файлы, которые не изменились.
Обвязка должна лишь держать по такому файлу на каждый уровень, и вовремя их копировать.
> cat usr.dgz.* | gunzip | restore rf -
dump хранит все директории в самом начале?
ну тогда есть в этом некоторое удобство
для tar можно это сделать в два прохода по архиву

CapitanJack

я вапче не продаю. странно что ты это с первого раза не понял.
главное что ты решил что этот твой бэкап экзек и есть единственное решение веритаса для бэкапа

sergey_m

> dump хранит все директории в самом начале?
Да. В случае многогигабайтных архивов очень удобно.

Marinavo_0507

> Скрипт на сервере заходит в определенный каталог и логинится на клиента. Говорит какой раздел дампить.
Ах да, вспомнил, ты рассказывал.
Но я как-то не доверяю такому. Пускать чужой процесс к себе рутом - страшно как-то.
Сделал более грубым образом:
отдельный пользователь на сервере для каждого клиента, клиент устанавливает соединение,
кладёт архив через ssh, а потом сервер копирует его из-под отдельного пользователя в специальное место.
Приходится держать две копии архивов, но ресурсы позволяют.

sergey_m

> я вапче не продаю. странно что ты это с первого раза не понял.
Почему постоянно предлагаешь цену посчитать?
> главное что ты решил что этот твой бэкап экзек и есть единственное решение веритаса для бэкапа
Конечно не единственное. Ты наверное хочешь мне в придачу к шпуксу продать какое нибудь новшество от веритас?

CapitanJack

интересно а как это будет работать в случае многотерабайтных архивов?

CapitanJack

он и в третий раз не понял где такие учацца то? Я НЕ ПРОДАЮ ничего

sergey_m

> Но я как-то не доверяю такому. Пускать чужой процесс к себе рутом - страшно как-то
Не рутом, а юзером в группе operator. Я доверяю опции command в ssh ключе. Ты конечно можешь не доверять.
> Приходится держать две копии архивов, но ресурсы позволяют.
Вообще переливание с винта на винт грузит машину. У меня к сожалению на той машине не только backup, поэтому такой напряг неприятен. Винты там конечно IDE.

sergey_m

> интересно а как это будет работать в случае многотерабайтных архивов?
Так же, только дольше.
Теперь расскажи нам про моднейшие фишки для терабайтных архивов, которые ты можешь предложить. Может купим.

Marinavo_0507

> Вообще переливание с винта на винт грузит машину.
Ну несильно, к тому же ночью.
Винты, конечно, выделены только для бекапов.

sergey_m

> он и в третий раз не понял где такие учацца то? Я НЕ ПРОДАЮ ничего
Пиздишь.
:
чуве! я тебе уже посоветовал TSM. мы даже готовы тебе его продать. ах у тебя нету денех? ну меня это нифига не ебЁт

sergey_m

Еще я пришел к выводу, что удобнее инициировать процесс бэкапа на сервере. Если решил график поменять, то нужно только один кронтаб править, а не обходить десять машин. Всё таки я считаю public key + command достаточно безопасным подходом. Но конечно скрипты надо тщательно просмотреть после написания, и изменения вносить аккуратно.

Marinavo_0507

> Еще я пришел к выводу, что удобнее инициировать процесс бэкапа на сервере.
Тут ты наверное прав.
Просто у меня не настолько важные системы, чтобы чувствовалась разница.
Я даже ни разу не пробовал поднимать систему с моих бекапов. (только пару раз отдельные файлы доставал оттуда).
Но всё равно не поверю в силу опции command, скорее уж sudo дополнительно заюзаю, или свою обвязку напишу
(давно хочу аналог inetd, но чтоб слушал на AF_UNIX-сокетах, вот будет повод сделать).
Оставить комментарий
Имя или ник:
Комментарий: