Старый 03.01.2012, 12:39   #1
ont
 
Аватар для ont
 
Регистрация: 16.12.2010
Сообщений: 57
Репутация: 92
По умолчанию Realtime backup

Да, %username%, страдаю паранойей и делаю бэкапы (с локальной машины на сервер).
Внезапно (!) обнаружил две вещи:
  • бэкап идет с некоторой периодичностью по крону (а, значит, между бэкапами есть временные интервалы)
  • если компьютер выключался во время создания бэкапа, то бэкап получается битым, а в случае с duplicity
    это делает невозможным все последующие инкрементальные бэкапы.

Возникает следующая печаль -- если, все таки, наступает этот знаменательный час "Ж" с потерей винчестера,
то будет потеряна некоторая часть работы. А даже за час можно сделать достаточно много...

Сокращать время бэкапа до нескольких минут неудобно (доп. нагрузка при сканировании директорий +
проблемы ожидания завершения тасков в кроне + огромное количество инкрементальных бэкапов-файлов).

Итак, мои цепочки поисков:
Код:
# opensource dropbox --> sparkleshare --> syncany --> lipsync --> lsyncd --> [end]
# wikipedia filesystems --> high availability fs --> distributed fs -->
--> lustre, kosmosfs, tahoe-lafs, coda, glusterfs, ceph, moosefs --> [end]
# realtime backup --> chironfs --> [end]
Комментарии:
Код:
dropbox -- моментальный бэкап на облако (круто но платно)
sparkleshare -- написан на mono...
syncany -- написано на java...
lipsync -- тестовый проект (python + lsyncd + frontend)
lsyncd -- отлов измнений через inotify + синхронизация через rsync
high availability fs -- "неубиваемые" файловые системы распределенные по кластеру
distributed fs -- кластерные файловые системы, обычно включают в себя резервное копирование
chironfs -- что-то вроде unionfs, но не просто перекрытие а с дублированием операций.
Итого: Сейчас у себя поднял MooseFS и выставил на папку с проектами goal=2. Т.е. попросил хранить
в двух копиях на разных узлах (узлов всего два, поэтому должно быть зеркалирование).
Из прочего тестировал tahoe-lafs (написано на python) -- очень тормозило...

Вопрос: кто, что думает по этому поводу? Может быть есть уже проверенные решения realtime бэкапов?
ont вне форума   Ответить с цитированием
Старый 04.01.2012, 10:59   #2
}{оттабыч
Banned
 
Регистрация: 08.10.2010
Сообщений: 188
Репутация: 53
По умолчанию

ont, phing смотрели как вариант?
}{оттабыч вне форума   Ответить с цитированием
Старый 05.01.2012, 17:42   #3
ont
 
Аватар для ont
 
Регистрация: 16.12.2010
Сообщений: 57
Репутация: 92
По умолчанию

Так... это же система сборки (аналог make/ant/scons/waf), и даже не система контроля версий :).
У меня задача не потерять данные (исходники, картинки и прочее) при порче винчестера и сохранить
максимально большую часть.
ont вне форума   Ответить с цитированием
Старый 05.01.2012, 18:42   #4
SynQ
 
Регистрация: 11.07.2010
Сообщений: 953
Репутация: 352
По умолчанию

Сейчас смотрю видео с немецкого ССС про bup (git for backups). Может подойдет?
SynQ вне форума   Ответить с цитированием
Старый 06.01.2012, 16:31   #5
b3
 
Аватар для b3
 
Регистрация: 18.08.2010
Сообщений: 353
Репутация: 105
По умолчанию

https://www.dropmysite.com/ проверял на днях, резервное копирование сайта через ФТП.
Цитата:
dropbox -- моментальный бэкап на облако (круто но платно)
2гига вам мало бесплатных?
b3 вне форума   Ответить с цитированием
Старый 07.01.2012, 08:35   #6
ont
 
Аватар для ont
 
Регистрация: 16.12.2010
Сообщений: 57
Репутация: 92
По умолчанию

Цитата:
Сообщение от b3 Посмотреть сообщение
https://www.dropmysite.com/ проверял на днях, резервное копирование сайта через ФТП.

2гига вам мало бесплатных?
Маловато, понимаешь… Маловато будет! (c)
Самодельный медиа контент никто не отменял, ну и уже обработанные данные терять тоже не хочется.
Особенно, если это несколько сотен метров (в архиве!), распарсенных и пропатченных html, которые
обрабатывались несколько часов.

P.S. Пока относительно доволен MooseFS -- объединил несколько разделов с двух компьютеров в одну
кластерную ФС. Будут проблемы и минусы, отпишу. SynQ отдельное спасибо за интересную утилиту, но
она сыровата и сильно заточена под инкрементальные бэкапы (для снапшотов у меня есть git).
ont вне форума   Ответить с цитированием
Старый 07.01.2012, 08:57   #7
Andrey1800
 
Регистрация: 31.08.2010
Сообщений: 196
Репутация: 154
По умолчанию

если информация так ценна, может стоит поставить второй винт, идентичный текущему, и сообразить программный raid 1?
Andrey1800 вне форума   Ответить с цитированием
Старый 07.01.2012, 09:49   #8
ont
 
Аватар для ont
 
Регистрация: 16.12.2010
Сообщений: 57
Репутация: 92
По умолчанию

Цитата:
Сообщение от Andrey1800 Посмотреть сообщение
если информация так ценна, может стоит поставить второй винт, идентичный текущему, и сообразить программный raid 1?
Кстати да, одно из хороших решений (лучше кластера по скорости), но второго винта нету, а есть сервер.
Программный RAID через mdadm?
ont вне форума   Ответить с цитированием
Старый 07.01.2012, 11:11   #9
Andrey1800
 
Регистрация: 31.08.2010
Сообщений: 196
Репутация: 154
По умолчанию

Цитата:
Сообщение от ont Посмотреть сообщение
Программный RAID через mdadm?
да вроде. я особо не в курсе, как настраивать, не было необходимости.
Andrey1800 вне форума   Ответить с цитированием
Ответ

Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Powered by vBulletin® Version 3.8.5
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd. Перевод: zCarot