Blame | Last modification | View Log | RSS feed
FSBACKUP - file system backup and synchronization utility.* THIS SOFTWARE IS PROVIDED ``AS IS'' AND WITHOUT ANY WARRANTIES *For english documentation type 'perldoc fsbackip.pl'---------------------------------------------------------------------------FSBACKUP - система инкрементального резервного копирования и синхронизации ФС.http://www.opennet.ru/dev/fsbackup/По всем вопросам обращайтесь к автору: Maxim Chirkov <mc@tyumen.ru>---------------------------------------------------------------------------СОДЕРЖАНИЕ:Назначение.Комплект поставки.Выполняемые функции.Установка.Файл конфигурации.Восстановление данных.Виды бэкапа.Типы хранилища для архива бэкапа.Шифрование бэкапа.Благодарности.---------------------------------------------------------------------------Назначение:Система fsbackup была создана для обеспечения резервного копирования серверовразного масштаба на специально отведенном сервере бэкапа.Достоинствами метода резервного копирования на специально отведенном сервере,с использованием fsbackup, является:- высокая производительность (скорость передачи по 100Мбит сети намноговыше скорости записи на ленточный накопитель), низкая себестоимость(цена Мб на современных жестких IDE дисках достаточно низкая);- надежность (возможность параллельного хранения нескольких резервныхкопий за разные моменты времени);- безопасность (применение PGP шифрования резервных копий перед записью набэкап сервер);- автономность (один раз настроив систему бэкап будет производитсяавтоматически, не нужно обслуживать стриммер),- возможность сохранения только измененных с последнего бэкапа данных, беззатрат на копирования не изменившейся информации.- простота настройки и установки (как правило система способнафункционировать сразу после запуска инсталляционного скрипта)- простота восстановления (открытый формат для хранения резервных копий(tar), позволяет восстановить данные без использования входящих вкомплект утилит восстановления).- гибкость задания масок для помещения файлов и каталогов в архив.- поддержка бэкапа баз данных хранимых в MySQL и PostgreSQL.fsbackup может выполнять создание как полного образа сервера, так и резервныхкопий основных подсистем, исключая операционную систему. В случае полного бэкапа,полное восстановление работоспособности происходит в течении нескольких десятковминут, в случае частичного бэкапа для восстановления требуется несколько часов.В отличие от многих систем автоматического резервного копирования, в fsbackupприменяется гибкая система построения масок (с использованием regex) дляпринятия решения о помещении файлов в бэкап.---------------------------------------------------------------------------Комплект поставки:create_backup.shСкрипт для периодического запуска всей подсистемы резервногокопирования из crontab.install.plСкрипт для установки программы и всех недостающих Perl модулей.fsbackup.plОсновной скрипт для бэкапа и синхронизации.cfg_exampleПример файла конфигурации и документация по всем конфигурационнымдирективам.cache/Образ директории для помещения временных хэшей.sys_backup/Образ директории для помещения бэкапов созданных sysbackup.sh.modules/Perl модули которые требуются для функционирования fsbackup.pl.scripts/Директория со вспомогательными скриптами.scripts/mysql_backup.shscripts/pgsql_backup.shСкрипты для создания полного и частичного бэкапа базы данныххранимой в PostgreSQL или MySQL.Поддерживаются режимы работы:1. полный бэкап всех баз и структур;2. полный бэкап структур всех баз + бэкап данных в избранных базах/таблицах;3. полный бэкап структур всех баз + бэкап данных во всех базах,кроме избранных баз/таблиц;scripts/sysbackup.shСкрипт для сохранения списка всех установленных в системе пакетовдля FreeBSD и Linux, для Linux использующих rpm - сохранение файловконфигурации всех установленных в системе пакетов.scripts/sysrestore.shСкрипт для автоматической установки всех пакетов, список которыхбыл сохранен скриптом sysbackup.sh, в свеже-установленной системе.scripts/fsrestore.shСкрипт для восстановления данных из инкрементального бэкапа.---------------------------------------------------------------------------Выполняемые функции:- 2 метода вычисления контрольных сумм:timesize - по атрибутам (дата, время, размер, права доступа...)md5 - по содержимому файла.- 4 вида бэкапа:backup - инкрементальный бэкап в архив (т.е. копируются толькоизменившиеся с момента последнего бэкапа файлы).full_backup - полный бэкап в архив, без хэша (т.е. всегда копируютсявсе файлы).sync - синхронизация дерева.hash - только генерация хэша, без помещения файлов в архив (можетиспользоваться для определения какие файлы были изменены)- 3 типа хранилища бэкапа:local - хранение бэкапа в локальной файловой системе.remote_ssh - копирование бэкапа на удаленную машину с использованием SSHremote_ftp - копирование бэкапа на удаленную машину по FTP.- 8 встроенных операторов (можно использовать regex) для описанияпомещаемых в бэкап (или игнорируемых для помещения в бэкап) файлов:/dir[/file] - путь к файлу/директории для бэкапа.!/dir[/file] - отрицание пути, не помещать в бэкап (не маска, а реальный путь).# - комментарий=~ - маска для файла или директории, а не абсолютный путь. Первый или второй символ.f~ - маска для файла. Первый или второй символ.d~ - маска для директории. Первый или второй символ.=! - "НЕ" маска для файла или директории, а не абсолютный путь. Первый или второй символ.f! - "НЕ" маска для файла. Первый или второй символ.d! - "НЕ" маска для директории. Первый или второй символ.Ограничен по времени создания и размеру- Возможность шифрования бэкапа с помощью PGP.- Гибкое задание уровня инкрементальности. Например, при = 7 - 6 разбудут помещаться только изменения, на 7 раз бэкап будет объединен водин файл.- Скрипт для сохранения списка всех установленных в системе пакетовдля FreeBSD и Linux.- Скрипты для создания полного и частичного бэкапа базы данныххранимой в PostgreSQL или MySQL. Поддерживаются режимы работы:- полный бэкап всех баз и структур;- полный бэкап структур всех баз + бэкап данных в избранных базах;- полный бэкап структур всех баз + бэкап данных во всех базах,кроме избранных баз;---------------------------------------------------------------------------Установка:Для установки достаточно запустить скрипт ./install.plПрограмма автоматически скопируется в заданный директивой --prefix каталог,по умолчанию установка производится в каталог /usr/local/fsbackup.После установки достаточно переименовать и отредактировать файл конфигурацииcfg_example, следуя приведенным внутри cfg_example инструкциям.Затем, отредактируйте скрипт запуска "create_backup.sh", при необходимостиизмените путь к хранилищу бэкапа и название список используемых файловконфигурации.Активируйте периодический запуск подсистема бэкапа в crontab:18 4 * * * /usr/local/fsbackup/create_backup.sh| mail -s"`name -n` backup report" rootПри использовании бэкапа SQL сервера или системы отредактируйте скриптыв директории ./scripts (mysql_backup.sh, pgsql_backup.sh, sysbackup.sh).Например:>su# ./install.pl# cd /usr/local/fsbackup# vi cfg_example# mv cfg_example server_backup.conf# vi create_backup.sh# crontab -e# cd scripts# vi sysbackup.sh# vi pgsql_backup.sh# exit>--------------------------------------------------------------------------Файл конфигурации:Подробное описание всех параметров файла конфигурации смотрите в файлеcfg_example.Внимание, при описании директорий для бэкапа нельзя указывать путь к символическойссылке, только полный путь к реальной директории. Например, если указано/home, а это символическая ссылка на /usr/home, то в бэкап будет помещеныданные о символической ссылке, а не содержание директории.Рекомендуется, описать бэкап разных участков файловой системы в несколькихфайлах конфигурации. Например, мной используется следующие несколько файловконфигурации:server_etc.conf - описывает создание бэкапа директории /etc и секретныхданных с использованием PGP шифрования;server_local.conf - бэкап /usr/local, за исключением временных файлов,бэкап БД.server_home.conf - бэкап директорий пользователей (/home или /usr/home)Внимание, директории для сохранения бэкапа в каждом конфигурационном файледолжны отличаться ($cfg_remote_path, $cfg_local_path), сохранение в одной итой же директории нескольких, описанных разными .conf файлами, бэкапов недопустимо.---------------------------------------------------------------------------Восстановление данных:Полная резервная копия может быть восстановлена в короткий промежуток временибез использования дополнительных, входящих в комплект fsbackup утилит.Например, если архив бэкапа сохранен в директории /mnt/full_backup, для полноговосстановления достаточно набрать:# cd /# tar xzf /mnt/full_backup/full_backup.tar.gz# sh /mnt/full_backup/full_backup.dirДля полного восстановления данных из инкрементального бэкапа можетиспользоваться скрипт scripts/fsrestore.sh, для восстановления простоотредактируйте пути внутри скрипта и запустите его.В случае частичного бэкапа файловой системы, без бэкапа файлов операционныйсистемы, восстановить исходный набор установленных в момент бэкапа пакетов(должен быть разрешен запуск scripts/sysbackup.sh в create_backup.sh) поможетскрипт scripts/sysrestore.sh. После установки ОС, скрипт автоматическиустановит недостающие пакеты для FreeBSD и Linux.При бэкапе данных с SQL сервера PostgreSQL или Mysql, восстановление производитсякомандами: psql -d template1 -f sqlbackupfile или mysql < sqlbackupfile.Таким образом можно привести типовой процесс полного восстановления системы:- базовая установка ОС (без дополнительных пакетов)- монтирование диска с бэкапом.- редактирование путей и запуск scripts/sysrestore.sh для установки нужныхпакетов.- редактирование путей и запуск scripts/fsrestore.sh- запуск SQL сервера и восстановление баз.Назначение файлов при инкрементальном бэкапе (для не инкрементального - формат"имя.ext"):имя-время-том.tar.gz архив - бэкапа(имя_бэкапа-YYYY.MM.DD.HH.MM.SS-номер_тома.tar.gz).имя-время.del список удаленных с момента предыдущего бэкапа файловимя-время.hash хэш таблица с контрольными суммами.имя-время.list список файлов в архиве.имя-время.dir команды для восстановления прав доступа и пустых директорий.---------------------------------------------------------------------------Виды бэкапа:Вид бэкапа в файле конфигурации определяется параметром $cfg_backup_style:backup - инкрементальный бэкап в архив. Копируются толькоизменившиеся с момента последнего бэкапа файлы, уровеньинкрементальности задается параметром $cfg_increment_level,параметр определяет через какого числа итераций файлы синкрементальными копиями будут объединены в один файл. Например,при $cfg_increment_level = 7 - 6 раз будут помещаться толькоизменения, на 7 раз бэкап будет объединен в один файл.0 - сколько угодно раз, без объединения. Достоинства - возможностьотследить изменения (и восстановить данные) на любой момент современи первой итерации, в архив копируются только измененные иновые данные, что значительно экономит трафик и место на диске.Подходит для ежедневного бэкапа динамично меняющейся или критичнойк потере информации.full_backup - полный бэкап в архив, без хэша. В бэкап всегда помещаютсявсе файлы отмеченные в файле конфигурации для резервногокопирования). На сервере где сохраняется бэкап рекомендуетсяпроводить вторичное резервирование, например, в crontab разв неделю дублировать бэкап в другую директорию. Недостатки -огромный трафик для копирования бэкапа по сети и высокиетребования к объему хранилища бэкапа. Достоинство - экономияпроцессорных ресурсов и памяти на создание и поддерживание хэша.Прекрасно подходит для бэкапа маломощных машин с ограниченнымиресурсами или при статичности резервируемых данных (например,бэкап выносных рутеров раз в месяц).sync - синхронизация дерева (только для типа хранилища ssh или local).Почти то же, что и full_backup или backup (в зависимости от заданияключа -c при запуске fsbackup.pl), за исключением того, что копияне хранится в архиве, а область файловой системы отмеченная длябэкапа полностью воссоздается в заданной директории на бэкап сервере.Предназначено для параллельного хранения (синхронизации дерева)исходных текстов, содержимого web-сервера, синхронизации проектовс рабочей машины разработчика на сервер и т.д.hash - только генерация хэша, без помещения файлов в архив (опция -h).Может применяться для пометки помещения файлов в бэкап, безфизического их перемещения, для отслеживания изменений в файловойсистеме для обнаружения подмены файлов злоумышленниками и т.д.Скрипт fsbackup.pl, поддерживает ряд ключей задаваемых в командной строке:fsbackup.pl [-n|-f|-h|-c] файл_конфигурации-n - создаем новый архив независимо от состояния хэша.-f - full_backup - полный бэкап в архив, без хэша.-h - hash - только генерация хэша, без помещения файлов в архив.-c - clean - очистка хранилища с инкрементальным бэкапом и созданиенового бэкапа.---------------------------------------------------------------------------Типы хранилища для архива бэкапа:Определение типа хранилища для бэкапа определяется в файле конфигурациипеременной $cfg_type. Поддерживается 3 типа хранилищ: local, remote_sshи remote_ftp.- local - сохранение бэкапа в локальной файловой системе.Конфигурация:$cfg_type="local";$cfg_local_path="/var/backup"; # Путь к хранилищу.- remote_ssh - сохранение бэкапа на удаленном компьютере, данные передаютсячерез шифрованное соединение организованное с использованием SSH.На системе с которой производится бэкап должен быть установлен ssh клиент,на удаленном - ssh сервер. Метод remote_ssh является наиболее защищенным,но и достаточно ресурсоемким. Предварительно необходимо настроить доступбэкап клиента на сервер с использованием шифрованных ключей, без вводапароля. Это делается следующим образом:Примем: локальная машина - машина с которой будет производиться бэкап ина которой будем запускать скрипт fsbackup.pl. Удаленная машина - машинана которую будут копироваться файлы с бэкапом.Запускаем на локальной машине программу ssh-keygen, на все задаваемыевопросы принимаем значения по умолчанию (поле passphrase оставляемпустым). Далее, запускаем программу ssh-copy-id user@remotehost, гдеuser - пользователь удаленной машины remotehost - адрес удаленной машины,( или вручную, на удаленной машине в директории ~/.ssh, создаем файлauthorized_keys, куда копируем содержимое файла identity.pub с локальноймашины). Для увеличения безопасности в файл ~/.ssh/authorized_keys наудаленной машине добавляем перед ключом (разделив пробелом) строкуfrom="localhost", где localhost - адрес локальной машины(from="localhost" 1024 23 1343.....).Конфигурация:$cfg_type="remote_ssh";$cfg_remote_host="server.remote.ru"; # Сервер на который будет копироваться бэкап.$cfg_remote_login="backup_login"; # Логин под которым будет сохранятся бэкап.$cfg_remote_path="/home/backup_login/backup"; # Директория куда должны помещаться файлы бэкапа, директория должна присутствовать.- remote_ftp - сохранение бэкапа на удаленном компьютере, данные передаютсяпо протоколу ftp, на удаленном хосте должен быть запущен ftp сервер.Так как пароль хранится в файле конфигурации в открытом виде, желательноограничить доступ к хосту к удаленному хосту через tcpwrapper или firewall,а так же ограничить вход пользователя, под которым будет храниться бэкап,только через chroot ftp. Положительными сторонами копирования по ftp,является высокая производительность закачки и небольшая нагрузка на CPU.Конфигурация:$cfg_type="remote_ftp";$cfg_remote_host="server.remote.ru"; # Сервер на который будет копироваться бэкап.$cfg_remote_password="Test1234"; # пароль для входа по ftp.$cfg_remote_login="backup_login"; # Логин под которым будет сохранятся бэкап.$cfg_remote_path="/home/backup_login/backup"; # Директория куда должны помещаться файлы бэкапа, директория должна присутствовать.---------------------------------------------------------------------------Шифрование бэкапа:Для шифрования бэкапа в системе должна быть установлена программа PGP шифрованияGnuPG: http://www.gnupg.org (рекомендуется) или PGP: http://www.pgpi.orgДалее:Локальная машина - машина на которой производится резервное копирование.Удаленная машина - машина куда сохраняется архив бэкапа.Рекомендации по работе с PGP программами для создания шифрованного бэкапа(для pgp2.6, pgp5.0, gnupg):Для создания публичного и секретного ключей наберите (на удаленной машине):pgp2.6> pgp -kgpgp5.0> pgpk -ggnupg> gpg --gen-key # если генерация ключа занимает слишком много временивоспользуйтесь ключом gpg --quick-randomЭкспортируйте созданный публичный ключ в файл (на удаленной машине):pgp2.6> pgp -akx <UserID> <файл куда будет записан ключ>pgp5.0> pgpk -ax <UserID> <файл куда будет записан ключ>gnupg> gpg --export -a <UserID> > <файл куда будет записан ключ>Затем, добавте созданный публичный ключ (на локальной машине):pgp2.6>pgp -ka <файл с ключом с удаленной машины>pgp5.0>pgpk -a <файл с ключом с удаленной машины>gnupg>gpg --import <файл куда будет записан ключ># Для pgupg необходимо заверить ключ:gnupg>gpg --sign-key <имя ключа>Для расшифровки необходимо запустить (на удаленной машине):pgp2.6>cat encrypted.tar.gz | pgp -f -z'пароль' > расшифрованный.tar.gzpgp5.0>cat encrypted.tar.gz | pgpv -f -z'пароль' > расшифрованный.tar.gzgnupg>cat encrypted.tar.gz | gpg --decrypt > расшифрованный.tar.gzДля шифрования используется (на локальной машине):pgp2.6>cat input| pgp -ef userid > outputpgp5.0>cat input| pgpe -f userid > outputgnupg>cat input| gpg -e -r userid > output---------------------------------------------------------------------------Благодарности:Alex Sokoloff. <sokoloff@mail.ru>- Предложение о введении уровней говорливости (verbose mode).- Изменить запуск программы (ввести проверку на длинуписьма), вынести ее в файл fsbackup.cron.- Написал небольшой скрипт fsfind.pl для поиска файла в архивах онпросматривает файлы list в директории с архивами. Может кому-тобудет полезен. Работает с локальными архивами.- скрипт для бэкапа Interbase баз.Oleg S. Gints <oleg@cec.amur.elektra.ru>:- Предложение по введению дополнительного резервирования прииспользовании инкрементального бэкапа.- Обнаружение ошибки в mysql_backup.sh (для варианта полного архивапропущен ключ --all-databases)- Сообщение о неправильном определении уровня инкрементальности длялокального бэкапа.- Замечание об отсутствии лидирующих нулей в новом формате именованияфайлов в бэкапе.Носков Илья <phantom@highway.ru>, Сергей Баукин <teq@highway.ru>:- Идея разбивки слишком больших файлов на несколько частей,предложения и патчи по создания архивов занимающих несколько Гб.Aleksey Kuznetsov <ahk@spb.edu>- Сообщение о пропуске ключа --all-databases в mysql_backup.shPavel Stoliarov <admin@tzto.infopac.ru>- Исправление ошибки приводящей к некорректной работе при локальномбэкапе.- Предложение по сохранению старых бэкапов после инкремента.Alexandr Zhukov <sacha@ic.vrn.ru>- Замечание по неправильной работе правила для исключениядиректории из бэкапа.Zherdev Anatoly <tolyar@mx.ru>- Патч и идея введения директивы $cfg_stopdir_prune, для отключениярекурсивного просмотра директорий, запрещаемых для помещения в бэкап.Priamikov Alexei <apriam@info.novsu.ac.ru>- Обнаружение ошибки в fsrestore.sh