Просмотр кода страницы Скрипт для полного и дифференциального бэкапа через LVM-снапшоты

Первый скрипт, показанный ниже, используется мной для создания полного и дифференциального (разницей между последним полным и текущим состоянием - как разновидность инкрементного, где архивируется разница между текущим состоянием и предыдущим, каким бы оно не было - полным или инкрементным) бэкапа сервера с использованием LVM-снапшотов.

Для работы скрипта добавляем записи с ним в crontab рута:

 # Полный бэкап
 25      22      1,15        *       *           /root/bin/diffbackup.sh 2>>/var/log/sysbackup.log
 # Дифференциальный бэкап
 25      22      2-14,16-31  *       *           /root/bin/diffbackup.sh diff 2>>/var/log/sysbackup.log

В данном случае полный бэкап делается 2 раза в месяц - 1 и 15 числа, во все остальные дни в архив попадает только разница между последним полным бэкапом и текущим состоянием.

Для сжатия архивов используется параллельная версия bzip2 - '''pbzip2''', которую необходимо предварительно установить.

Для восстановления раздела из бэкапа после создания файловой системы на новом диске (при необходимости) и монтирования раздела сначала переходим в точку монтирования и распаковываем архив с полным бэкапом, например:

 tar xf rootfs_20111015_222612.full.tar.bz2

после чего в том же каталоге распаковываем архив за нужный день таким образом:

 tar xf rootfs_20111019_222612.diff.tar.bz2 -g rootfs_20111019_222612.diff.inc


Собственно, сам скрипт:
----

<source lang=bash>
#!/bin/bash

logfile='/var/log/sysbackup.log' # Файл, куда будут скидываться сообщения хода выполнения скрипта
backupdir='/storage/backup/' # Каталог для складирования архивов
smpdir='/tmp/snap/' # Каталог точки монтирования снапшотов

# Создаем временный каталог и каталог бэкапа
mkdir -p "${smpdir}" "${backupdir}"

# В строке ниже исключаем все LV, которые не нужно обрабатывать - своп, спул Сквида и прочее
ls -1 /dev/sysvg/ | grep -vE 'buildfs|swap|squidcachespace|repo|spyroot|tempvideo' |
while read lv
do
# Создаем временную метку
        tstamp="$(date +%Y%m%d_%H%M%S)"
#
        pref="${backupdir}${lv}_${tstamp}"
        echo "${tstamp}: Processing ${lv}" >> $logfile
# Создаем устройство снапшота размером 5 Гб
        /sbin/lvcreate -s -L5G -nbackupsnapshot /dev/sysvg/$lv
# Монтируем устройство снапшота
        mount /dev/sysvg/backupsnapshot "${smpdir}"
# Выбираем тип бэкапа
        case "${1}" in
                diff)
                # Делаем дифференциальный бэкап
# Находим последний полный бэкап
                lastfull="$(ls -1tr "${backupdir}${lv}"_*.full.inc | tail -n1)"
# Если не нашли - пишем ошибку в лог и выходим
                if [ -z "${lastfull}" ]
                        then
                                echo "Cant find last full backup for ${lv}" >> "${logfile}"
                        else
# Создаем новый файл изменений
                                cp "${lastfull}" "${pref}.diff.inc"
# Делаем дифференциальный бэкап, основываясь на файле изменений последнего полного бэкапа
                                tar c -C "${smpdir}" . --no-check-device --exclude="*/backups/*.tar.bz2" -g "${pref}.diff.inc" |
                                pbzip2 -9c > "${pref}.diff.tar.bz2"
                fi
                ;;
                *)
# Делаем полный бэкап данных, создавая полный файл изменений
# Бэкапим данные, эксклудя бэкапы доменов
                tar c -C "${smpdir}" . --no-check-device --exclude="*/backups/*.tar.bz2" -g "${pref}.full.inc" |
                pbzip2 -9c > "${pref}.full.tar.bz2"
                ;;
        esac
# Демонтируем снапшот
        umount "${smpdir}"
# Удаляем устройство снапшота
        /sbin/lvremove -f /dev/sysvg/backupsnapshot
        echo $(date) $lv done >> $logfile
done

if ! mountpoint -q "${smpdir}" ;
        then
        rm -rf "${smpdir}"
fi

# Заливаем бэкап на NAS && удаляем архивы на локальном диске
/root/bin/ftpb.sh && rm -f /storage/backup/*.diff.* /storage/backup/*.full.tar.bz2
</source>

----

В последней строке выполняется аплоад полученных архивов на NAS - в моем случае используется Packard Bell NetStore 3500 с аплоадом через FTP. Для этого используется второй скрипт:

----

<source lang=bash>
#!/bin/bash

nasip='192.168.0.239' # IP NAS'a
auser='adminlogin' # admin-юзер для получения статистики
apass='adminpass' # пароль админ-юзера
ftpbmrk='nas01-gb' # название закладки в lftp для подключения к NAS'у
logfile='/var/log/sysbackup.log'

# Проверяем доступность NAS'a
netcat -w3 -z "${nasip}" 21 || exit 1

# Функция получения количества свободного места на NAS'e в Mb
ndf() {
    wget -qO- "http://${auser}:${apass}@${nasip}/status.htm" |
    awk '
    BEGIN {
        fs=0
        }

    /Free Size/{
        fs=1
        }

    /MB/{
        OFMT="%.f"
        if (fs=='1') print $1 ; fs=0
        }
        '
}

echo $(date): Starting upload files to NAS >> "${logfile}"

# Получаем размер бэкапа
bsize="$(du -s /storage/backup/ | cut -f-1)"

echo $(date): Backup size: "${bsize}" Kb >> "${logfile}"

# Преобразуем Килобайты в Мегабайты и делаем запас свободного места на NAS'е
bsize="$((${bsize}/1024+2048))"

# Если свободного места меньше заданного - удаляем один файл в каталоге
while [ "$(ndf)" -lt "${bsize}" ]
        do
# Получаем список файлов, сортируем, получаем самый старый файл
        rmfile="$(lftp -e 'ls;quit' "${ftpbmrk}" 2>/dev/null |
        awk '/_/{print $9}' |
        sed -r -e 's/[a-z]+_(.*)/& \1/g' |
        sort -nrk2 |
        awk '{print $1}' | tail -n1)"

echo $(date): NDF: "$(ndf)" MB >> "${logfile}"

echo $(date): Not enough free space on NAS, removing "${rmfile}" >> "${logfile}"

# Удаляем файл
        lftp -e "rm ${rmfile} ; quit" "${ftpbmrk}"
done

echo $(date): BEGIN of fileupload >> "${logfile}"

# Копируем файлы бэкапов на NAS
lftp -e 'lcd /storage/backup/ ; mirror -R . ; quit'  "${ftpbmrk}"

echo $(date): END of fileupload >> "${logfile}"
</source>

----

Для аплоада используется FTP-клиент lftp (почему-то NAS с ncftp работать отказался). Для подключения к NAS'у в FTP-клиенте используются закладки для предотвращения отображения пароля пользователя в списке процессов:

 <nowiki># cat .lftp/bookmarks 
 nas01-gb        ftp://uploaduser:uploaduserpass@192.168.0.239/in/goro_backup/</nowiki>

Скрипт отслеживает использование диска на NAS, для чего авторизуется на нем через web-интерфейс и получает значение свободного места. Если значение размера текущего бэкапа + 2 Гб (запас на всякий случай для уменьшения фрагментации и т.п.) больше, чем полученное значение свободного места - скрипт удаляет самые старые файлы на NAS'e - до тех пор, пока места не станет достаточно.

[[Category:Bash-скрипт]]