Rsnapshot : utilisataire de prise de cliché
Aujourd'hui, petit tip sur un utilitaire de sauvegarde / restauration : rsnapshot.
Principes
Rsnapshot est un outil système qui permet de prendre des clichés de répertoire. Cela permet notamment de sauvegarder localement ou de manière distante les données. Les transferts de données s'appuient sur rsync : les snapshots de données locales sont effectués via rsync, tandis que pour ceux de données distantes, rsync à travers ssh est utilisé. Le principal intérêt de rsnapshot est le cron, et le fait que tout s'appuie sur un fichier de configuration situé sous /etc/rsnapshot.conf.Pratique
Pour commencer, nous allons installer -ce serait difficile de s'abstenir- rsnapshot depuis ces sources. A l'heure où j'écris ces lignes, la dernière version stable est la 1.3.1, aussi, si celle-ci venait à évoluer, il vous faudra alors adapter ces lignes en conséquence. Alors, comme d'habitude, hein, pas de grande difficulté ici :$ wget http://rsnapshot.org/downloads/rsnapshot-1.3.1.tar.gz $ tar zxvf rsnapshot-1.3.1.tar.gz $ cd rsnapshot-1.3.1 rsnapshot-1.3.1 $ ./configure checking for a BSD-compatible install... /usr/bin/install -c checking whether build environment is sane... yes checking for gawk... gawk checking whether make sets $(MAKE)... yes checking whether make sets $(MAKE)... (cached) yes checking for a BSD-compatible install... /usr/bin/install -c checking for perl... /usr/bin/perl checking for rsync... /usr/bin/rsync checking for cp... /bin/cp checking for rm... /bin/rm checking for ssh... /usr/bin/ssh checking for logger... /bin/logger checking for du... /usr/bin/du configure: creating ./config.status config.status: creating Makefile config.status: creating rsnapshot config.status: creating rsnapshot-diff config.status: creating rsnapshot.conf.default config.status: creating t/support/etc/configtest.conf config.status: creating t/support/etc/rsync.conf config.status: creating t/support/etc/gnu_cp.conf config.status: creating t/support/etc/relative_delete_bugfix.conf config.status: creating t/configtest.t config.status: creating t/rsync.t config.status: creating t/gnu_cp.t config.status: creating t/relative_delete_bugfix.t Now type "make test" to run the regression test suite. Then type "make install" to install the program. After rsnapshot is installed, don't forget to copy /usr/local/etc/rsnapshot.conf.default to /usr/local/etc/rsnapshot.confPuisque c'est si bien dit, c'est parti pour la séquence make && make install.
rsnapshot-1.3.1 $ make /usr/bin/pod2man -c '' -n 'rsnapshot' -r '' rsnapshot > rsnapshot.1 /usr/bin/pod2man -c '' -n 'rsnapshot-diff' -r '' rsnapshot-diff > rsnapshot-diff.1 rsnapshot-1.3.1 $ make test /usr/bin/perl -MTest::Harness -e 'runtests(glob "t/*.t")'; t/configtest.t .............. ok t/gnu_cp.t .................. ok t/relative_delete_bugfix.t .. ok t/rsync.t ................... ok All tests successful. Files=4, Tests=5, 1 wallclock secs ( 0.02 usr 0.02 sys + 0.38 cusr 0.10 csys = 0.52 CPU) Result: PASS rsnapshot-1.3.1 $ su -c "make install" Password: make[1]: entrant dans le répertoire « /usr/local/src/rsnapshot/rsnapshot-1.3.1 » test -z "/usr/local/bin" || mkdir -p -- "/usr/local/bin" /usr/bin/install -c 'rsnapshot' '/usr/local/bin/rsnapshot' /usr/bin/install -c 'rsnapshot-diff' '/usr/local/bin/rsnapshot-diff' test -z "/usr/local/etc" || mkdir -p -- "/usr/local/etc" /usr/bin/install -c -m 644 'rsnapshot.conf.default' '/usr/local/etc/rsnapshot.conf.default' test -z "/usr/local/man/man1" || mkdir -p -- "/usr/local/man/man1" /usr/bin/install -c -m 644 './rsnapshot.1' '/usr/local/man/man1/rsnapshot.1' /usr/bin/install -c -m 644 './rsnapshot-diff.1' '/usr/local/man/man1/rsnapshot-diff.1' make[1]: quittant le répertoire « /usr/local/src/rsnapshot/rsnapshot-1.3.1
Configuration
Au niveau configuration, 2 fichiers ont été crées, qui ne sont, somme toute, pas si différent l'un de l'autre :
$ diff /etc/rsnapshot.conf /etc/rsnapshot.conf.default 27c27 < #snapshot_root /home/.snapshots/ --- > snapshot_root /.snapshots/ 57c57 < cmd_ssh /usr/bin/ssh --- > #cmd_ssh /usr/bin/ssh 167c167 < link_dest 1 --- > #link_dest 0Nous allons nous baser sur le .conf et voir un peu de quoi il en retourne.
$ cat /etc/rsnapshot.conf Password: ################################################# # rsnapshot.conf - rsnapshot configuration file # ################################################# # PLEASE BE AWARE OF THE FOLLOWING RULES: # This file requires tabs between elements # Directories require a trailing slash: # right: /home/ # # wrong: /home # ################################################# ####################### # CONFIG FILE VERSION # ####################### config_version 1.2 ########################### # SNAPSHOT ROOT DIRECTORY # ########################### # All snapshots will be stored under this root directory. # #snapshot_root /home/.snapshots/ # If no_create_root is enabled, rsnapshot will not automatically create the # snapshot_root directory. This is particularly useful if you are backing # up to removable media, such as a FireWire or USB drive. # #no_create_root 1 ################################# # EXTERNAL PROGRAM DEPENDENCIES # ################################# # LINUX USERS: Be sure to uncomment "cmd_cp". This gives you extra features. # EVERYONE ELSE: Leave "cmd_cp" commented out for compatibility. # # See the README file or the man page for more details. # cmd_cp /bin/cp # uncomment this to use the rm program instead of the built-in perl routine. # cmd_rm /bin/rm # rsync must be enabled for anything to work. This is the only command that # must be enabled. # cmd_rsync /usr/bin/rsync # Uncomment this to enable remote ssh backups over rsync. # cmd_ssh /usr/bin/ssh # Comment this out to disable syslog support. # cmd_logger /bin/logger # Uncomment this to specify the path to "du" for disk usage checks. # If you have an older version of "du", you may also want to check the # "du_args" parameter below. # cmd_du /usr/bin/du # Uncomment this to specify the path to rsnapshot-diff. # cmd_rsnapshot_diff /usr/bin/rsnapshot-diff # Specify the path to a script (and any optional arguments) to run right # before rsnapshot syncs files # #cmd_preexec /path/to/preexec/script # Specify the path to a script (and any optional arguments) to run right # after rsnapshot syncs files # #cmd_postexec /path/to/postexec/script ######################################### # BACKUP INTERVALS # # Must be unique and in ascending order # # i.e. hourly, daily, weekly, etc. # ######################################### interval hourly 6 interval daily 7 interval weekly 4 #interval monthly 3 ############################################ # GLOBAL OPTIONS # # All are optional, with sensible defaults # ############################################ # Verbose level, 1 through 5. # 1 Quiet Print fatal errors only # 2 Default Print errors and warnings only # 3 Verbose Show equivalent shell commands being executed # 4 Extra Verbose Show extra verbose information # 5 Debug mode Everything # verbose 2 # Same as "verbose" above, but controls the amount of data sent to the # logfile, if one is being used. The default is 3. # loglevel 3 # If you enable this, data will be written to the file you specify. The # amount of data written is controlled by the "loglevel" parameter. # logfile /var/log/rsnapshot # If enabled, rsnapshot will write a lockfile to prevent two instances # from running simultaneously (and messing up the snapshot_root). # If you enable this, make sure the lockfile directory is not world # writable. Otherwise anyone can prevent the program from running. # lockfile /var/run/rsnapshot.pid # Default rsync args. All rsync commands have at least these options set. # #rsync_short_args -a #rsync_long_args --delete --numeric-ids --relative --delete-excluded # ssh has no args passed by default, but you can specify some here. # #ssh_args -p 22 # Default arguments for the "du" program (for disk space reporting). # The GNU version of "du" is preferred. See the man page for more details. # If your version of "du" doesn't support the -h flag, try -k flag instead. # #du_args -csh # If this is enabled, rsync won't span filesystem partitions within a # backup point. This essentially passes the -x option to rsync. # The default is 0 (off). # #one_fs 0 # The include and exclude parameters, if enabled, simply get passed directly # to rsync. If you have multiple include/exclude patterns, put each one on a # separate line. Please look up the --include and --exclude options in the # rsync man page for more details on how to specify file name patterns. # #include ??? #include ??? #exclude ??? #exclude ??? # The include_file and exclude_file parameters, if enabled, simply get # passed directly to rsync. Please look up the --include-from and # --exclude-from options in the rsync man page for more details. # #include_file /path/to/include/file #exclude_file /path/to/exclude/file # If your version of rsync supports --link-dest, consider enable this. # This is the best way to support special files (FIFOs, etc) cross-platform. # The default is 0 (off). # link_dest 1 # When sync_first is enabled, it changes the default behaviour of rsnapshot. # Normally, when rsnapshot is called with its lowest interval # (i.e.: "rsnapshot hourly"), it will sync files AND rotate the lowest # intervals. With sync_first enabled, "rsnapshot sync" handles the file sync, # and all interval calls simply rotate files. See the man page for more # details. The default is 0 (off). # #sync_first 0 # If enabled, rsnapshot will move the oldest directory for each interval # to [interval_name].delete, then it will remove the lockfile and delete # that directory just before it exits. The default is 0 (off). # #use_lazy_deletes 0 # Number of rsync re-tries. If you experience any network problems or # network card issues that tend to cause ssh to crap-out with # "Corrupted MAC on input" errors, for example, set this to a non-zero # value to have the rsync operation re-tried # #rsync_numtries 0 ############################### ### BACKUP POINTS / SCRIPTS ### ############################### # LOCALHOST backup /home/ localhost/ backup /etc/ localhost/ backup /usr/ localhost/ #backup /var/log/rsnapshot localhost/ #backup /etc/passwd localhost/ #backup /home/foo/My Documents/ localhost/ #backup /foo/bar/ localhost/ one_fs=1, rsync_short_args=-urltvpog #backup_script /usr/bin/backup_pgsql.sh localhost/postgres/ # EXAMPLE.COM #backup_script /bin/date "+ backup of example.com started at %c" unused1 #backup root@example.com:/home/ example.com/ +rsync_long_args=--bwlimit=16,exclude=core #backup root@example.com:/etc/ example.com/ exclude=mtab,exclude=core #backup_script ssh root@example.com "mysqldump -A > /var/db/dump/mysql.sql" unused2 #backup root@example.com:/var/db/dump/ example.com/ #backup_script /bin/date "+ backup of example.com ended at %c" unused9 # CVS.SOURCEFORGE.NET #backup_script /usr/bin/backup_rsnapshot_cvsroot.sh rsnapshot.cvs.sourceforge.net/ # RSYNC.SAMBA.ORG #backup rsync://rsync.samba.org/rsyncftp/ rsync.samba.org/rsyncftp/Telle quelle, la configuration créée n'est pas utilisable, et le test de celle-ci ne tarde pas à sortir en erreur :
rsnapshot-1.3.1 $ rsnapshot configtest 1823: priorité précédente 0, nouvelle priorité 19 ---------------------------------------------------------------------------- rsnapshot encountered an error! The program was invoked with these options: /usr/bin/rsnapshot configtest ---------------------------------------------------------------------------- ERROR: /etc/rsnapshot.conf on line 196: ERROR: backup /home/ localhost/ - snapshot_root needs to be \\ defined before backup points ERROR: /etc/rsnapshot.conf on line 197: ERROR: backup /etc/ localhost/ - snapshot_root needs to be defined before \\ backup points ERROR: /etc/rsnapshot.conf on line 198: ERROR: backup /usr/ localhost/ - snapshot_root needs to be defined before \\ backup points ERROR: --------------------------------------------------------------------- ERROR: Errors were found in /etc/rsnapshot.conf, ERROR: rsnapshot can not continue. If you think an entry looks right, make ERROR: sure you don't have spaces where only tabs should be.En fait, au lieu d'une erreur, il s'agit surtout de la non prise en compte des défauts, notamment, comme c'est explicitement dit, le snapshot_root. Pour le coup, il faut donc décommenter le paramètre et, tant qu'à faire, le customiser. La partie en question est située au tout début du fichier de conf.
# All snapshots will be stored under this root directory. # snapshot_root /home/.snapshots/Même chose pour vos backups, car sauvegarder /etc et /usr n'est parfois pas essentiel / suffisant. On travaillera donc sur la partie qui parle de :
backup /home/ localhost/ backup /etc/ localhost/ backup /usr/ localhost/Pour test, j'ai commenté le backup de /etc et /usr. Vérifions notre configuration à nouveau :
$ rsnapshot configtest 1880: priorité précédente 0, nouvelle priorité 19 Syntax OKUn test rapide (-t) renverra les lignes de commandes qui seront exécutées si on relance sans l'option -t, option qui représente une sorte de dry run.
$ rsnapshot -t hourly 1936: priorité précédente 0, nouvelle priorité 19 echo 1936 > /var/run/rsnapshot.pid mkdir -m 0700 -p /home/.snapshots/ mkdir -m 0755 -p /home/.snapshots/hourly.0/ /usr/bin/rsync -a --delete --numeric-ids --relative --delete-excluded \\ /home/k-tux /home/.snapshots/hourly.0/localhost/ mkdir -m 0755 -p /home/.snapshots/hourly.0/ /usr/bin/rsync -a --delete --numeric-ids --relative --delete-excluded /etc \\ /home/.snapshots/hourly.0/localhost/ mkdir -m 0755 -p /home/.snapshots/hourly.0/ /usr/bin/rsync -a --delete --numeric-ids --relative --delete-excluded /usr \\ /home/.snapshots/hourly.0/localhost/ touch /home/.snapshots/hourly.0/
Sauvegarde
Puisqu'après tout il ne faut jamais craindre la sauvegarde, qu'à cela ne tienne, lançons le comme dans la vraie vie :$ rsnapshot hourly 2187: priorité précédente 0, nouvelle priorité 19Et vérifions ce qui a été crée :
$ ll /home/.snapshots/hourly.0/localhost/home/ total 12 4 drwxr-xr-x 3 root root 4096 2011-08-21 20:03 . 4 drwxr-xr-x 3 root root 4096 2011-08-22 11:09 .. 4 drwxr-xr-x 83 k-tux k-tux 4096 2011-08-22 10:31 k-tuxCe qui est bien, c'est qu'on n'a pas vraiment besoin de tout faire soi-même. Par exemple, Rsnapshot dispose d'une option bien nommée "du" qui renvoie la taille des données sauvegardées.
$ rsnapshot du 2540: priorité précédente 0, nouvelle priorité 19 720M /home/.snapshots/hourly.0/ 720M totalLa relance du hourly crée un autre répertoire :
$ rsnapshot hourly 3019: priorité précédente 0, nouvelle priorité 19 $ ll /home/.snapshots/hourly* hourly.0/ hourly.1/En réalité, ici, hourly.0 est toujours l'image la plus récente. En pratique, rsnapshot crée le répertoire et copie l'image précédente dedans avant d'effectuer la sauvegarde des données dans hourly.0, comme nous l'a précédemment indiqué le dry-run :
$ rsnapshot -t hourly 4732: priorité précédente 0, nouvelle priorité 19 echo 4732 > /var/run/rsnapshot.pid mv /home/.snapshots/hourly.1/ /home/.snapshots/hourly.2/ mv /home/.snapshots/hourly.0/ /home/.snapshots/hourly.1/ /usr/bin/rsync -a --delete --numeric-ids --relative --delete-excluded \\ --link-dest=/home/.snapshots/hourly.1/localhost/ /home/ \\ /home/.snapshots/hourly.0/localhost/ touch /home/.snapshots/hourly.0/Il s'agit donc bien de rotation des sauvegardes. A l'image de rsnapshot du, il existe également une version du diff, par contre, pas très pratique, il faut mentionner les répertoires en eux-mêmes. La version de base n'est pas très exploitable...
$ rsnapshot-diff /home/.snapshots/hourly.0 /home/.snapshots/hourly.1 Comparing /home/.snapshots/hourly.1 to /home/.snapshots/hourly.0 Between /home/.snapshots/hourly.1 and /home/.snapshots/hourly.0: 17 were added, taking 1006442932 bytes; 17 were removed, saving 446593057 bytes;Oui, mais !!! En réalité, rsnapshot permet d'être plus précis (-v) ou encore plus précis que précis (-V). Et là, effectivement, c'est tout de suite mieux :)
$ rsnapshot-diff -v /home/.snapshots/hourly.0 /home/.snapshots/hourly.1 Comparing /home/.snapshots/hourly.1 to /home/.snapshots/hourly.0 + /home/.snapshots/hourly.0/localhost/home/k-tux/.viminfo + /home/.snapshots/hourly.0/localhost/home/k-tux/.recently-used.xbel + /home/.snapshots/hourly.0/localhost/home/k-tux/.xsession-errors - /home/.snapshots/hourly.1/localhost/home/k-tux/.viminfo - /home/.snapshots/hourly.1/localhost/home/k-tux/.recently-used.xbel [...] Between /home/.snapshots/hourly.1 and /home/.snapshots/hourly.0: 17 were added, taking 1006442932 bytes; 17 were removed, saving 446593057 bytes;Voilà, il ne reste plus qu'à se concocter son cron, qui ressemblera à un truc du genre : 0 */4 * * * /usr/local/bin/rsnapshot hourly Il est important de noter que si un fichier ne change pas d'une version à l'autre, il ne sera pas dupliqué mais sera dans les faits un hard link sur la donnée. Ce n'est que lorsque la donnée est modifiée que le lien est supprimé et la donnée mise à jour et sauvegardée. Du coup, il n'y a pas de consommation inutile de place.
Hourly, Daily, Weekly
C'est bien joli tout ça, mais lorsque l'on met notre hourly, de quoi il en retourne ? En fait, rsnapshot propose 3 modes de sauvegarde : hourly, daily et weekly. Ces noms sont assez évocateurs, mais le fonctionnement de rsnapshot mérite d'être explicité. Pour expliquer le fonctionnement, il faut expliquer le paramètre interval qui est mentionné dans la configuration.interval hourly 6 interval daily 7 interval weekly 4Par exemple, prenons la première ligne mentionnant hourly : l'intervalle définit hourly tel que 6 sauvegardes par jour sont faites. Ce qui signifie que faire tourner 7 fois hourly revient à prendre 6 snapshots hourly et de passer le 7ème, le plus récent en daily. Il est important -et souligné- que les paramétrages d'interval doivent être mentionnés du plus petit au plus grand dans le fichier de conf. Cela vient du fait que c'ets la première occurrence d'interval qui va récupérer les données du filesystem, tandis que les autres utiliseront celles de la première occurrence.
