gitlab多线程备份脚本

将公司的gitlab服务器进行备份，并且将备份rsync到异地机房，因为备份文件太大，所以这里做了切割成多个文件，进行多线程传输。

#!/usr/bin/env perl    
################    
#filename: gitback.pl    
#version : 1.0    
#author : zzq    
#date : 20160705    
#function: The transmission of gitlab backup files to the remote host    
#########################    
use strict;    
use threads;    
use Thread::Queue;    
use File::Rsync;    
use threads::shared;    
use File::Find;    
use File::Basename;    
use POSIX qw(strftime);    
use Log::Log4perl qw(:easy);    
use Mail::Sender;    
my ($logger,$Msg,$Subject,$filename,$srcFile,$fileName,$filePath,$fileSize,$backFilename);    
my $fileCount;    
my $filemsg;    
my $message;    
######### remote host rsync config ##################    
my $remotehost = 'rsync@10.xx.xx.xx::gitbackup';    
############# back file dir##############    
my $backFiledir = '/data/gitbackups/';    
######## max threads count##############    
my $thread_max = 10;    
########## current time #############    
my $currentTime = strftime("%Y%m%d%H%M", localtime(time));    
$Msg = "$currentTime/n";    
########## log file ##############    
my $logFile = "gitback.log";    
my $splitFileQueue = Thread::Queue->new();    
my $remotefileQueue = Thread::Queue->new();    
############## define smtp ######################    
#Sender    
my $send_user='monitor@.cc.cn';    
#passwd for Sender    
#my $send_user_pw='123';    
#smtp address    
my $smtp_server='10.168.xx.xx';    
#define mail subject    
$Subject = "gitback-$currentTime";    
#address    
my @address=qw(xxx.cn);    
#################################################    
################### define log conf #########################    
my $log_logger = get_logger();    
$log_logger->level($INFO);    
my $file_appender = Log::Log4perl::Appender->new(    
"Log::Dispatch::File",    
filename => "$logFile",    
mode     => "append",    
);    
$log_logger->add_appender($file_appender);    
my $layout =  Log::Log4perl::Layout::PatternLayout->new(    
"%d %p > %F{1} %M -- %m%n"    
);    
$file_appender->layout($layout);    
###################################################    
main();    
sub main {    
Usage() unless ( scalar(@ARGV) == 0);    
$log_logger->info("Begin:$currentTime");    
$srcFile = backup();    
print "srcFile is $srcFile/n";    
($fileName,$filePath) = fileparse($srcFile) if (-f $srcFile);    
$fileSize=(stat $srcFile)[7];    
srcFileMd5($srcFile);    
splitFile($srcFile);    
find(/&findSplitFile,$filePath);    
$fileCount = $splitFileQueue->pending();    
$Msg = "$Msg"."FileCount: $fileCount/n"."$filemsg";    
splitFileMd5Thread();    
rsyncThread();	    
 	for my $addr (@address){    
sendMail($addr);    
}    
$currentTime=strftime("%Y%m%d%H%M", localtime(time));    
$log_logger->info("End:$currentTime");    
}    
###################Access to the backup name for gitlab ################    
sub backup {    
my $result=`gitlab-rake gitlab:backup:create`;    
my $flag=`echo $?`;    
if ($flag == 0){    
$log_logger->info("gitlab-backup-create : success ");			    
my @result=split(//n/,$result);    
for my $cc (@result){    
if ($cc =~ /(?<filename>/d+_gitlab_backup.tar)/){    
$backFilename=$+{'filename'};    
$log_logger->info("gitlab-backup-filename : $backFilename");			    
}    
}    
}else{    
$log_logger->info("gitlab-backup-create : fail ");			    
}    
return "$backFiledir$backFilename";    
}    
############# Search the file after segmentation ################    
sub findSplitFile {    
if ( $_ =~ /$fileName/./d{3}$/) {    
$log_logger->info("splitFileQueue enqueue : $_");    
$filemsg = "$filemsg"."$_/n";    
$splitFileQueue->enqueue($_);    
$log_logger->info("remotefileQueue enqueue : $_");			    
$remotefileQueue->enqueue($_);    
#			$log_logger->info("print to logfile : $_");    
}    
}    
############## Search the MD5 file after segmentation ############    
sub splitFileMd5Thread {    
while($splitFileQueue->pending()) {    
my $Queue = $splitFileQueue->dequeue();    
$log_logger->info("splitfileQueueMD5 dequeue : $Queue ");    
threads->create(/&splitFileMd5,$Queue);    
}    
foreach my $thread (threads->list(threads::all)){    
if ($thread->is_joinable()){    
$thread->join();    
}    
}    
foreach my $thread ( threads->list(threads::all) ) {    
$thread->join();    
}    
}    
################## Search for the source file md5 #################    
sub srcFileMd5 {    
my $file=shift;    
my $md5_command=`md5sum $file`;    
my $flag=`echo $?`;    
if ($flag == 0) {    
my ($file_md5,$filename) = split(//s+/,$md5_command);    
my $log = "srcfile:$file filesize:$fileSize file_md5sum:$file_md5";    
    	$Msg = "$Msg"."srcfile:$file filesize:$fileSize file_md5sum:$file_md5/n";    
$log_logger->info($log);    
}else {    
my $file_md5 = "system command maybe exec fail, command result code is $md5_command";    
my $log = "srcfile:$file filesize:$fileSize file_md5sum:$file_md5";    
$Msg = "$Msg"."srcfile:$file filesize:$fileSize file_md5sum:$file_md5/n";    
$log_logger->warn($log);					    
}    
}    
####### split File MD5 ###############    
sub splitFileMd5 {    
my $file=shift;    
my $md5_command=`md5sum $filePath$file`;    
my $flag=`echo $?`;    
if ($flag == 0) {    
my ($file_md5,$filename) = split(//s+/,$md5_command);    
my $log = "file:$file  file_md5sum:$file_md5";    
$log_logger->info($log);    
}    
}    
################# Will be cut by the source file ################    
sub splitFile {    
my $srcFile = shift;    
my $split_command =`split -b 50M $srcFile -d -a 3 $srcFile.`;    
$split_command = `echo $? `;    
if ($split_command == 0 ){    
my $splitFileCode = 'success';    
$log_logger->info(" srcFile:$srcFile  desc:$splitFileCode splitFileResult:$split_command");    
}else{    
my $splitFileCode = 'fail';    
$log_logger->warn(" srcFile:$srcFile  desc:$splitFileCode splitFileResult:$split_command");    
}    
}    
sub rsyncThread {    
while ( $remotefileQueue->pending() ){	    
if (scalar threads->list() < $thread_max) {		    
my $readQueue = $remotefileQueue->dequeue();    
$log_logger->info("remotefileQueue dequeue : $readQueue ");    
threads->create(/&rsync,$readQueue);    
}    
foreach my $thread (threads->list(threads::all)){			    
if ($thread->is_joinable()){    
$thread->join();			    
}	    
}    
}    
foreach my $thread ( threads->list(threads::all) ) {    
$thread->join();    
}	     
}    
sub rsync {    
my $file = shift;    
my $obj = File::Rsync->new(    
{    
archive    => 1,    
compress => 1,    
checksum => 1,    
recursive => 1,    
owner => 1,    
devices => 1,    
group => 1,    
perms => 1,    
times => 1,    
 	verbose => 1,    
progress => 1,    
stats => 1,    
links => 1,    
 	'hard-links' => 1,    
  	'ignore-times' => 1,    
  	'password-file' => './rsync.pass',    
}    
);    
$obj->exec( { src => "$filePath$file", dest => $remotehost } );    
#or warn ($log_logger->warn("rsync: $file to $remotehost fail!" ));    
my $rval = $obj->realstatus;    
if ($rval == 0 ) {    
$log_logger->info("rsync: $file to $remotehost Success!/n");    
}else{    
my $rsyncError = sprintf ("%s", $obj->err);    
$message = "$message"."Transfer Failed:/nfile:$file 		reason:$rsyncError";    
$log_logger->info("rsync: $file to $remotehost fail reason:$rsyncError");    
}    
}    
sub sendMail {    
my $CONTACTEMAIL = shift;    
 	my $sender = new Mail::Sender{    
ctype => 'text/plain; charset=utf-8',    
encoding => 'utf-8',    
 	} ;    
die "Error in mailing : $Mail::Sender::Error/n" unless ref $sender;    
if ($sender->MailMsg({    
smtp => $smtp_server,    
from => $send_user,    
to => $CONTACTEMAIL,    
subject => $Subject,    
msg => $Msg,    
#		file => "$file",    
#		auth => 'LOGIN',     
#		authid => $send_user,    
#		authpwd => $send_user_pw,    
charset=>'utf-8'    
}) < 0) {    
die $log_logger->error("senermail fail -- $Mail::Sender::Error/n");	    
}    
$sender->Close();    
}    
sub Usage {    
print <<"END";    
    perl gitback.pl     
END    
exit 2;    
}