rsync+inotify實(shí)時(shí)備份

為什么要使用inotify？

遠(yuǎn)程同步方式，我們一般采用rsync命令、或者守護(hù)進(jìn)程的方式。

成都創(chuàng)新互聯(lián)公司服務(wù)項(xiàng)目包括安順網(wǎng)站建設(shè)、安順網(wǎng)站制作、安順網(wǎng)頁(yè)制作以及安順網(wǎng)絡(luò)營(yíng)銷策劃等。多年來(lái)，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，安順網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到安順省份的部分城市，未來(lái)相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

優(yōu)點(diǎn)：具有安全性高、備份迅速、支持增量備份。

缺點(diǎn)：1、rsync同步數(shù)據(jù)時(shí)，需要掃描所有文件后進(jìn)行比對(duì)，進(jìn)行差量傳輸。如果文件數(shù)量達(dá)到了百萬(wàn)甚至千萬(wàn)量級(jí)，掃描所有文件將是非常耗時(shí)的。

2、rsync不能實(shí)時(shí)的去監(jiān)測(cè)、同步數(shù)據(jù)，雖然它可以通過(guò)linux守護(hù)進(jìn)程的方式進(jìn)行觸發(fā)同步，實(shí)際是異步同步，這樣就導(dǎo)致了服務(wù)端和客戶端數(shù)據(jù)可能出現(xiàn)不一致，無(wú)法在應(yīng)用故障時(shí)完全的恢復(fù)數(shù)據(jù)。

 

inotify 是一種強(qiáng)大的、細(xì)粒度的、異步的文件系統(tǒng)事件監(jiān)控機(jī)制，linux內(nèi)核從2.6.13起，加入了Inotify支持，通過(guò)Inotify可以監(jiān)控文件系統(tǒng)中添加、刪除，修改、移動(dòng)等各種細(xì)微事件，當(dāng)文件有任何變動(dòng)時(shí)，就觸發(fā)rsync同步，解決了同步數(shù)據(jù)的實(shí)時(shí)性問(wèn)題。

意思：

inotify可以支持一對(duì)一、一對(duì)多的實(shí)時(shí)同步，支持單機(jī)實(shí)時(shí)備份、災(zāi)難切換，也可以實(shí)現(xiàn)在負(fù)載均衡LB下同時(shí)更新、上線多臺(tái)RS服務(wù)器或者保持?jǐn)?shù)據(jù)一致性。

實(shí)時(shí)同步實(shí)例：

同步順序：青島監(jiān)控機(jī)10.32.232.238（監(jiān)控主機(jī)）——> 10.32.232.239（監(jiān)控備機(jī)）

Web1：10.32.232.238（rsyncclient,inotify）

Web2：10.32.232.239（rsyncserver）

同步的目錄是 /usr/local/nagios/etc , 實(shí)現(xiàn)監(jiān)控備機(jī)配置文件與主機(jī)實(shí)時(shí)同步。

一、配置 rsync服務(wù)器端（238）

1.先使用 rpm –qa 命令查看系統(tǒng)中是否已經(jīng)安裝了 rsync 軟件包，如果有我們可以不用進(jìn)行安裝，如果沒(méi)有我們可以掛載上 CentOS 的系統(tǒng)光盤進(jìn)行安裝（當(dāng)然，我們也可以選擇使用源碼包編譯安裝）

[root@232-239-qd-monitor~]# rpm -qa | grep rsync

rsync-3.0.6-9.el6_4.1.x86_64

[root@232-239-qd-monitor~]#

2. Rsync安裝好之后沒(méi)自己的配置文件，創(chuàng)建 rsync 的配置文件

[root@232-239-qd-monitortmp]# cat /etc/rsyncd.conf

##rsyncd.confstart##

uid= root

gid= root

usechroot = no

maxconnections = 200     ##最大連接數(shù)

timeout= 300             ##超時(shí)時(shí)間

pidfile = /var/run/rsyncd.pid

lockfile = /var/run/rsync.lock

logfile = /var/log/rsyncd.log

ignoreerrors

readonly = false        ##只讀為假，可以上傳

list= false

hostsallow = 10.32.0.0/24     ##允許網(wǎng)段

hostsdeny = 0.0.0.0/32

authusers = rsync_backup      ##用戶

secretsfile = /etc/rsync.password   ##密碼文件

[nagios]                       ##模塊

path= /usr/local/nagios/etc   ##模塊目錄

[wangxu]

path= /tmp

#rsync_config_______________end

3.建立 rsync 用戶名和密碼文件

[root@232-238-qd-monitor~]#  echo "rsync_backup:monitor " >>  /etc/rsync.password

4.為 /etc/rsync.password 授權(quán)為 600（這個(gè)文件的權(quán)限必須是 600）

[root@232-238-qd-monitor~]# chmod -R 600 /etc/rsync.password

二、客戶端（239）配置：

1.設(shè)置 rsync 客戶端的密碼文件，客戶端只需要設(shè)置 rsync 同步的密碼即可，不用設(shè)置用戶名

[root@232-239-qd-monitor~]# echo "monitor" >>  /etc/rsync.password

4.   為 /etc/rsync.password 授權(quán)為 600（這個(gè)文件的權(quán)限必須是 600）

[root@232-239-qd-monitor~]# chmod -R 600 /etc/rsync.password

三、測(cè)試rsync守護(hù)進(jìn)程。

[root@232-239-qd-monitortmp]# rsync --daemon    ####啟動(dòng)

[root@232-239-qd-monitortmp]# netstat -lntp | grep rsync

tcp        0     0 0.0.0.0:873                0.0.0.0:*                   LISTEN      36834/rsync        

tcp        0     0 :::873                     :::*                        LISTEN      36834/rsync        

[root@232-239-qd-monitortmp]#

[root@232-239-qd-monitortmp]# pwd

/tmp

[root@232-239-qd-monitortmp]# ls

10.32.231.177_MongoDB_cacti_stats.txt  10.32.232.222_mongodb_cacti_stats.txt  10.32.232.225_mongodb_cacti_stats.txt  sms.log

10.32.231.186_mongodb_cacti_stats.txt  10.32.232.224_mongodb_cacti_stats.txt  10.32.232.226_mongodb_cacti_stats.txt

[root@232-239-qd-monitortmp]#

——————————————————————————————————————————————————

[root@232-238-qd-monitortmp]# pwd

/tmp

[root@232-238-qd-monitortmp]# rsync -avz  rsync_backup@10.32.232.239::wangxu//tmp/ --password-file=/etc/rsync.password            ####同步

receivingincremental file list

./

10.32.231.177_mongodb_cacti_stats.txt

10.32.231.186_mongodb_cacti_stats.txt

10.32.232.222_mongodb_cacti_stats.txt

10.32.232.224_mongodb_cacti_stats.txt

10.32.232.225_mongodb_cacti_stats.txt

10.32.232.226_mongodb_cacti_stats.txt

 

sent220 bytes  received 12073 bytes  24586.00 bytes/sec

totalsize is 170894  speedup is 13.90

[root@232-238-qd-monitortmp]# ls

10.32.231.177_mongodb_cacti_stats.txt  10.32.232.222_mongodb_cacti_stats.txt  10.32.232.225_mongodb_cacti_stats.txt 

10.32.231.186_mongodb_cacti_stats.txt  10.32.232.224_mongodb_cacti_stats.txt  10.32.232.226_mongodb_cacti_stats.txt 

[root@232-238-qd-monitortmp]#

Delete 用法：

本地為空，遠(yuǎn)端目錄直接清空。有使遠(yuǎn)端rsync服務(wù)端丟數(shù)據(jù)的風(fēng)險(xiǎn)。

[root@232-238-qd-monitortmp]# ls

[root@232-238-qd-monitortmp]# rsync -avz --delete /tmp/ rsync_backup@10.32.232.239::wangxu/  --password-file=/etc/rsync.password

sendingincremental file list

./

deletingsms.log

deletingmonitor_bak.sh

deleting10.32.232.226_mongodb_cacti_stats.txt

deleting10.32.232.225_mongodb_cacti_stats.txt

deleting10.32.232.224_mongodb_cacti_stats.txt

deleting10.32.232.222_mongodb_cacti_stats.txt

deleting10.32.231.186_mongodb_cacti_stats.txt

deleting10.32.231.177_mongodb_cacti_stats.txt

 

sent55 bytes  received 12 bytes  134.00 bytes/sec

totalsize is 0  speedup is 0.00

[root@232-238-qd-monitortmp]# ls

[root@232-238-qd-monitortmp]#

 

[root@232-239-qd-monitortmp]# ls

10.32.231.177_mongodb_cacti_stats.txt  10.32.232.222_mongodb_cacti_stats.txt  10.32.232.225_mongodb_cacti_stats.txt  monitor_bak.sh

10.32.231.186_mongodb_cacti_stats.txt  10.32.232.224_mongodb_cacti_stats.txt  10.32.232.226_mongodb_cacti_stats.txt  sms.log

[root@232-239-qd-monitortmp]# ls

[root@232-239-qd-monitortmp]#

四、配置initify(web1)

wgethttp://github.com/downloads/rvoicilas/inotify-tools/inotify-tools-3.14.tar.gz

tar  -zxf inotify-tools-3.14.tar.gz

cdinotify-tools-3.14

 ./configure && make && makeinstall

1、詳解inotify。

root@232-238-qd-monitorbin]# pwd

/usr/local/bin

[root@232-238-qd-monitorbin]# ls inotifywa*

inotifywait  inotifywatch

[root@232-238-qd-monitorbin]#

inotifywait用于等待文件或文件集上的一個(gè)特定事件，它可以監(jiān)控任何文件和目錄設(shè)置，并且可以遞歸地監(jiān)控整個(gè)目錄樹(shù)。
     inotifywatch用于收集被監(jiān)控的文件系統(tǒng)統(tǒng)計(jì)數(shù)據(jù)，包括每個(gè)inotify事件發(fā)生多少次等信息。

Inotify 可以監(jiān)視的文件系統(tǒng)事件包括：

IN_ACCESS，即文件被訪問(wèn)

IN_MODIFY，文件被 write

IN_ATTRIB，文件屬性被修改，如 chmod、chown、touch 等

IN_CLOSE_WRITE，可寫文件被 close

IN_CLOSE_NOWRITE，不可寫文件被 close

IN_OPEN，文件被 open

IN_MOVED_FROM，文件被移走,如 mv

IN_MOVED_TO，文件被移來(lái)，如 mv、cp

IN_CREATE，創(chuàng)建新文件

IN_DELETE，文件被刪除，如 rm

IN_DELETE_SELF，自刪除，即一個(gè)可執(zhí)行文件在執(zhí)行時(shí)刪除自己

IN_MOVE_SELF，自移動(dòng)，即一個(gè)可執(zhí)行文件在執(zhí)行時(shí)移動(dòng)自己

IN_UNMOUNT，宿主文件系統(tǒng)被 umount

IN_CLOSE，文件被關(guān)閉，等同于(IN_CLOSE_WRITE | IN_CLOSE_NOWRITE)

IN_MOVE，文件被移動(dòng)，等同于(IN_MOVED_FROM | IN_MOVED_TO)

備注：上面的文件也包括目錄

 

Inotifywait是一個(gè)監(jiān)控等待事件，可以配合shell腳本使用它，下面介紹一下常用的一些參數(shù)：

 -m，即--monitor，表示始終保持事件監(jiān)聽(tīng)狀態(tài)。
 -r，即--recursive，表示遞歸查詢目錄。
 -q，即--quiet，表示打印出監(jiān)控事件。
 -e，即--event，通過(guò)此參數(shù)可以指定要監(jiān)控的事件，常見(jiàn)的事件有modify、delete、create、attrib等。
更詳細(xì)的請(qǐng)參看man  inotifywait。

inotify相關(guān)參數(shù)

inotify定義了下列的接口參數(shù)，可以用來(lái)限制inotify消耗kernel memory的大小。由于這些參數(shù)都是內(nèi)存參數(shù)，因此，可以根據(jù)應(yīng)用需求，實(shí)時(shí)的調(diào)節(jié)其大小。
   /proc/sys/fs/inotify/max_queued_evnets     
      表示調(diào)用inotify_init時(shí)分配給inotifyinstance中可排隊(duì)的event的數(shù)目的最大值，超出這個(gè)值的事件被丟棄，但會(huì)觸發(fā)IN_Q_OVERFLOW事件。
   /proc/sys/fs/inotify/max_user_instances
       表示每一個(gè)real user ID可創(chuàng)建的inotifyinstatnces的數(shù)量上限。
   /proc/sys/fs/inotify/max_user_watches
       表示每個(gè)inotify instatnces可監(jiān)控的最大目錄數(shù)量。如果監(jiān)控的文件數(shù)目巨大，需要根據(jù)情況，適當(dāng)增加此值的大小

[root@232-238-qd-monitorinotify-tools-3.14]# cat /proc/sys/fs/inotify/max_queued_events

16384

2、inotify監(jiān)控腳本

[root@232-238-qd-monitor wangxu]# catrsync_inotify.sh

#!/bin/bash

#para

host01=10.32.232.239        ##同步IP，可以設(shè)置多個(gè)

src=/usr/local/nagios/etc     ##同步的本地目錄

dst=nagios                  ##rsync服務(wù)端模塊

user=rsync_backup           ##rsync用戶

rsync_passfile=/etc/rsync.password

inotify_home=/usr/local

#judge

if[ ! -e "$src" ] \

||[ ! -e "${rsync_passfile}" ] \

||[ ! -e "${inotify_home}/bin/inotifywait" ] \

||[ ! -e "/usr/bin/rsync" ];

then

  echo "Check File and Folder"

  exit 9

fi

${inotify_home}/bin/inotifywait -mrq--timefmt '%d/%m/%y %H:%M' --format '%T %w%f' -eclose_write,delete,create,attrib $src \

|while read file

        do

        #rsync -avzP --delete --timeout=100--password-file=${rsync_passfile} $src $user@$host01::$dst >/dev/null2>&1

         cd $src && rsync -aruz -R--delete ./  --timeout=100$user@$host01::$dst --password-file=${rsync_passfile} >/dev/null 2>&1

        done

exit0

[root@232-238-qd-monitorwangxu]#

[

2、執(zhí)行腳本。

[root@232-238-qd-monitoretc]# sh /root/wangxu/rsync_inotify.sh &

[root@232-238-qd-monitorwangxu]# ps -ef | grep inotify

root      8534 26546  0 09:56 pts/0    00:00:00 grep inotify

root     30432 26546  0 09:48 pts/0    00:00:00 sh /root/wangxu/rsync_inotify.sh

root     30433 30432  0 09:48 pts/0    00:00:00 /usr/local/bin/inotifywait -mrq--timefmt %d/%m/%y %H:%M --format %T %w%f -e close_write,delete,create,attrib/usr/local/nagios/etc

root     30434 30432  0 09:48 pts/0    00:00:00 sh /root/wangxu/rsync_inotify.sh

[root@232-238-qd-monitorwangxu]#

3、檢查測(cè)試。

[root@232-238-qd-monitor etc]# ls

cgi.cfg   htpasswd.bak.20140326  htpasswd.users      nagios.cfg       nrpe.cfg objects.yuan  resource.cfg

htpasswd  htpasswd.bk            htpasswd.users.bak  nagios.cfg.yuan  objects  pnp           server

[root@232-238-qd-monitor etc]#

 

[root@232-239-qd-monitor etc]# pwd

/usr/local/nagios/etc

[root@232-239-qd-monitor etc]# ls

cgi.cfg   htpasswd.bak.20140326  htpasswd.users      nagios.cfg       nrpe.cfg objects.yuan  resource.cfg

htpasswd  htpasswd.bk            htpasswd.users.bak  nagios.cfg.yuan  objects  pnp           server

[root@232-239-qd-monitoretc]#

 

[root@232-238-qd-monitoretc]# mkdir test

[root@232-238-qd-monitoretc]# echo "123" >> wangxu.txt

[root@232-238-qd-monitoretc]# ls

cgi.cfg   htpasswd.bak.20140326  htpasswd.users      nagios.cfg       nrpe.cfg objects.yuan  resource.cfg test

htpasswd  htpasswd.bk            htpasswd.users.bak  nagios.cfg.yuan  objects  pnp           server       wangxu.txt

[root@232-238-qd-monitoretc]#

 

[root@232-239-qd-monitor etc]# ls

cgi.cfg   htpasswd.bak.20140326  htpasswd.users      nagios.cfg       nrpe.cfg objects.yuan  resource.cfg  test

htpasswd  htpasswd.bk            htpasswd.users.bak  nagios.cfg.yuan  objects  pnp           server        wangxu.txt

[root@232-239-qd-monitoretc]#

 

當(dāng)前題目：rsync+inotify實(shí)時(shí)備份
網(wǎng)站路徑：http://m.newbst.com/article32/gpigpc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供定制網(wǎng)站、微信小程序、網(wǎng)站導(dǎo)航、搜索引擎優(yōu)化、全網(wǎng)營(yíng)銷推廣、域名注冊(cè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)