野宮です。 In the Message; Subject : Re: [suse-linux-ja] rsync 2.6.3 Message-ID : <20050924012007.21cafe0d.knfeat@mbn.nifty.com> Date & Time: Sat, 24 Sep 2005 01:20:07 +0900 [Suzukiさん] == "K.Suzuki" has written: Suzukiさん> これって再現可能なのでしょうか？ はい、可能でした。 rsync がバックアップを採っている時に無視されたファイルに就いて、ファイル・ サイズを変えて、再度 rsync を動かしました、が、またもや、無視されました。 で、仕方無く、手動でバックアップを採りました。 更新前のファイルと更新後のファイルのタイム・スタンプは、諸般の事情で、同一 に設定していますが。 尤も、ネットで調べますと、小生同様、「md5sum の値が変っているのにバックアッ プされないのは？」と書いておられる方がいました。 Suzukiさん> 自分は 9.3 では無く 9.2 の rsync (2.6.3pre1-2.4)を使用してますが Suzukiさん> 今のところ問題は出てません。 そうですか.... 以前にも、rsync 2.6.3 でバックアップを採った折り、全てのファイルのタイム・ スタンプが、バックアップ作成時の時刻に書き換えられたことがあります...(_ _? Suzukiさん> 思い付くのは rsync を実行中に変更したファイルがたまたま同期処理を終了し Suzukiさん> 終わったディレクトリだったとか、あとは読み取り、実行権限が無いディレク Suzukiさん> トリ orファイルだったとか考えられますけど．．．。 rsync 実行中は、何もしないようにしています。 読み取り、実行権限に就いても、問題無いと考えています。つまり、手動で、 # cp -p foo /bkup/home/nomiya/var/news/news1 とバックアップしましたが、問題無く出来ました。 --- 野宮 賢 mail-to: nomiyac360@mg.point.ne.jp 「先端技術の開発は、優れた頭脳を持つ人間が集中しないと成功しない。 しかし、技術開発と、それが何をもたらすかを考えることは別だ。 一人の人間に二つは望めない。」 -- M. Crichton --

野宮です。 In the Message; Subject : Re: [suse-linux-ja] Re: rsync 2.6.3 Message-ID : <20050924184627.6a9ebf80.knfeat@mbn.nifty.com> Date & Time: Sat, 24 Sep 2005 18:46:27 +0900 [Suzukiさん] == "K.Suzuki" has written: Suzukiさん> これって、転送先ファイルを削除しても同じ現象が発生するのでしょうか？ いえ、転送先を削除すればバックアップされました。 小生> > 尤も、ネットで調べますと、小生同様、「md5sum の値が変っているのにバックアッ 小生> > プされないのは？」と書いておられる方がいました。 Suzukiさん> すいません。この件に関してググってみたのですけど見つけられませんでした。 小生もメッセージを上げるに就いてググッたのですが、解りませんでした。 キーワードに何を入れたのか....(_ _? Suzukiさん> うーむ。原因が何なのかちょっと思い付かないんですけど、verbose オプションを Suzukiさん> 指定してるので、同期されないファイルに対して何か出力されてないでしょうか？ 何も出力されていませんでした。 Suzukiさん> または、 Suzukiさん> # grep rsync /var/log/messages | more Suzukiさん> とかで何か rsync に関連したエラーログらしき物が無いかチェックし Suzukiさん> てみたり やりましたところ、 # grep rsync /var/log/messages | more # となりました。 実は、namazu でも同じ現象が発生しました。 タイム・スタンプは同じですが、ファイル・サイズが全然違うのに、その更新ファ イルを無視する形でインデックスが作成されてしまいました.... な、何だろう.... (_ _? --- 野宮 賢 mail-to: nomiyac360@mg.point.ne.jp 「eメールや携帯電話に縛られた社会は、自分自身と向き合ったり、 空想にふけったりする自由を奪う。」 -- M. Crichton --

M. Takeyamaです。 ＃タイポです。 On Mon, 26 Sep 2005 19:28:26 +0900 "M. Takeyama(takezou)" wrote:

namazuの場合は、検索用データベース(インデクサ)は、 ファイルがあったものだけが更新されると思います。 ファイルが --- Ｘ ファイルの更新が --- ○

一番重要なところなので、フォロー。 --- M. Takeyama __________________________________ For All Sports Fans! http://pr.mail.yahoo.co.jp/yells/

M. Takeyamaです。 ＃横道モード On Mon, 26 Sep 2005 21:19:46 +0900 野宮　賢 / NOMIYA Masaru wrote:

野宮です。

In the Message;

Subject : Re: [suse-linux-ja] Re: rsync 2.6.3 Message-ID : <4337E54B316.91D6TAKEZOU040728@smtp.mail.yahoo.co.jp> Date & Time: Mon, 26 Sep 2005 21:10:51 +0900

[MTさん] == "M. Takeyama(takezou)" has written:

MTさん> > namazuの場合は、検索用データベース(インデクサ)は、 MTさん> > ファイルがあったものだけが更新されると思います。 MTさん> ファイルが --- Ｘ MTさん> ファイルの更新が --- ○

MTさん> 一番重要なところなので、フォロー。

どうも、です。m(_ _)m

確かに、namazu は、タイム・スタンプだけを見ているのですねぇ〜。 直感的に、namazuとrsyncとでは要求されていることが違うので いっしょに議論できないと思いました。

namazuで、ファイルの更新(タイムスタンプ)をみるところは 検索用データベース(インデクサ)作成・更新時のみのはずです。 検索対象の元ファイルをコピーしたりする必要はないので ファイルの整合性を取るなどのファイルの中身のCheckを それほど厳密にやる必要はない。 ＃正確な事を言うと、ファイルのサイズ、ファイルの種類(pdf,doc) ＃などはCheckはしていますけどね。 タイムスタンプが変更されているのを検知して、ファイルに 変更があったとみなしそのファイルのインデクサを再生成する だけで事たりるということでしょう。 ＃タイムスタンプが変更していないのに、中身が変わって ＃いるものは極めてイリーガルなケース。インデクサの更新 ＃対象から外れても別に良いぐらいのものじゃないでしょうか。 ＃namazuの場合だと、ファイル or ディレクリを指定して ＃強制的にインデクサの更新ができそうな気がしますけど... それにくらべて、rsyncは、ファイルのコピーが主目的で、 ネットワークごしにいかに効率良くやるかのプログラム ですから。 --- M. Takeyama __________________________________ For All Sports Fans! http://pr.mail.yahoo.co.jp/yells/

野宮です。 In the Message; Subject : Re: [suse-linux-ja] rsync 2.6.3 Message-ID : <4337CD4214A.3F38TAKEZOU040728@smtp.mail.yahoo.co.jp> Date & Time: Mon, 26 Sep 2005 19:28:18 +0900 [MTさん] == "M. Takeyama(takezou)" has written: MTさん> -a のオプションを指定した時点で、ファイル変更(ファイルスタンプが変更) MTさん> があっても, 追加変更あったファイルのみをコピーして同期をとるように MTさん> 指定しているということになるのではないでしょうか。 ヒントになりました。m(_ _)m -u を付けると、-c は効かなくあり、ファイルのタイム・スタンプのみに着目。 で、転送元のファイルのタイム・スタンプと転送先のファイルのタイム・スタンプ が同じ場合は、update しない、ということのようです。 つまり、man にある -u, --update update only (don't overwrite newer files) は、 -u, --update update only (overwrite older files only) と読むべきようです。 --- 野宮 賢 mail-to: nomiyac360@mg.point.ne.jp 「eメールや携帯電話に縛られた社会は、自分自身と向き合ったり、 空想にふけったりする自由を奪う。」 -- M. Crichton --

野宮です。 In the Message; Subject : Re: [suse-linux-ja] Re: rsync 2.6.3 Message-ID : <20050926233757.1415d2ef.knfeat@mbn.nifty.com> Date & Time: Mon, 26 Sep 2005 23:37:57 +0900 [KSさん] == "K.Suzuki" has written: 小生> > -u を付けると、-c は効かなくあり、ファイルのタイム・スタンプのみに着目。 小生> > で、転送元のファイルのタイム・スタンプと転送先のファイルのタイム・スタンプ 小生> > が同じ場合は、update しない、ということのようです。 小生> > つまり、man にある 小生> > 小生> > -u, --update update only (don't overwrite newer files) 小生> > 小生> > は、 小生> > 小生> > -u, --update update only (overwrite older files only) 小生> > 小生> > と読むべきようです。 KSさん> えーと、その場合でも自分の環境では同期処理してます。 KSさん> (同じタイムスタンプ ＆ 同じサイズ ＆ 転送元ファイル内容変更) KSさん> 自分の環境 or やり方がおかしいのかな？？？ :-/ そうですか.... -u を入れると -c が無視されるというのは、おかしいですよね。 KSさん> で、野宮さんが以前書かれていた 小生> >更新前のファイルと更新後のファイルのタイム・スタンプは、諸般の事情で、同一 小生> >に設定していますが。 KSさん> この設定を自分は touch でタイムスタンプを同一にしてるのですが、 KSさん> どのように設定されているのでしょうか？ ただ単に、namazu の mailutime で転送元のファイルのタイム・スタンプをメール の Date Field にあるものと一致させ、それをバックアップしているだけです。 KSさん> ＃因みに、自分が使用しているファイルシステムは XFS です 小生のは、ReiserFS です。 --- 野宮 賢 mail-to: nomiyac360@mg.point.ne.jp "Bill! You married with Computers. Not with Me!" "No..., with money."

M. Takeyamaです。 ＃まったく違う視点モード On Tue, 27 Sep 2005 02:05:20 +0900 "K.Suzuki" wrote:

何故、更新されない場合があるのだろうか？？ 本来、ファイルのコピーで確実性が求められている場面で、 rsyncのバグ or 使い方(オプション指定)というような 本質的な問題をちょっとだけ横においといて...

/home　のデータを /bkupに確実にコピーすることが目的 なので、 cd /home; tar cfp - *| (cd /bkup; tar xfp -) という手は使えないのでしょうか？ ローカルdisk上でのファイルコピーなんでデータ量は増えて も確実にバックアップが取れると思いますけど... ＃一時的な回避方法として、これではダメなのでしょうか？ --- M. Takeyama __________________________________ For All Sports Fans! http://pr.mail.yahoo.co.jp/yells/

野宮です。 In the Message; Subject : Re: [suse-linux-ja] Re: rsync 2.6.3 Message-ID : <20050927020520.5b8113a3.knfeat@mbn.nifty.com> Date & Time: Tue, 27 Sep 2005 02:05:20 +0900 [KSさん] == "K.Suzuki" has written: KSさん> 一応、自分の環境でも ReiserFS 3.6 のファイルシステムを作成して同じテストを KSさん> してみましたが結果は変わりませんでした。(同期処理されました) KSさん> 何故、更新されない場合があるのだろうか？？ どうも、です。m(_ _)m やはり、-acuv だと c より update が優先されるようです。 -acov だと問題無く update されます。 Suzukiさんは、 rsync -acuv .... というオプションで実行されているのでしょうか？ --- 野宮 賢 mail-to: nomiyac360@mg.point.ne.jp 「私たちが今日直面している化学物質の危険性に関する疑問に対し、通常の 科学的な正確さをもって答えようとすれば、たぶんさらに数十年を要するで あろう。」 -- J. V. Rodricks --

野宮です。 今井さん、どうも、です。m(_ _)m In the Message; Subject : Re: [suse-linux-ja] Re: rsync 2.6.3 Message-ID : <200510021704.01312.maimai@coral.ocn.ne.jp> Date & Time: Sun, 2 Oct 2005 17:04:00 +0900 [今井さん] == Masaru Imai has written: 今井さん> -oオプションは-aオプション指定すると含まれるはず(man rsync)な 今井さん> ので、指定する必要は無いはずです。 そうなんですよねぇ〜。。 確かに、man には、-a は、rlptgoD を含む、と書いてあります。 参考にしたのが、 http://www.mediaweb.biz/database/backup/rsync.html でして、何故か、rync -acov ... と書かれてあるものですから、？と思いつつも rsync -acov .. としていました。^^;; それと、ちょっと見回してみましたが、rsync -acuv ... と書いたHPは無いですね？ 何故、こうやったのか.... (_ _? 今井さん> 私の場合、ネットワーク経由で使うので、もっぱら使うのは 今井さん> rsync -av -e ssh ..... 今井さん> ですね。 今井さん> マシンに余力？のある場合(使ってる32bitマシンではそれだけの余裕 今井さん> は無い様だけど)には 今井さん> rsync -avz -e ssh ..... 今井さん> ですね。 -c はご不要なんでしょうか？ 今井さん> 私の場合rsync動かそうとする場合には、rsync以外のプログラムから 今井さん> ターゲットに手を加える様なことは避けます。 今までは、一時凌ぎでやり、テストは、全く違うメディアでやっていました。 どうも、rsync -acv .... で良さそうなので、ターゲットをざっくり削除して rsync を動かすこととします。 今井さん> ターゲットを変更してしまうと、場合によってはターゲットの方が常に新 今井さん> しくなってしまって野宮さんが直面されている様な問題が生じやすいで 今井さん> すから。 ご忠告、有難うございます。m(_ _)m --- 野宮 賢 mail-to: nomiyac360@mg.point.ne.jp "Bill! You married with Computers. Not with Me!" "No..., with money."

K.Suzukiです。 On Sun, 02 Oct 2005 16:39:37 +0900 野宮　賢 / NOMIYA Masaru wrote:

野宮です。

In the Message;

Subject : Re: [suse-linux-ja] Re: rsync 2.6.3 Message-ID : <20050927020520.5b8113a3.knfeat@mbn.nifty.com> Date & Time: Tue, 27 Sep 2005 02:05:20 +0900

[KSさん] == "K.Suzuki" has written:

KSさん> 一応、自分の環境でも ReiserFS 3.6 のファイルシステムを作成して同じテストを KSさん> してみましたが結果は変わりませんでした。(同期処理されました)

KSさん> 何故、更新されない場合があるのだろうか？？

どうも、です。m(_ _)m

やはり、-acuv だと c より update が優先されるようです。 -acov だと問題無く update されます。

-a は -o を含んでいると思うのですけれど．．．( -a = -rlptgoD ) ＃ オプションの優先度に関して、man rsync とか Google で rsync のページを検索 ＃ しているのですけど、その辺をはっきり書いたページが見つからない．．．

Suzukiさんは、

rsync -acuv ....

というオプションで実行されているのでしょうか？

はい。 # rsync -acuv --delete foo bar で実行しました。 しかし、自分の環境では問題の現象を再現する事ができませんでした。