AUD FAQ

Last-Update: $Date: 1998/09/04 19:46:08 $

自動更新検出のページについて 色々な情報をまとめておきました。 よろしければ参考にしてください。

[AUD Top Page] [金龍-R Top Page]

一般的な項目

自動更新検出(AUD)って何ですか?

いわゆるthe Webには、多くのページが存在します。 ユーザは気に入ったページを見つけると、 ブックマークなどに登録して、繰り返し閲覧します。 しかし、せっかく見に行ったのに更新されていないとがっかりしますし、 かといって更新された情報を見逃したくもないものです。

そこで、気に入ったページのうち、 最近変更されたものだけをリストアップする仕組みを考えました。 それがこの自動更新検出(以下AUD)の始まりです。

検出対象のページは?

現在の所、わたくし金龍-Rの好みにより、 以下のようなページを集めて、 更新検出対象ページとしています。
イラストのページ ( 対象ページ全リスト(バナー付) / テキスト版)
Webでイラストを公開している、 まんが家やイラストレータのページです。 イラストを公開しているページであれば、 作者がプロかアマかは問いません。 個人のページがほとんどですが、 イラストの公開などを積極的に行っているページであれば、 企業等のページであっても登録しています。
他の種類のページも追々まとめて登録することも考えてはいますが、 いまのところはこれだけです。

私のお気に入りページが登録されていないのだけど?

自動更新検出の対象ページに登録して欲しいページがありましたら、 URLを わたくし金龍へメールして下さい。

自薦・他薦を問わず、リクエストを歓迎いたしますが、 他薦の場合、 非公開のページやリンクを許可していないページなどのURLを お送りにならないようご注意お願い致します。

どういう仕組みなの?

いわゆる「ロボット」のように、 対象ページを一定期間毎に読んで、 前回の検査からの変更があれば、 更新があったとみなすようになっています。

なお、 「ロボット」の定義によりますが、 AUDは実際にはいわゆる「ロボット」ではありません。 つまり、指定したURL以外のページへ、 勝手にリンクを辿っていくというようなことはありません。

どの程度の頻度で動いていますか?

現在の所、土曜日と日曜日を除く、週日の朝10時ごろに、 毎日更新チェックを行っています。 なお、更新チェックは毎回ランダムな順序で行いますので、 各対象ページについて、正確に何時にチェックに行くかどうかは、 予想できません。

これらの定期的な実行とは別に、 場合によっては臨時の更新チェックを行うこともありえます。 これは主にメンテナンス上の理由によるものです。

[ページ先頭][この節の先頭]

主に利用者の方のための項目

更新検出結果はどのページで分かるの?

まず、更新検出結果の出力には2種類あります。 検出対象として登録してあるすべてのページが載っている「全リスト」と、 定期的な各更新チェックで、 更新されたとみなされたページだけが載っている、 各日時毎の「Daily Report」です。

また、この2種類のそれぞれについて、2つの形式のページが利用できます。 一つは対象ページのバナーなどを配した、グラフィック指向のページです。 もう一つは、そうしたグラフィックをなるべく使わないようにした、 テキストのみのページです。

最近のグラフィカルなブラウザを使う場合は、 多少「重く」なっても、 バナー付のページの方が見やすいかもしれません。 一方、テキストしか扱えないブラウザ(Lynxなど)や、 TABLEタグの処理に問題のあるブラウザ(Mosaicの特定の版など)では、 テキスト版の方が便利かもしれません。

以上の各ページは、 Daily Report Indexのページから 辿ることができます。

AUDのページにリンクを張っていいですか?

AUDの各ページは自由にリンクしてくださってかまいません。 ただし、各Daily Reportは、一定の日数が過ぎると自動的に消去されますので、 Daily Reportへのリンクは避けた方がよろしいかと思います。 おそらくリンクを張って便利なのは、次の場所のいずれかです。

http://www.alpha-complex.org/~kinryu/aud/
AUDのトップページ
http://www.alpha-complex.org/~kinryu/aud/out/
Daily Report Index
http://www.alpha-complex.org/~kinryu/aud/out/illust-all-g.html
イラスト関連の登録全リスト(バナー付)
http://www.alpha-complex.org/~kinryu/aud/out/illust-all-p.html
イラスト関連の登録全リスト(バナー無し)
また、次のようなバナーも用意しましたので、必要な方はご自由にお使い下さい。 以下のバナー画像については、本AUDへのリンクと共に使用する場合に限り、 常識的な範囲内で自由に複製・加工していただいてかまいません。
http://www.alpha-complex.org/~kinryu/aud/img/banner-m.jpg banner (middle size)
200x40 pixels, JFIF (Progressive JPEG) format
http://www.alpha-complex.org/~kinryu/aud/img/banner-s.gif banner (small size)
88x31 pixels, GIF format

更新検出結果はどういう風に読めばいいの?

対象ページが更新されたと見なされると、 "Modified"という表示とともに、 チェックした時刻が記載されます。 なお、この「時刻」は、AUDの動作開始時刻であり、 実際にページをチェックした時刻とは異なります。 もちろん、ページが実際に更新された日時とも異なります。 また、AUDに新たな対象ページが登録されると、 そのページは"New page"と表示されます。 以前から登録してあるページであっても、 URLが変更されたりすると、 "New page"と表示される場合があります。

"repeat count"というのは、 過去に何回連続「更新されたとみなされた」かを表します。 この値が大きいということは、 対象ページがほぼ毎日更新されていることを意味するのかもしれませんし、 実際には更新されていないのに、 AUDが誤ってアクセスカウンタなどに反応してしまっていることを 意味するのかも知れません。 なお、daily reportでは、 最も最近の2回以上のチェックで共に更新が検出できた場合のみ、 repeat countを表示します。 全リストでは、最も最近のチェック(1回以上)で更新が検出できれば、 repeat countを表示します。

"indirect"と表示されている場合、 更新検出対象としているページと、 出力結果のページに載っているリンクが、 同一URLでないことを意味しています。 例えば、 トップページ以外が検出対象として設定されている場合 であっても、リンクはほとんどの場合トップページのみへ張られるので、 そのような場合は、この"indirect"の状態になります。 この他、例えば「成年向け」のページが検出対象になっている場合、 リンクは直接そのページへ張らずに、 未成年者等への警告ページへ張られる場合があります。 このような時も"indirect"と表示されます。

"dynamic page"とか "static page"とか表示されているのは、 対象ページにアクセスカウンタなどの動的部分が含まれているかどうかの区別です。 "dynamic page"と書いてあれば、 AUDは対象ページに動的部分があると判断しています。 なお、アクセスカウンタがインラインイメージになっていて、 テキスト専用ブラウザなどではカウントされないような仕組みになっている場合は、 例えアクセスカウンタがあっても、"static page"とみなされる場合があります。 また、AUD側の特殊設定で動的部分をマスクしてしまっている場合にも、 "static page"と表示される場合があります。 普通に使う分には表示されても意味のない情報ですが、 AUDの挙動がおかしいと思う場合には、その原因を知る糸口となる場合があるので、 管理者の都合で載せています。

更新検出結果はどんな順に並べてある?

「全リスト」では、最近更新されたページほど、 リストの先頭に近くなるように並べられています。

「全リスト」と「Daily Report」のどちらのページでも、 repeat countが小さい方が先頭に近くなります。

更新日時もrepeat countも同じなら、 各ページは主にURLで決まる一定の順序で並びます。 実際のルールはややこしいのですが、 直感的には、URL中の"~"に続く 文字列(多くの場合、ページの作者のユーザ名)の 辞書的順序で並べられていると思っていただけば良いかと思います。 URLに"~"が含まれていない場合なども、自動的にそれなりの判断で、 それに近い文字列を取り出して、順序を決めます。 自動処理なので、URLによっては間違う場合もあります。

同じページが複数並んでることがあるけど?

トップページだけでは更新状況が分からない場合に、 トップページ以外のページを更新検出対象として設定する場合があります。 このようなときには、 一見同じページが複数並べて出力されているように見えることがあります。

なお、トップページ以外が更新検出対象になる場合があると言っても、 トップページ以外へのリンクが勧められていない場合は、 検出対象に関わらず、リンクは常にトップページへと張られます。 また、トップページがフレームを使用していて、 更新検出対象としてフレーム内のページを指定している場合なども、 混乱を避けるために、リンクはトップページのURLへ張っています。

日記の更新が検出されてないみたいだけど?

日記の更新については、 意図的に更新とみなさないように設定してある場合があります。 「日記」というくらいでほぼ毎日更新されるので、 それを毎回更新とみなしてしまうと、 更新検出の出力として有用性が減じてしまうと考えるからです。 毎日更新されると分かっているなら、 更新検出の結果をみるまでもなく、 毎回読みにいけばいいということになってしまいますよね?

同様に、BBSなどについても、 頻繁に「書き込み」が行われる場合は、 更新とみなさないように設定する場合があります。

念のためお断りしておくと、 決して、日記やBBSの内容を軽視しているというわけではありません。

対象ページの分類や紹介文などは記載しないのですか?

「AUDって何ですか?」の項目に書いた通り、 「いきつけ」のページが対象になっているという発想ですので、 タイトルやバナーを見れば、 それがどんなページかは「思い出せる」と仮定しています。 そういうわけで、対象ページを内容によって細かく分類したり、 紹介文を書いたりということを敢えてしていません。

とはいえ対象ページが多くなってきたり、 多くの方がAUDのページを閲覧してくださるようになってくると、 より細かい分類や紹介文なども必要なのかなあとも思ってきています。 もしリクエストやご意見などありましたら、 当方までお知らせ下さい

何日かDaily Reportに載らなかったのにrepeat countが増えている

通常は更新がないと見なされた時、repeat countは0にリセットされます。 更新を見つけたらDaily Reportに載るので、 Daily Reportにないのにrepeat countが減らない場合があるのは、 一見おかしな動作に見えます。 しかしこのようなことは時たま起ります。

これはどういうことかというと、 更新チェックのために対象ページを転送しようとした時に、 エラーが発生したりしたために、 「更新があった」とも「更新がなかった」とも 言えない状態が発生したということです。 現在の実装では、このようなときにrepeat countはそのままリセットされません。 ですから、次にエラーなく転送に成功し、しかも更新が発見されれば、 repeat countが増えた状態で載ることになります。

もともとrepeat countは、 アクセスカウンタなどに不必要に反応していないかどうかを 確認する目的で計測しています。 もしかするとエラーの場合はrepeat countをリセットするように 変更すべきなのかも知れませんが、 混んでいるなどでエラーの多いサイトのページに対して、 この確認機能が働かなくなるのも困ります。 そういうわけで、現状ではエラーの際もrepeat countはリセットされません。 ご了承下さい。

[ページ先頭][この節の先頭]

主に検出対象ページの作者の方のための項目

対象ページのサイトに負荷がかかったりしない?

AUDが多くの検索ロボットなどと違うのは、 対象ページとして設定したページだけしか見に行かない点です。 対象ページからリンクされた別のコンテンツは、 例え同じ作者の同じサイト内のページや画像であっても、 一切見に行きません。

検出対象ページはほとんどHTMLによるテキストであり、 そうしたデータは多くの場合それほど大きくありませんから、 対象ページのあるサイトに大きな負荷をかけるなどということは無いと 作者は考えています。

なお、バナーが登録してあるページについては、 約10日間に1度程度の頻度で、 バナーとなっている画像ファイルを見に行くようにしてあります。 通常、バナーはデータ自体小さく作ることがほとんどだと思いますので、 定期的に取り出したとしても、 この程度の頻度ではほとんど負荷とはみなされないであろうと期待しています。 実際この程度の頻度であれば、 通常のブラウザによる参照の負荷と比べて、 極めて小さいと見なせると思っています。

登録してあるはずなのにバナー無しになることがあるけど?

登録してあるバナーについては、 約10日間に1度程度の頻度で、 を自動的に調べるようにしてあります。 このチェックで、長い間バナー画像を読出せない状況が続くと、 バナーが登録してあっても、 リストにバナー無しで載ることになります。

なお、画像の縦横のサイズを調べるのは、 そのサイズをリストのIMGタグのWIDTH, HEIGHT属性に設定しておくためです。 これがないと、多くのブラウザでリストの表示が極端に遅くなってしまいますので。

AUDの検索を見分けるには?

検出対象のページを運営している方が、 通常のブラウザなどによるアクセスと、 AUDによるアクセスを見分ける方法について説明します。

AUDは主にHTMLページを取得して更新検出を行う部分と、 バナー画像を取得して大きさを記録する部分に分かれます。

前者については、HTTPのrequest headerの"Agent"として、 httpchkdiff/versionを用い、 後者ではhcdbanners/versionを用います。 versionの部分は、それぞれ適当なバージョン番号が入ります。 AUDプログラムのバージョンアップに従って、 これらのバージョン番号は変更される場合があります。

もしAUDによる検索を見分ける必要がある場合には、 上記の情報を使うことができます。 例えば、AUDによるアクセスをアクセスカウンタに含めないなどというような 使い方ができるかと思います。

しかし、AUDによる検索に対してのみ異なる情報を返すとか、 あるいは接続を拒否するなどというような設定を行うのでしたら、 どうかその前に 当方までご連絡ください。 (Agentを見て拒否するくらいでしたら、登録削除しますので。)

なお、AUDはいわゆる「ロボット」ではありませんので、 robot.txtは読みません。

[ページ先頭][この節の先頭]

その他の項目

以前SaiNetで動かしていたバージョンとどこが違うの?

主な変更点は次のようなものです。

アクセスカウンタなどの動的部分を自動的に見分け、 通常の更新とは見なさないようになった。
以前は各々のページについて、 アクセスカウンタ部分を人手で特定して、 更新とみなさないような設定をしていました。 このため、対象ページのアクセスカウンタまわりの設定が変わると、 こちらの設定を修正するまで、 アクセスカウンタを毎回更新とみなしてしまうという不都合がありました。 新しいバージョンになって、ほとんどの場合のアクセスカウンタについて、 自動処理されるようになり、管理者としては大変楽になりました(はず?)。 ただし、この自動識別は、まだ完全とはいえませんので、 相変わらず自動的に見分けられない場合も有ります。 もしそのような状況を見つけたら、 個別に設定をしますので、 メールでお知らせ下さい
出力結果がバナー付になった。
特にイラスト関係のページでは、 バナー付になって識別性が格段に上がったと思います。
プログラムの名前が変わった。
以前のプログラムの変更ではなく、 まったく新たに書き起こしたので、名前もちょっと変わりました。 普通に利用する分には関係ないことですが、 検出対象ページでHTTPのAgentヘッダなどを調査している方は、 気付くかも知れません。
動いている場所が違う。
www.alpha-complex.orgに居候して動作させていただいております。 「奉仕の会」代表 チャイナ-U様に感謝します。

[ページ先頭][この節の先頭]

[AUD Top Page] [金龍-R Top Page]


Last-Update: $Date: 1998/09/04 19:46:08 $
Kinryu-R <kinryu@alpha-complex.org>
(C) Copyright 1998. Kinryu-R. All rights reserved.