BBRK 04-04-22
「はてなアンテナ」のデータ取得ロボットは、UAをフェイクする悪い子だ(笑)、というのを BBRK 04-04-07 で記事にしましたが、今回はどのくらいの頻度でデータ取得を行っているのかについて当サイトでの実測データを元にまとめてみました。
今回集計してはっきり判ったことですが、ページによって、ロボットのチェック頻度がずいぶん異なるということです。公式には はてな質問箱 はてなアンテナについて にて「現在1時間に1回の頻度でチェックをしています。」とアナウンスしていますが、全てのページがそうではない、ということですね。
サンプルとして、BBRK と 気になる新譜 をチョイス。はてなアンテナ関連サーバの東京移転後しばらく不安定だったりしましたが、安定稼働状態へ完全に遷移したと思われる今週頭 4/19〜21 の 3日間におけるアクセスログから集計。時間毎のアクセス数を計算し、表にしてみました。
まずは BBRK。
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 合計 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 4/19 | 2 | 2 | 3 | 2 | 3 | 0 | 4 | 3 | 1 | 5 | 0 | 2 | 2 | 4 | 0 | 2 | 1 | 2 | 1 | 2 | 1 | 2 | 0 | 0 | 44 |
| 4/20 | 0 | 2 | 0 | 2 | 0 | 1 | 2 | 2 | 0 | 2 | 0 | 1 | 3 | 4 | 3 | 1 | 3 | 1 | 4 | 2 | 0 | 4 | 0 | 2 | 39 |
| 4/21 | 0 | 4 | 0 | 3 | 0 | 2 | 1 | 2 | 0 | 2 | 0 | 2 | 1 | 2 | 0 | 2 | 0 | 3 | 1 | 5 | 1 | 3 | 2 | 0 | 36 |
| 平均 | 1 | 3 | 1 | 2 | 1 | 1 | 2 | 2 | 0 | 3 | 0 | 2 | 2 | 3 | 1 | 2 | 1 | 2 | 2 | 3 | 1 | 3 | 1 | 1 | 40 |
次に 気になる新譜（平均値は省略）。
| 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 | 14 | 15 | 16 | 17 | 18 | 19 | 20 | 21 | 22 | 23 | 合計 | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 4/19 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 1 | 0 | 0 | 5 |
| 4/20 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 6 |
| 4/21 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 5 |
この差はいったいどこから?
予想されるアルゴリズム
・そのページが登録されている「はてなアンテナ」の数が多いページほどチェック頻度が高い。
・更新頻度の高いページほどチェック頻度が高い。
アルゴリズムは未公開なため、この予想の検証は不可(笑)