ウェブマスターフォーラム

Web 制作 (SEO, SEM, CSS, Web デザイン等) に関する話題を扱うフォーラムです。

新規ユーザー登録 | パスワードを忘れた

テーマ : SEO (検索エンジン最適化)

★東京オフ会予定 3/1 (土)
★大阪オフ会予定 2/23 (土)
オフ会FAQ

SEO (検索エンジン最適化) に関する話題を扱います。

トピック : Yahoo! China?

YST! のクローラは共通では？

次の古いレス20件 << 最新のレス20件 >> 次の新しいレス20件

No.1 - 2005年11月26日 09:17 Su-Jine （10ポイント）: 本日ログを見ていると、UA に次のような文言が。

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

ホスト名は

lj9014.inktomisearch.com

です。UA に China とあるんですよね。中国の YST は共通のデータベースを使っていないと言うことですかねぇ。非常に効率が悪いような気がしますが。
No.2 - 2005年11月26日 19:31 アロマ（10ポイント）: はじめまして！初心者のアロマと申します。
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)ですが、
私のサイトには、2005/11/17(木)から毎日ログが残っています。
ホスト名は
lj9018.inktomisearch.com
lj9021.inktomisearch.com
lj9107.inktomisearch.com
lj9110.inktomisearch.com
lj9116.inktomisearch.com
です。
Su-Jineさんのサイト（SEO対策意見交換掲示板）で「SSIを利用したアクセス解析」を知り、導入したばかりです。
クローラが毎日、こんなに多種・多数、私のサイトを訪れているとは、知りませんでした。
まだ、分析・理解はできていませんが、ご報告まで。
これからも、このサイトで勉強させていただきたいと考えております。
よろしくお願いいたします。
No.3 - 2005年11月28日 14:47 orca （10ポイント）: 私のサイトにも2005/11/17から来ています。
2005/11/17から2005/11/27までに確認できたユーザエージェントが
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
のものは、
lj9001.inktomisearch.comから
lj9149.inktomisearch.comまでのホスト名の範囲で以下のものを除いたものです。

lj9005.inktomisearch.com
lj9016.inktomisearch.com
lj9018.inktomisearch.com
lj9020.inktomisearch.com
lj9022.inktomisearch.com
lj9029.inktomisearch.com
lj9038.inktomisearch.com
lj9055.inktomisearch.com
lj9069.inktomisearch.com
lj9081.inktomisearch.com
lj9118.inktomisearch.com
lj9132.inktomisearch.com
lj9139.inktomisearch.com

これらのユーザエージェントは今まで通り
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
のままのようです。
No.4 - 2005年12月05日 10:40 Su-Jine （10ポイント）: 72.30.177.12 と言う IP アドレスのクローラによるアクセスがありました。この IP アドレスは逆引きできないですね。

あと、↓のようなクローラも最近うろちょろしているようです。
Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
No.5 - 2005年12月26日 16:40 BeeOnTheWeb （10ポイント）: 【Slurp China の問題点】

一言でいって、とにかくしつこい。
中国の yahoo.com.cn が、日本語で書かれたサイトを執拗にクロールする理由が理解できない。
ユーザーの為でなく、国策上の活動なのだろうか。

yahoo.com とは独立にクローラーを運用するのなら、/robots.txt で
| User-agent: Slurp China
| Disallow: /
とでも指定することでクロールを拒否できることが必要だと思うが、現状では、これを書くと yahoo.com の Slurp までがクロールを止めてしまう。

.htaccess でIPアドレスを指定してHTTPステータス"403"を返すように設定しても、お構いなしにクロールが繰り返されている。

Slurp China の迷惑な振る舞いは、いつになったら止むのやら。

次の古いレス20件 << 最新のレス20件 >> 次の新しいレス20件