ウェブマスターフォーラム

Web 制作 (SEO, SEM, CSS, Web デザイン等) に関する話題を扱うフォーラムです。

新規ユーザー登録 | パスワードを忘れた

BeeOnTheWeb さんの履歴

リンク　：　フォーラム　|　Su-Jine　|　ブログ　|　HTML PING WORLD　|　ポイ探　|　広告について

★東京オフ会予定 3/1 (土)
★大阪オフ会予定 2/23 (土)
オフ会FAQ

ほかのユーザーから受けた評価が、ポイントとして加点・減点されていきます。高いポイントのユーザーからの評価ほど、受けたときの増減が大きくなります。ユーザー評価の目安として活用してください。

現在のポイント

23ポイント

最近作成したトピック

作成したトピックはありません

最近書き込んだレス

ウェブマスターフォーラム > SEO (検索エンジン最適化) > クローラの情報 >
No.5 - 2006年07月24日 9:13
BeeOnTheWeb （23ポイント）

Baiduspider+ は、ホストを変更してクロールを続行し始めた。
アクセスを拒否するには、User-Agent を指定する必要がありそう。(.htaccess)

ウェブマスターフォーラム > SEO (検索エンジン最適化) > クローラの情報 >
No.4 - 2006年07月20日 9:19
BeeOnTheWeb （23ポイント）

【 不良クローラ Baiduspider+ 】

User-Agent: Baiduspider+
発信元プロバイダ: China Network Communications Group

robots.txt を無視してクロールしまくる。
野放しにするのは資源の浪費。
中国からのアクセスを無視できるのなら、次の一行を追加すべし。
Deny from 202.108.

ウェブマスターフォーラム > SEO (検索エンジン最適化) > GoogleとYahoo! Japanの挙動不審について >
No.37 - 2006年06月30日 15:31
BeeOnTheWeb （23ポイント）

>No.35

Google で次の形式で検索してみると、Google に怪しまれるインデクスが見つかるかもしれません。

allinurl:http domain directory

domain, directory は、調べたいサイトのURLの一部です。ピリオドは空白に。http は省略可。

または、No.32 でも書かれているように、自己のサイトの主要なページに含まれる複数のキーワードを指定して、通常のキーワード検索で怪しいインデクスを丹念に探してみることでしょうか。

ウェブマスターフォーラム > SEO (検索エンジン最適化) > GoogleとYahoo! Japanの挙動不審について >
No.36 - 2006年06月30日 15:28
BeeOnTheWeb （23ポイント）

>No.34

hakata2.cgi による当方のサイトへのアクセスに気付いた直後に、HTTP 403 を返すように .htaccess を修正しましたが、その時点で既に数百ページが Google インデクスにキャッシュと共に保存されていましたので、手遅れだったようです。

Google が無効になったインデクス(=URL)を削除せず放置していることが、第一の問題です。
さらに、複数の場所で類似コンテンツを公開しているサイトに対するペナルティのロジックにも、粗雑な点がありそうです。

ウェブマスターフォーラム > SEO (検索エンジン最適化) > GoogleとYahoo! Japanの挙動不審について >
No.33 - 2006年06月29日 17:29
BeeOnTheWeb （23ポイント）

>No.32

早速のアドバイスに感謝します。

御指摘の通り、昨年４月頃から hakata2.cgi というプログラムにより当方のサイトの多数のページが動的に参照され、博多弁の表現に無断で改変されて、Google にキャッシュばされまくっとったとですよ。(笑!)

なんばしょっとか、責任取れや、と作成者にゆうてやりたかったとですよ。

昨年11月にアクセスログを見て気付き、問題のCGIはサイトから削除させたのですが、そのサイトの管理者はURL自動削除システムによるインデクス削除には応じませんでした。

Googleでのキーワード検索では、参照元の当方のページの方が類似ページとみなされ、無断改変ページのインデクスが優先して表示されるという実害が発生し、Google には無効となった hakata2.cgi 関連インデクスの一括削除を要請しましたが、現在も実行はされていません。

Google の hakata2.cgi 関連の無効インデクスは、未だに 177,000 件も存在します。
その中には、当方のサイトを引用したURLも数百件あります。
今も独自に、URL自動削除システムで一件ずつ削除要求を送信していますが、大変な手間です。
しかも、URL指定で検索しても一部のインデクスしか表示されないので、削除すべきURLを取得するにも歯痒い思いをしています。

無断改変ページとの共通点の多いページは現在の当方のサイトにも多くありますから、そのことが原因で Google にジャンク・サイト扱いされているのかもしれません。
ともかく、Google には半年以上前に上記の問題を通知しているのに、今も無効インデクスを放置しているのですから、あきれてしまいます。

最近受けた評価の履歴