ウェブマスターフォーラム

Web 制作 (SEO, SEM, CSS, Web デザイン等) に関する話題を扱うフォーラムです。

新規ユーザー登録 | パスワードを忘れた

テーマ : ウェブマスター雑談

★東京オフ会予定 3/1 (土)
★大阪オフ会予定 2/23 (土)
オフ会FAQ

何でも OK。愚痴、自慢など。(ディスクスペースのことも考えて書き込んでくださいね)

トピック : どこからもリンクが貼られていないのにインデックス

誰や！クロールしたんは！

次の古いレス20件 << 最新のレス20件 >> 次の新しいレス20件

No.1 - 2006年03月23日 05:24 報告者（44ポイント）: Su-Jineさんのブログに、どこからもリンクされていないのにインデックスされたことについて記載されていました。
僕のところもそうなんですよ。
どこからもリンクされていない、
登録申請もしていない、
そういうページがインデックスされてしまいました。
それが管理用のページだから大変です。
インデックスされることはないはずだと思って、ログイン認証なしの管理画面を作っていたのですが、
インデックスされてしまったので大慌て。
即行でログイン認証を追加しました。
そして、noindex,nofollowのメタタグも追加。
ちなみに、index.htmlファイルと同じディレクトリに置いてある
管理画面のファイルですので、ディレクトリの中身を直接
見られてクロールされたとは思えません。

Apacheを使ってるのですが、Apacheにそんな機能があるのかな？
・・・まさかね

あと思い当たることといえば、会社からのアクセスのときに
Proxyサーバを経由していることだけ。
ProxyサーバがキャッシュしたファイルをGoogleがクロール
してる？？
そうだとしたらかなりのセキュリティ問題。
僕の管理画面だけで済む問題じゃありません。

それとも、パスワードのクラックみたいに、URLを自動生成
して何回も存在チェックされてる？？
・・・まさかね

他の人もこんな経験ないですか？
No.2 - 2006年03月23日 10:00 terra-natal （48ポイント）: 私が管理しているサイトではApacheのアクセスログをHTML形式で閲覧できる仕組みを導入しています。

ここのRefererを見ると企業や役所のイントラネット、個人のウェブメール、mixiなど、外部からアクセスできないところからのrefererがたくさんあります。googleで検索してみると、こういったアクセスログが公開されているところもあるようです。

これらのプライベートの領域からのrefererはアクセスしても認証やアクセス制限ではじかれますが、何も制限がないと入れちゃいますね。

報告者さんの管理画面がどこかのアクセスログのrefererに足跡を残している可能性はありませんか？
No.3 - 2006年03月23日 11:29 報告者（44ポイント）: ＞terra-natal様
＞報告者さんの管理画面がどこかのアクセスログのrefererに足跡を残している可能性はありませんか？

まさにその通りです！
それしか考えられませんね。

僕の書いた管理画面というのは、相互リンクの管理画面です。
その画面には相互リンクの相手先のリンクがあります。

今思えば、うかつにも、管理画面上のリンクをクリックしたことが
何回かあります。
相互リンク先の中には、逆アクセスランキングをやっているところ
がいくつかあります。
きっと、それに記録されているリンクが拾われたのでしょう。

嬉しいので評価を「最高」にさせて頂きました。

ありがとうございました。
No.4 - 2006年03月23日 11:35 terra-natal （48ポイント）: 解決して良かったです。

2chなんかもリンクをクリックすると、referer”ロンダリング”のためか、いったん別ページに誘導されますね。どの板からのリンクかを隠蔽するのが目的なのでしょうか。書き込みでも「 http:// 」と書かずに「 ttp:// 」と書いて、refererを見えなくする書き方が「マナー」になっているようです。

さらに朝日新聞なんかもurlを表記するときもわざと全角英字にしてますが、これはアドレス収集ロボット回避のためでしょうか。

どこもいろいろと工夫しているようです。

次の古いレス20件 << 最新のレス20件 >> 次の新しいレス20件