ロリポップ・レンタルサーバーのYahoo!対策

インデックスされるためには

はじめに

日本で最も有名な低価格レンタルサーバーと言えば、おそらくロリポップ!でしょう。そのロリポップ!に関する評判でよく目にするのが、「ロリポップ!で運営しているサイトは、Yahoo! にインデックスされにくい」と言うものです。当サイトもロリポップ!で運営しているので、その評判が気にかかり、原因と対策を調べてみたところ、「ロリポップが用意しているエラーページに原因があるのでは?」という結論に達しました。

原因

ロリポップ!サーバー内で存在しないページにアクセスすると、ロリポップが用意しているエラーページの http://err.lolipop.jp/404.html が表示されます。一見問題は無いようですが、HTTP ステータスコードを確認すると、一旦"302 Moved Temporarily(ページが一時的に異なる URI に移動)"で応答してから"404 Not Found(ページが見つかりません)"を返しています。

理由

さて、検索エンジン・ロボット(インデックスクローラー)がサイトをクロールする際は、必ず最初に robots.txt にアクセスします。robots.txt が設置されていない場合は、先述の通り302リダイレクトされます。robots.txt は「そのサイト内」のアクセスを制御するファイルなので、通常 robots.txt のみが移転することはありません。robots.txt が別の URI に移転するということは、サイト全体が一時的に移転したと検索エンジン・ロボットが認識してもおかしくありません。そのためサイトが跡地扱いされ、インデックス数の減少が起こるのではないでしょうか。

対策

上記のどちらか、できれば両方の対策をとることで、Yahoo! にインデックスされるページ数が増えると考えています。

robots.txt を設置する

robots.txt とは検索エンジン・ロボットを制限する設定ファイルです。アクセスを制限したいコンテンツが特にない場合は、ファイル名が robots.txt のテキストファイルをルートディレクトリにアップロードます。

検索エンジンにインデックスされたくないコンテンツがある場合は、Google ウェブマスター向けヘルプセンターの「robots.txt ファイルでサイト アクセス管理をするにはどうすればよいですか」を参考に robots.txt を作成しましょう。

自前のエラーページを用意する

そもそも、エラーページが他ドメインにあるのは非常に不自然な状況です。302リダイレクトを挟まずに自ドメインでエラーが表示できる自前のエラーページを設置することを強くおすすめします。

ロリポップ!オンラインマニュアルの「エラーページの変更」で自前のエラーページを設置する方法が懇切丁寧に解説されているので、それを参考にエラーページを作成しましょう。

エラーページ用の HTML ファイルを作成するのが面倒な場合は、当サイト別エントリーの「ロリポップ!サーバーのエラーページをお手軽に変更する」を参照してください。

さいごに

これらの対策は推測に基づいているので、効果があるとは限りません。あしからず。

追記

SlurpConfirm404 とは?

サーバーのログを確認していると、/SlurpConfirm404/ランダムな文字列.htmに Yahoo! Slurp (IP アドレス確認済み)がアクセスしているのを発見しました。「confirm 【確認する】404」ということは404エラーページのレスポンスを検証してるのでしょう。

わざわざこんなクローラーを走らせていることからも、HTTP エラーページで正しいステータスコードを返す重要性がわかります。

Live Search(MSN)の場合

ロリポップ!は Live Search(MSN) でも障害が起きているようです。ロリポップ!公認サポート掲示板の「MSN 検索での URL 表示」に、その件に関してロリポップ!に問い合わせをした方の書き込みがありました。それには、「robots.txt」を設置されていない場合、検索サイト様で利用されているクローラーが正常に確認を行えず、登録及び処理が正常に終了しない場合があるようです。という返事があったと書かれています。

おそらく Yahoo! でも同じ障害が起きてインデックスが減少しているのでしょう。本文で触れた内容が関係しているのか否かはわかりませんが、とりあえず robots.txt を設置することによる効果はあるようです。設定の修正、変更を検討させて頂きますとも書かれていますが、いつになるかわからないので、取り急ぎ robots.txt を設置しましょう。

それにしても2006年の YST 弾きといい、今回の件といい、ロリポップ!は検索エンジンがらみのトラブルが多いですね。これでまた、ネットでの評判が良いさくらインターネットに流れる人が増えそうです…。

今回のレシピ

ロリポップ!
初心者にやさしい格安料金のレンタルサーバーです。月額は、なんと263円から。選べるドメインは80以上、CGI も使える、定番サーバー。
Yahoo! JAPAN
掲示板、オークションなどの参加型コンテンツを多数擁する、総合ポータルサイト。
前の記事:
ガールズトーク!
次の記事:
クリック保障型のAPI

カテゴリー

サイト内検索

おすすめアイテム

ページの先頭へ戻る