弊社新規サイトを検索エンジンのロボットが拾ってくれない理由がわかりました。弊社サーバーにrobots.txtというファイルがルールと異なる位置に配置していたからです。
ルールでは、このファイルはルートディレクトリ（最上位のディレクトリ）に配置しておかなければなりません。
うちのサイトは、サブディレクトリに入れたあったために、検索ロボットが途中で巡回をやめてしまっていました。
新規サイトをサブディレクトリ（http://www.sinojimu.com/onlinekobo/)に入れるという判断をしてしまったために、結果的に検索エンジン対策としては通常より複雑な設定をしなければならなくなったわけです。
原因究明までに約5時間を費やしてしまいました。
しかし、サイト制作についての知識がだいぶ身についたような気がします。
ほかに、googleサイトマップの作成にチャレンジしていますが、これはいまだに成功しておらず、何度ためしてもエラー表示。
新規サイトをサブディレクトリにすると、要らぬ苦労をすることがよくわかりました。
ヘルプやマニュアルを読んでもサブディレクトリの場合については説明がないため自ら試行錯誤するしかありません。でもいまさら独自ドメインを取得する気は当分ありませんが。
とにかく（たぶん）googlebotやslurp対策は終わったようなので今日は安心して眠れそうです。1日1回は巡回に来ているようなので明日の結果が楽しみです。 |
