r o b o t s . t x tを効果的に設定しよう


アフィリエイト・アクセスアップを支援。

 r o b o t s . t x tを効果的に


クロールが不要な部分はrobots.txtで回避する

“r o b o t s . t x t”とは、検索エンジンにアクセスしクロールしてほしい部分と、そうでない部分を伝えるためのファイルです。
このファイルは必ず“robots.txt”というファイル名でサイトのルートディレクトリに置く必要があります。
Googleウェブマスターツールをご利用いただくと、r o b o t s . t x t ファイルを簡単に作ることができます。
詳細は、ヘルプセンターの r o b o t s . t x tファイルを使用してページをブロックまたは削除するをご確認ください。
サブドメインを持つサイトで、ある特定のサブドメイン内のページをクロールさせないようにするには、
そのサブド メイン用に別のr o b o t s . t x tファイルを用意する必要があります。
検索結果にコンテンツを表示させない方法は他にも、“NOINDEX” をrobotsメタタグに追加、.htaccessを使ってディレクトリにパスワードを設定、Googleウェブマスターツールを使ってすでにクロールされたコンテンツを削除するなどがあります。


User-agent: *
Disallow: /image/
Disallow: /search

Robots Exclusion Standardに準拠している検索エンジンのロボットすべ て(「*」というワイルドカードのシンボルで表現される)に対し、/image/ 以下にあるコンテンツ、もしくは/searchで始まるURLにあるコンテンツに、 アクセスもクロールもさせない場合の例


参照 : Google の検索エンジン最適化スターター ガイド



相互リンク募集相互リンクお問い合わせ