r o b o t s . t x tを効果的に設定しよう

　r o b o t s . t x tを効果的に

クロールが不要な部分はrobots.txtで回避する

“r o b o t s . t x t”とは、検索エンジンにアクセスしクロールしてほしい部分と、そうでない部分を伝えるためのファイルです。
このファイルは必ず“robots.txt”というファイル名でサイトのルートディレクトリに置く必要があります。
Googleウェブマスターツールをご利用いただくと、r o b o t s . t x t ファイルを簡単に作ることができます。
詳細は、ヘルプセンターの r o b o t s . t x tファイルを使用してページをブロックまたは削除するをご確認ください。
サブドメインを持つサイトで、ある特定のサブドメイン内のページをクロールさせないようにするには、
そのサブド メイン用に別のr o b o t s . t x tファイルを用意する必要があります。
検索結果にコンテンツを表示させない方法は他にも、“NOINDEX” をrobotsメタタグに追加、.ｈｔａｃｃｅｓｓを使ってディレクトリにパスワードを設定、Googleウェブマスターツールを使ってすでにクロールされたコンテンツを削除するなどがあります。

例
User-agent: *
Disallow: /image/
Disallow: /search

Robots Exclusion Standardに準拠している検索エンジンのロボットすべ て（「*」というワイルドカードのシンボルで表現される）に対し、/image/ 以下にあるコンテンツ、もしくは/searchで始まるURLにあるコンテンツに、 アクセスもクロールもさせない場合の例

参照　：　Google の検索エンジン最適化スターター ガイド