meta name="ROBOTS" でクローラー制御

ウェブページに記載された情報は、検索エンジンのクローラーとよばれる巡回情報収集システムによって取得、格納そしてインデックスされます。この巡回経路は何の脈絡なくやってくるのではなく基本的にリンクを辿ってやってきます。
通常サイト内の情報は余すところなく伝えたいものですが、検索エンジンから来てほしくない、また検索結果にインデックスされたくない、という場面があります。
そのような時はmetaタグで制御します。

 

インデックス  | リンク先巡回  |           表記例
   ○     |   ○     | <meta name="ROBOTS" content="ALL">
   ○     |   ×     | <meta name="ROBOTS" content="INDEX,FOLLOW">
   ○     |   ○     | <meta name="ROBOTS" content="INDEX,NOFOLLOW">   
   ×     |   ○     | <meta name="ROBOTS" content="NOINDEX,FOLLOW">
   ×     |   ×     | <meta name="ROBOTS" content="NOINDEX,NOFOLLOW">
   ×     |   ×     | <meta name="ROBOTS" content="NONE">