ロボッツテキスト

ロボット型の検索エンジンのクロールを制御するためのファイルのことです。ファイルをドメイントップと同じ階層に置くことで、検索エンジンはまず最初にrobots.txtをクロールし、ドメイン内のページをどのようにクロールすべきか判断します。