GLOSSARY
robots.txt
（ろぼっつてきすと）robots.txtとは、クローラーのアクセス範囲を指示するファイルのことです。
ECでの使いどころ
絞り込みや並び替えでパラメータが付いたURL、検索結果ページ、管理用のディレクトリ。これらの巡回を制限し、重要なページに巡回を回します。
AIクローラーの扱い
AIサービスのクローラーについても、許可と拒否をここで示します。主要なAIサービスは、検索用と学習用でクローラーを分けています。たとえば OpenAI は、ChatGPT の検索に使う OAI-SearchBot と、学習に使う GPTBot を別々に設定できます。検索での引用は許可し、学習だけを拒否することもできます。
よくある質問
robots.txtでインデックスを防げますか？
防げません。インデックスの制御はnoindexで行います。
AIクローラーは拒否すべきですか？
方針次第です。検索用と学習用のクローラーを分けて設定できるサービスでは、検索での引用は許可し、学習利用だけを拒否する設定もできます。