GLOSSARY

クローラー

（くろーらー）

クローラーとは、Webページを巡回して情報を収集するプログラムのことです。

巡回の起点

外部からのリンク、内部リンク、sitemap.xml。この3つが発見の経路です。どれもなければ、ページは存在しないのと同じになります。

サイトの規模が大きくなると、すべてのページが均等に巡回されるわけではありません。重複や不要なURLが多いと、重要なページの巡回が後回しになります。

メルカートでは、カテゴリを大・中・小の多段階で設定でき、公開したページはサイトマップXMLに自動で追加されます。クローラーがたどりやすい構造を管理画面から整えられます。

クロールされているか確認できますか？

Search Consoleのカバレッジレポートで確認できます。

クロールを制御できますか？

robots.txtで巡回範囲を指示できます。ただしインデックスの制御はnoindexで行います。