クローラーとは、検索ロボットやサーチボットとも呼ばれ、インターネット上の様々なウェブサイトを自動巡回して情報を収集し、検索用データベースやインデックス作成を担うプログラムのことを言います。 クローラ―はウェブサイトに埋め込まれているリンクを辿りながら、ウェブサイトの構造やキーワードに関する情報を収集します。収集する情報はテキストだけではなく、画像や動画も含め多数の情報を収集することが可能です。また、クローラ―がアクセスできる情報はデータベース化され、検索エンジン上で誰もが検索可能となります。そのため、機密性の高い情報をウェブ上で扱う場合にはアクセス権限を設定することが必要です。
また、ウェブサイトを検索エンジンの上位表示させるためには、クローラ―にサイトの巡回をしてもらい、インデックスを多く作成してもらう必要があります。クローラ―のサイトの巡回しやすさをクローラビリティといい、クローラビリティを向上させることはSEO対策でもあると言えます。
クローラビリティの改善
クローラ―はあくまでもロボットであるため、人間のように行間を読んでその質を理解するわけではありません。あくまでも、重要なキーワードやコンテンツのテーマを把握しようとしているのであり、またそのページ内のリンクをたどることでサイトを巡回していくため必ずしもすべてのページを巡回するわけではありません。重要なページにクローラ―を導くためにはサイト構造をわかりやすくすることや、コンテンツのカテゴリー分けする際にも配慮が必要です。
また、内部リンクをたどってクローラ―はサイトを巡るため、関連性の高いページに内部リンクを貼ることもクローラビリティを向上させるためには有効です。