Googlebot（グーグルボット）とは、Googleのロボットの一つであり、インターネット上の無数のウェブページをクロールしてデータベース化する役割を担っています。クローラ―、あるいはスパイダーなどと呼ばれることもあります。Googleの検索結果に表示されるためには必ずこのGooglebotにクロールしてもらう必要があります。Googlebotにウェブページを読み込まれ、Googleのサーバーに保存されることを「キャッシュされる」、またキャッシュされたものが検索結果に表示されることを「インデックスされる」と言います。
Googlebotのクロールの方法
Googlebotがクロールを行う時、クロールしたウェブページでURLリストを作成していきます。そして、その作成したURLリストにあるウェブページをGoogleの決めたアルゴリズムに基づいてクロールしていきます。インデックスがいつまでもされないウェブページはGooglebotにクロールを一度もされていないということになります。
例えば、無料のブログサービス等を使用してブログを作成した場合には、サービスの提供源であるウェブサイトからのリンクを通じてGooglebotが来てくれることになります。しかし、独自のドメインを作ってウェブページを作成した場合にはそのページにたどり着くためのリンク元がなければGooglebotがそのページにアクセスすることは不可能なのです。新たに作成したウェブページ外から被リンクを受ける、もしくはウェブマスターツールにサイトを登録してサイトマップを送信する等の対策がGooglebotにクロールしてもらうためには必要です。
また、すでにインデックス化されているウェブページであっても、ほとんど更新のないページよりも更新を定期的に行うことページのほうが多くクロールされやすいと言われています。