クローキングとは、Google等の検索エンジンのロボット(クローラー、クローラ)からのアクセスと人間のユーザーからのアクセスのそれぞれに別のページを表示する手法を言います。ウェブ上にアクセスする際に、ユーザエージェント情報が送信されます。その情報によりクローラか一般のユーザーなのかを判別し、クローラであった場合に別のページを用意しておいて、そのページを出力することで検索エンジンでの上位表示につなげることが可能になります。しかし、クローキングはスパム行為とみなされる可能性があるため、その時にはインデックスからの削除等のペナルティが課されることがあります。

クローキングの手法

検索エンジンはウェブサイトを評価する際、たとえばテキストが主でキーワードの比率が高いことや、Flash等を多用したページよりもHTMLの構造がシンプルなウェブページを好むことが知られています。そのため、クローキングの手法としては、クローラにはHTMLテキストページを表示し、一般のユーザーには画像やFlash等を活用したページを表示する方法や、クローラであった場合にのみページにテキストやキーワードを挿入するようにするなどといった方法があります。

いずれにしても、上述したように検索エンジンがこれらの行為をスパムとみなし、ペナルティが課されることがあるため、SEO対策として実施されるケースは少ないです。