クロールバジェットとは、Googleのクローラーがクロールするページ数と時間のことです。
サイトごとに与えられ、ページランクが高いほど大きなクロールバジェットを得ることができるといわれていますが具体的な数字は明示されていません。
重要で新鮮なコンテンツを含むサイトをいち早く検索結果に載せたいGoogleの狙いにより、トップページからクロールされる傾向にあります。
そのため下層ページやページランクの低いサイトはクロールされづらい面があります。
上質で鮮度の高いコンテンツを増やす、良質なリンクを獲得するなどのサイト価値そのものを高める施策が有効です。
また、サイト内の類似ページを減らす、並び替えやサイト内検索結果ページすべてがインデックスされないようにするなど、サイト設計を見直すことでクローラーが効率的にサイト内をクロールできるようになり、その結果クロールバジェットを節約するという方法も考えられます。