クロールの予算とは

SEOコミュニティで今日よく言われている用語はクロール予算です。 翻訳すると、「予算の追跡」と解釈されます。 これはまれな中間点ですが、これはSEO領域では非常に古い概念です。

大規模なeコマース、コンテンツポータル、SEOスペシャリストなどの大規模なプロジェクトに携わる人々は、Googleが特定の日にWebサイトのページを読み取るのに費やす時間としてクロールの予算を理解しています。

コンテンツインデックス

GoogleクローラーがWebサイトのページを読み取るのにかかる時間です。 しかし、今回はクローラーがWebサイトに費やす時間は、 いくつかの要因によって異なります。 Webサイトの権限、重複コンテンツの割合、ページエラーなど、さまざまなものがあります。

ただし、Googleの公式ウェブマスターブログによると、このクロール予算の問題について誰もが心配する必要があるわけではないとのことです。 つまり、数十ページのウェブサイトを所有している場合、Googleが問題なく実行するため、このページクロールの質問について心配する必要はありません。

ただし、数千ページのオンラインストアやその他のウェブプロジェクトがある場合は、細心の注意を払い、ウェブサイトに関するクロールの予算を最適化する必要があります。

クロールバジェットとWebポジショニング

グーグルから彼らは、クロール予算がポジショニングに影響を及ぼさないが、それにもかかわらず、検索エンジンでランク付けする200を超える要因のその他に悪影響を及ぼし、時にはそれを否定する可能性があることを認めます。

しかし、なぜGoogleにWebサイトのページを何度もクロールさせたいのでしょうか。 一方、適切なクロール予算を設定すると、ランキングにおけるウェブサイトのページの全体的な位置が改善され、 オーガニックトラフィックが増えることを確認するSEOエキスパートが何人かいます 。

基本的に、Googleは世界中の各サイトに費やす時間を決定する必要があるため、サイト内で一定の時間を費やす必要があります。そのためには、Googleができるようにするための同時接続数を計算する必要があります。あなたのウェブサイトのページを読んでください。

ウェブサイトの質

Googleは、ウェブサイトに接続し、これらのページを読み、この読み取りを停止するために時間を費やしています。 これを1日を通して繰り返しますが、時間の割合は常にあります。 この時間の割合は、通常、ウェブサイトの権限 、新しいページの数、Googleとの関連性に比例します。

これは、コンテンツの質とサイトを指すリンクによって与えられます。つまり、多くの質の高いリンクを指している場合、Googleがより質の高いものとして理解し、ウェブサイトにより多くの時間を費やしている可能性があります。大量のページ。

一般に、 10、50 、または100ページのサイトでは、 クロールの予算に大きな変化はありません。そのため、数ページでは大きな違いはありません。 ただし、大規模なサイトの場合、Googleが1秒以内にサイトを読み、何を読むかを指示すると、クローラーにとって非常に役立ち、クロールタスクをより迅速に完了できます。

重要なページであるセット

まず、サイト情報のより体系的なアーキテクチャを作成し、不要なページを特定し、 robots.txtファイルをチェックして特定のページをインデックスに登録しないようにする必要があります。

Googleは、ウェブサイトの検索セクションや、たとえば靴のサイズ、アパートのサイズ、または靴のサイズを選択できるオンラインストアのように、フィルターナビゲーションがあるセクションに時間を費やすべきではありません。シャツの色。 これらのフィルターは、人々が通常「フェイスナビゲーション」または「ナビゲーションフィルター」と呼ぶものです。

一部のウェブマスターは、これらのフィルターとrobots.txtファイルでの検索をブロックする傾向があります。これは、実際には、これらのページを読むことに時間を費やさないようにするためです。サイトの他の内部ページで利用できます。

次を読むことをお勧めします： Webサイトの作成時に回避するエラー

別の行は、あなたのサイトの重要なページを確立することにより、フェイスナビゲーションの場合、プライバシーポリシーページ、利用規約など、 コンテンツが重複しているページでGoogleの時間を節約し、あなたはそれらを読んでもらいたいのです。 これらのページは、これらのページを見たいユーザーのみが利用できます。

これらの価値の低いページでは、時間を無駄にするべきではありません。それらのページをランク付けしたくないためであり、あなたの人生に最低限の違いをもたらすことはありませんが、とにかくこの情報を参照したいユーザーもいるため、そこにいる必要があります。

内部でのクロール予算の仕組み

通常、クロールの予算はアーキテクチャに基づいています。 Googleが読むことができるページへのリンクを定義し、それらの重要度によって優先順位を付けます。

結局のところ、これらのページから出てくるリンクは、Googleによって優先される可能性が高いリンクです。 したがって、 内部リンクとページの構造について十分に考えることは、ロジックに値します。

クロール予算は、Googleがウェブサイトの情報を読み、理解し、アーキテクチャの構成やrobots.txtでのブロックなどの要素を評価するために費やす時間です。 リンクでnofollowタグを使用すると、Googleはそのリンクをたどることができなくなります。 たとえば、リンクにnofollow属性があり、別の内部リンクにページに到達するための属性がない場合、Googleは2番目のパスを使用するため、時間を節約できます。

最適化されたサイトの利点

あなたが毎日より多くのページを読ませるのを助けるものがあります、それはどんなウェブサイトにも役立ちます。 たとえば、 サーバーが高速である場合、Googleはその時間内により多くのページをリクエストします。

ページが圧縮されている場合、Googleはこれらのリクエストでさらに多くのページをリクエストします。 そして、 クリーンで適切なコードがある場合、Googleは1日の終わりに、より良いビットでより圧縮されたページも受け取ります。 つまり、ウェブサイトの最適化 、サイトとサーバーの速度は、クロールの予算の問題に大きく影響します。

サイトのクロール予算を計算する方法

Google検索エンジンのスパイダーが特定の時間割り当てでWebサイトをクロールする回数は、「クロール予算」と呼ばれます。 したがって、Googlebotが1日に32回サイトにアクセスする場合、Googleの追跡予算は1か月に約960であると言えます。

Google Search ConsoleやBingウェブマスターツールなどのツールを使用して、ウェブサイトのおおよそのクロールバジェットを計算できます。 ログインして[トラッキング]> [トラッキング統計]に移動すると、1日あたりの追跡されたページの平均数を確認できます。

クロール予算とSEO：それらは同じですか？

はい、いいえ どちらのタイプの最適化もページをより見やすくしてSERPに影響を与えることを目的としていますが、 SEOはユーザーエクスペリエンスをより重視し、スパイダーの最適化は完全にボットを引き付けることを目的としています。

検索エンジン最適化（SEO）は、ユーザークエリの最適化プロセスにより重点を置いています。 代わりに、 Googlebotの最適化は、Googleクローラーがサイトにアクセスする方法に焦点を当てています。

クロールの予算を最適化する方法

各Webプロジェクト、ページ数、およびその他の問題に応じて、任意のWebサイトのクロール予算を最適化する方法はいくつかあります。考慮すべき点をいくつか次に示します。

ページを追跡できることを確認してください

検索エンジンスパイダーがWebサイト内のリンクを見つけて追跡できる場合、ページは追跡可能であるため、 .htaccessファイルとrobots.txtファイルを構成して、サイトの重要なページをブロックしないようにする必要があります。 FlashやSilverlightなどのリッチメディアファイルに大きく依存するページのテキストバージョンを提供することもできます。

もちろん、ページが検索結果に表示されないようにする場合は、その逆が当てはまります。 ただし、ページがインデックスに登録されないようにする場合は、 robots.txtファイルを「禁止」に設定するだけでは不十分です。 Googleによると、「禁止」ルールは、ページが結果に表示されないことを保証するものではありません。

外部情報（インバウンドリンクなど）が拒否したページへのトラフィックを増加させ続ける場合、Googleはそのページが依然として関連性があると判断する場合があります。 この場合、 noindexメタタグまたはHTTP X-Robots-Tagヘッダーを使用して、ページのインデックス作成を手動でブロックする必要があります。

-Noindexメタタグ：セクションにこのメタタグを配置します ほとんどのWebクローラーがページをインデックスに登録しないようにするために、

noindex "/>

-X-Robots-Tag-HTTPヘッダーレスポンスに以下を配置して、クローラーにページをインデックス登録しないように指示します。

X-Robots-Tag：noindex

noindexメタタグまたはX-Robots-Tagを使用する場合は、robots.txtでページを禁止しないでください。 タグが表示され、それに従う前に、ページをクロールする必要があります。

リッチメディアファイルの慎重な使用

GooglebotがJavaScript、Flash、HTMLなどのコンテンツをクロールできない時期がありました。 それらの時代は過ぎ去りました（ただし、GooglebotはまだSilverlightと他のいくつかのファイルに問題があります）。

ただし、Googleがほとんどのリッチメディアファイルを読み取ることができる場合でも、他の検索エンジンでは読み取れない可能性があります。つまり、これらのファイルは慎重に使用する必要があり、必要なページでは完全に回避する必要があります。位置。

リダイレクト文字列を避ける

リダイレクトするすべてのURLは、クロールの予算を少し無駄にします。 ウェブサイトに長いリダイレクト文字列がある場合、つまり301と302のリダイレクトが多数連続している場合、Googlebotなどのスパイダーがランディングページに到達する前にクラッシュする可能性があります。つまり、ページがインデックスに登録されません。 。 リダイレクトのベストプラクティスは、Webサイトでリダイレクトをできるだけ少なくし、続けて2つ以下にすることです。

壊れたリンクを修正する

John Mueller氏は、 リンク切れがポジショニングに影響するかどうかを尋ねられたとき、ポジショニングよりもユーザーエクスペリエンスに重点を置いていると答えました。

これは、SEOとGooglebotの最適化の根本的な違いの1つです。リンクが壊れていると、Googlebotのウェブサイトのインデックス作成とランク付けの機能が大幅に妨げられますが、ランキングでは重要な役割を果たしません。 。

そうは言っても、 Googleのアルゴリズムは長年にわたって大幅に改善されており、ユーザーエクスペリエンスに影響を与えるものはすべてSERPに影響を与える可能性があることを考慮して、ミューラーのアドバイスに従う必要があります。

動的URLにパラメーターを設定する

スパイダーは、同じページにつながる動的URLを別のページとして扱います。つまり、クロールの予算を不必要に浪費している可能性があります。 Search Consoleにアクセスして[トラッキング]> [URLパラメータ]をクリックすると、URLパラメータを管理できます。 ここから、CMSがページのコンテンツを変更しないパラメータをURLに追加した場合、Googlebotに通知できます。

サイトマップをきれいにする

XMLサイトマップは、訪問者とスパイダーロボットの両方を支援し、コンテンツをより適切に整理して見つけやすくします。 そのため、 サイトマップを最新の状態に保ち、400レベルのページ、不必要なリダイレクト、非正規ページ、ブロックされたページなど、サイトのユーザビリティを損なう可能性のある混乱を取り除いてください。

サイトマップを整理する最も簡単な方法は、Webサイト監査などのツールを使用することです。 Website AuditorのXMLサイトマップジェネレーターを使用して、ブロックされたすべてのページをインデックスから除外するクリーンなサイトマップを作成できます。 さらに、「サイト監査」オプションに移動することで、すべての4xxエラー、301および302リダイレクト、および非正規ページを見つけて修復できます。

フィードを利用する

RSS、XML、およびAtomの両方のフィードにより、サイトを閲覧していないフォロワーにコンテンツを配信できます。 これにより、ユーザーはお気に入りのサイトにサブスクライブし、新しいコンテンツが公開されるたびに定期的な更新を受け取ることができます。

RSSフィードは、読者とエンゲージメントを高めるための優れた方法であるという事実に加えて、Googlebotが最も頻繁にアクセスするサイトの1つでもあります。 Webサイトが更新（新しい製品、ブログ投稿、ページの更新など）を受け取ったら、それをGoogle Feed Burnerに送信して、正しく索引付けされていることを確認します。

外部リンクを作成する

リンク構築は依然としてホットなトピックであり、すぐになくなることを垣間見ることはできません。

オンラインでの関係の育成、新しいコミュニティの発見、ブランド価値の構築。 これらの小さな勝利は、リンク計画プロセスですでに印刷されているはずです。 現在1990年になっているリンク構築の特徴的な要素がありますが、他の人と接続する人間の必要性は決して変わることはありません。

現在、 外部リンクがWebサイトが受け取るクモの訪問数と密接に関連しているという証拠がすでにあります。

内部リンクの整合性を維持する

内部リンクを作成しても、クロール速度には大きな影響はありませんが、完全に無視できるわけではありません。 適切に維持されたサイト構造により、クロールの予算を無駄にすることなく、検索ロボットがコンテンツを簡単に見つけられるようになります。

特にユーザーが3回のクリックでWebサイトの任意の領域にアクセスできる場合は、適切に構成された内部リンク構造によってユーザーエクスペリエンスを向上させることもできます。 すべてのアクセスをより一般的にすることは、訪問者がより長く滞在することを意味し、 SERPを改善できます。

どのような結論を導きますか？

繰り返しになりますが、すでに上で述べたことを補強すると、このクロール予算の問題は、数百および数千のWebページがある大規模なWebサイトでは重要になります。それ以外の場合、Googleはスムーズにウェブサイト。

私たちは、Googleへのサイトのページのクロールを複雑にしてはなりません。 十分なエラーがある多くのウェブサイトがあり、robots.txtとsitemap.xmlファイルによって作成されたバリアでさえ、Googleがコンテンツにアクセスできないようにしています。 Googleランキングでの位置付けを改善したい場合は、Googleがすばやくアクセス、インデックス登録、位置付けできるように、Webサイトのページを承認および簡略化する必要があります。 とても簡単です。

ここまでで、おそらくこの記事の傾向に気づいたでしょう。 追跡可能性のベストプラクティスは、検索可能性も向上させる傾向があります。 したがって、クロールの予算の最適化がWebサイトにとって重要かどうか疑問に思っている場合、答えは「はい」です。

簡単に言うと、 Googleがあなたのウェブサイトを見つけてインデックスに登録しやすくすると、より多くのクロールが可能になります。つまり、新しいコンテンツを投稿するときの更新が速くなります。 また、全体的なユーザーエクスペリエンスを向上させ、可視性を向上させ、最終的にはSERPのランキングを向上させます。

これらは、Webサイトのクロールの予算を改善および最適化するためのポイントのほんの一部にすぎません。