こんにちは！
【すきまのWebメモ】のお時間です📝

前回の記事では、SEOについて解説しました。
今回より、検索結果にサイトが表示されるまでの流れについて
一つずつ解説していきたいと思います！

 

 

【1.】<復習>Googleが順位をつけるまでの3️⃣ステップ

検索結果にサイトが表示されるまでの流れは以下の通り↓

1. クロール：ロボットがサイトを巡回して見つける
2. インデックス：Googleの巨大なデータベースに登録される
3. ランキング：登録された中から、ユーザーに最適な順位をつける

今回は最初のステップ、 1.クロール　について詳しく見ていきます。

 

【2.】🕷️クローラーとは？

クローラーとは、 検索エンジンが情報収集のために作った自動巡回プログラムのことであり、
インターネット上にあるWebページを発見・取得し、検索エンジンのインデックス処理へ渡す役割を担っています。
「ロボット」「スパイダー」と呼ばれることも。
※インターネット上を這い回り、巣のようにサイトを辿ることから🕷

クローラーは検索エンジンごとに異なるプログラムが用意されています。

• Googlebot（Google）
• Bingbot（Bing、Microsoft）
• Baiduspider（Baidu、中国）
• YandexBot（Yandex、ロシア）

など。
また、生成AIが学習するためのAIクローラーも登場しています🤖

 

【3.】🕸️クローラーはどのように巡回する？

クローラーの仕組みは「リンクを辿る」が基本！

①【発見】URLを見つける

次の経路からURLを見つけます。
・既知のページ内のリンク
・XMLサイトマップ
・Search Consoleによるリクエスト

②【取得】ページを読み込む

・見つけたページの内容を読み込みます。
HTML構造、テキスト、タイトル・見出し、内部リンクなど
・ページ内の情報を解析し、検索結果に反映するためデータをデータベースへ送ります。

④【巡回】リンクを辿って広げる

・②で解析したページ内のリンクを次々とたどり、ウェブ全体をくまなく巡回します。
トップページ→カテゴリ→記事→関連記事…というように

③【保存】内容が評価されれば、検索結果に登録される

・集めた情報をデータベースに登録し、ページが表示されるようにします。

 

【4.】💡クローラリビティ最適化のポイント

クローラーはリンクを辿って次々とページを読み込んでいくものなので、
クローラーがいかにウェブサイトを巡回しやすいか＝「クローラビリティ」という指標が重要なポイントとなります。

①内部リンクが整理されている

ウェブサイトの内部リンクは、クローラーの巡回ルート。
そのため、どのページからもリンクされていない「孤立したページ」は発見されにくく、作らないことが基本。

②表示速度が速い

クローラーが一定期間内に巡回できる上限ページ数（クロールバジェット）は決まっています。
表示速度が遅ければ巡回できるページが少なくなるため、表示速度の改善は必須。

③XMLサイトマップを設置

XMLサイトマップとは、ウェブサイト内のリンク一覧・優先度・更新日時などを記載したファイルで、クローラーにサイト構造を伝える地図のようなもの。
これをGoogle Search Consoleなどの検索エンジンに伝えることで、クロールの効率を高める役割があります。

④更新頻度が高い

ほとんど更新されない古いページはクロールの優先順位が下がるか、クロールされないことも…
定期的に情報更新することで、クロールに見つけてもらいやすくすることが大事。

 

【5.】📝まとめ

クローラーとは、
インターネット上のページを見つけて読み込み、検索エンジンに情報を届けるロボットのこと。

どんなに良いウェブサイトでも、
クローラーに届かなければ検索結果には表示されません…

つまり、
“巡回しやすいサイトづくり”の時点でSEOは始まっているのです(`･ω･´)
引き続きSEOについて学んでいきましょう～！