クローラーとも呼ばれますが、『検索ロボットエンジン』のことです。
つまり、クローリング(※1)されることは、ウェブサイト評価に繋がるのです。
（※1クローラー・ロボット検索エンジンがサイトを読み込むこと：クロールとも）
ここでは、クロール頻度を高めることでウェブサイト評価を高め、順位上昇をさせることを覚えましょう。
ます、ウェブサイトはクローラーがサイトを読み込むことでサイトが評価されます。
（サイト内データをSEO評価に照らし合わせ評価＆減点する。）
しかし、1日にクローラーが取得するサイト情報は、1ページ分前後程度です。
その限られたクロール状況では、確実に1ページ分を順番に認識してくれるわけではありません。
コンピュータの自動認識とはいえ、サイトを判断評価する方法は人と変わりません。
サイト上のリンクを元にページを巡るのです。
勘のいい人は気づくハズですが、人と同じく、
『リンクがあったからこっちのページを見よう、またリンクがあるからあっちのページを見よう』
と中途半端な巡り方をするハズです。
※あくまでも、このようなイメージという想像です。確かな理屈は存在していません。
早い話が、しっかりと読み込む流れが出来てはいないということです。
それを補う為に、クローラーにより長い時間の滞在をさせることが必要です。
（より一度に多くの評価をされる方が、他のサイトよりも勝る機会が増える為）
この為には、3つのポイントがあります。
・サイトの規模を大きくする。
・検索順位を高くする。
・外部からのリンクを増やす。
以上の3つが挙げられます。
クローラーは、サイトの規模に準じて活動の仕方が変わります。
ですので、サイトの規模が大きいほど若干有利なのです。
次に、順位が高いサイトほどクローラーは活発になります。
理由としては、サイト規模の変わらない上位圏と圏外のサイトを見れば一目瞭然です。
つまり、順位で差が出ているのです。
（野球の1番打者と9番打者の打席数の違いのようなもの。打席数＝評価対象になる機会の数）
※もちろん、情報力の有無、被リンクの有無が加味されているからこその順位なのでしょう。
最後に、被リンク数が影響してきます。
リンクを辿り、クローラーが訪問する機会を増やせます。
（クローラーを導く道筋が多いかどうか。導線。）
以上のことから、クローラーが活動する否か自体は、
個々のサイト自体では左右はされず平等であるはずです
ですので結論として、サイトの規模と順位の評価を変えることにより、
クローラーに少しでもサイトを見てもらう機会（滞在時間）を作ることで、
他のサイトよりも正しくサイトの情報をクローラーに与えることができれば、
自然と他のサイトよりも評価は高くなるのです。
これらのことから、クロールが上手くいかないサイトは、
いつまで経っても順位が上がりにくいわけです。
少しでも意識することが重要かもしれません。
タグ：SEO
