検索エンジン向けサイトマップはSEOに逆効果になる場合もある

【JADE】検索エンジン向けサイトマップ、XMLサイトマップのメリットとデメリット、リスクをご紹介。sitemap.xml などのサイトマップ公開は、必ずしもベストプラクティスではありません。

検索エンジン向けサイトマップ 必要性とリスク

SEOでよく語られるサイトマップは、一般的には www.example.com/sitemap.xml などのように保存されて公開される、XMLやテキストファイルなどの形式で記述されたページ一覧ファイルです。

ここでは、通常のWebページ上で人間が見る「サイトマップ」と区別するため、検索エンジン等向けで人間が直接読むことを想定しないHTMLではないサイトマップを「XMLサイトマップ」として呼称します。

一般的にはXMLサイトマップはSEOのベストプラクティスとして扱われています。しかしそれは正しい認識ではありません。必ずしも全ての環境でのベストプラクティスではないのです。XMLサイトマップを無配慮に公開することは、SEO上のデメリットになりえます。

実際、私たちが特定サイトのSEOのアドバイスに入る際、既に公開されているXMLサイトマップを撤去していただくことが少なくありません。そして多くの場合ではそれによってサイトの検索性は改善されます。

どのような場合にXMLサイトマップは有効で、どのような場合でリスクとなるのでしょうか?

この記事では、XMLサイトマップをSEOに使うべきでは無いケースについて説明します。

(株式会社JADE 辻正浩)

Googleの説明するXMLサイトマップの必要性

Googleは、そのヘルプセンターの中で「次の場合は、サイトマップは必要ありません。」として下記のように記載しています。

  • サイトのサイズが「小さい」。
  • シンプルなサイト ホスティング サービスを利用している
  • サイトはサイト内で完全にリンクされている
  • インデックスに表示する必要のあるメディア ファイル (動画、画像)またはニュースページが多くない。

support.google.com

 

この説明に沿いますと、非常に多くのサイトはXMLサイトマップが不要ということになるでしょう。

私はこのアドバイスに同意します。確かにGoogleが不要と説明するようなサイトでXMLサイトマップを導入したことで明確にGoogleのSEOでプラスとなった事例はここ数年は確認していません。

数年前でしたら十分に価値はあり得ることでしたが、検索エンジンの性能が進化したいまでは、世の中の多くのサイトでは設置を行う必要はないのです。

では、こちらに該当しないサイトではどうでしょうか。私はそのようなケースでもXMLサイトマップを活用するべきケースは珍しいと考えます。
このように私が考える理由を説明するために、XMLサイトマップの効果から考えていきましょう。

XMLサイトマップのSEOの効果

XMLサイトマップはSEOに効果を持ちます。それは確かな事です。
私がGoogleのSEOで実際に確認している効果は下記です。

GoogleBotクロールの推薦

XMLサイトマップには特定ページが検索されるようになる(以後「indexされる」といいます)の早期化・安定化の効果があります。これが最大のメリットとして見られる場合が多いでしょう。
確かにXMLサイトマップ記載URLは、未記載URLよりもGoogleBotの訪問が早く、多い傾向があります。サイトによっては通常ではindexされるまで数時間~数日かかるページでも、XMLサイトマップを適切な形で導入することで数十秒~数分でindexされる場合もあります。また<lastmod>の適切な設定で、大規模なサイトにおいては更新された情報を早々に検索エンジンに認識させることも可能です。

「公開したページを一刻も早くindexさせたい場合」「毎日大量にページを公開している巨大サイトで何もしないと新規URLを検索エンジンに発見されづらい場合」などではXMLサイトマップは有効な場合も多いです。

クロール動線の無いURLをindexされるようにする

Googleなど検索エンジンは、基本的に他ページからのリンクをたどって未発見URLを発見します。ただサイトの要件上、どうしても検索エンジンが辿れるようなリンクを配置できない場合があります。
XMLサイトマップには、そういうケースでもページをindexさせる効果があります。

重複コンテンツ発生時の正規URLの推薦

同じ内容のページは通常のWeb運営においても発生するものですが、検索エンジンはそのうち一つだけを評価対象として、残りを検索結果から除外するようにしています。いわゆる重複コンテンツです。その評価対象とするべき主なURL、正規URLを発見するために検索エンジンは様々な情報を参考にします。そのうちの一つの評価基準としてXMLサイトマップが使われています。

正しくXMLサイトマップを記載することで、重複コンテンツにより発生するリスクを軽減することができます。

特殊なページの認識

XMLサイトマップにはURLの場所のみではなく様々な情報を付与できます。それによって、多言語・多地域向け情報、ニュース記事、動画、画像など特殊な情報を検索エンジンに正しく伝えることができます。

 

XMLサイトマップのSEO上のリスク

これまで記載してきました通り、XMLサイトマップは明らかにSEO上の効果を持つものです。
しかし効果があることは、検索エンジンに影響を与えているということです。その影響によっては必ずしもプラスに限定されません。

前項で説明した利点は、そのままリスクになり得るのです。

GoogleBotクロールの推薦→クロールの偏りに繋がる

検索エンジンは非常に高度なアルゴリズムでどのURLをクロールするか決定しています。XMLサイトマップは、その高度なアルゴリズムに対して影響を及ぼすものです。

特に巨大サイト、毎日何千何万というページが新規公開・更新されるページの場合、Googleが非常に高度なアルゴリズムでそのクロールの順番を決め、サイトを上手く認識しています。
もともとの高度なアルゴリズムでほとんどのページを回れていた場合でも、XMLサイトマップが公開され記載されたURLが優先されるようになると、XMLサイトマップに記載されないURLはいつまでもクロールされなくなる、ということも発生します。

実例を挙げましょう。
とある巨大サイトでは、XMLサイトマップには複数ページからなる一覧ページの1ページ目だけをXMLサイトマップに記載していました。これはよくあることです。一覧ページが何ページまで存在しているかを計算してXMLサイトマップに最終ページまで記載する、ということは若干のリソースを必要としますので省略するのはよくあることでしょう。

そのようにした場合、GoogleBotは明らかに1ページ目を優先して何度も何度もクロールします。通常でも1ページ目は優先されがちですが、XMLサイトマップでの推薦も加わるとその傾向は更に強化されるのです。

1ページ目を定期クロールするだけではタイミングが合わず、全URLを発見できないようなWebサイトもあります。そこで1ページ目のクロールが優先されることで新規ページが発見されない問題を引き起こします。

これは、数百~数千ページ規模のサイトや更新されるページが少ないサイトでは問題となりません。しかし、検索エンジンが全てのページを早期に回りきれないようなサイトでは明らかな問題になりえるのです。

クロール動線の無いURLをインデックス化→評価されないURLを放置することに

クロール動線の無いURLを検索エンジンに伝え、indexさせることはXMLサイトマップの効果です。
それは、どこからもリンクされていないページを検索対象にするということです。これは問題にもなりえます。

Googleの重要なアルゴリズム、PageRankは内部リンクでも影響します。内部リンクを適切な形で張った場合、そのリンク先は検索として評価されやすくなります。その影響は10年程前のように絶大なものではありませんが、2020年のいまでも十分に効果があります。Googleが認識できる形で内部リンクを張ることは、リンク先のページの評価に繋がります。

もし検索対象としたいもののGoogleにindexされていないページを発見した場合、そのページへの内部リンクを検索エンジンが十分な形で評価していない場合がほとんどです。その状態ではそのページの評価は上がりきりません。
そのようなURLを発見した場合、内部動線などを見直す事でそのページに記載された情報は検索されやすくなり、検索流入の向上に繋げることができます。indexされていないページを発見する事は、サイト構造の問題点を把握して改善に繋げられる数少ない機会なのです。

しかしXMLサイトマップを記載していた場合は、本来そのページに価値を与えるリンクが無い状態でも検索対象としてしまいます。そのページは検索競合が存在しない検索語句での流入を取れる場合もあります。ただ一般的なキーワードでは上位表示は困難です。

通常ではindexされないページをXMLサイトマップで無理やりindexさせる事は、評価されないページを増やす結果につながる場合があります。そして、その改善の糸口もわかりづらくしてしまうのです。

サイトの仕様上、どうしても検索エンジンが評価する形でリンクを配置できないならば、XMLサイトマップに頼る選択肢もあるかもしれません。ただ、それではあまり検索流入を得られません。

あなたのWebサイトがXMLサイトマップに頼ってindexさせているならば、まずはサイト改善をするべきでしょう。

 

重複コンテンツ発生時の正規URLの推薦→誤った記載により致命的な問題になりえる

先にも記載しましたとおり、検索エンジンは重複コンテンツを発見するために様々な内容を利用します。その評価基準の一つとなるXMLサイトマップに正しく正規URLを記載することで、より望ましい形でページを検索エンジンに認識させることができるでしょう。

ただ、それは正しく記載した場合だけです。もし、XMLサイトマップに誤って非正規URLを記載してしまったのならば大きな逆効果になる可能性があります。

たとえば、本来の内部リンクを集中した正規URLは 「/」で止めていたにも関わらず、XMLサイトマップ記載URLを 「/index.html」を加えてしまった場合を考えましょう。
多くの場合、Googleは様々な評価基準でXMLサイトマップを無視して「/」 を正規URLとします。しかし一部の場合ではXMLサイトマップの推薦を重視して 「/index.html」 を正規URLとします。それはそのページがしばらくの間、適正な価値を評価されない事になります。

XMLの記載ミスで正規化が混乱されるのはよくあることではありません。しかし、1%などの確率では発生すると考えます。1万URLあった場合は100URLもの情報が検索されづらいページが発生することになります。

また、正規化の問題以外にも、このようなケースも想定されます。

f:id:t-w-o:20200216174908p:plain

このように、1つのコーナーに3URLが存在している状態があり、この段階でXMLサイトマップを作成したとします。
その後、ページを追加してこのようになりました。

f:id:t-w-o:20200216174929p:plain

XMLサイトマップ生成をシステム化せず、手作業で作っているようなケースではよくある動きになります。しかしこの状態はサイトの状態によっては問題になります。

この状態では、A、B、CページはXMLサイトマップに記載され、Dページは記載されません。このとき、もしCページとDページの内容が似通っている場合。Dページはindexされづらくなります。

このような事はABCDページが一般的な記事ページでしたら滅多に発生しません。ただこのABCDページが動画や画像を主体としたページで、テキスト情報が少ないようなページだった場合などでは、問題は頻繁に発生します。

サイトの一部しかXMLサイトマップに記載されていない場合、XMLサイトマップの重複コンテンツを判定する効果は逆効果になりえるのです。

さらにこのような状態では、先述した「クロールの偏り」の問題があり、なかなかD.htmlにクローラが訪問しづらい状況も生みます。新規ページへのクローラ訪問が遅延する状態が、本来クロールを促進する役割のXMLサイトマップにより発生するのです。

特殊なページの認識→大きなリスクは無い

このメリットについては大きなリスクはありません。該当するコンテンツを主にしたサイトはXMLサイトマップを採用するべきです。ただ、影響力が強いため誤ると大きな問題になることは確かです。

XMLサイトマップが不要なサイトと必要なサイト

ここまで述べてきましたように、XMLサイトマップには大きな影響力があります。その影響力は、プラスにもマイナスにも働くものです。XMLサイトマップの挙動を把握せずに使うことは大きなリスクでしかありません。完璧ではないXMLサイトマップの公開はリスクを伴います。

もし、適切なタイミングで更新される、サイトの内容を全て網羅したXMLサイトマップを公開できるならば問題無いでしょう。最低でもマイナスはありません。

WordPressや(私も開発に関わっております)はてなブログなど安定したXMLサイトマップ生成システムが備わっているサービスでは、XMLサイトマップを公開したままにすることでマイナスはありません。

ただ、完璧な内容を作ることができないのであれば、XMLサイトマップ公開を控えることを私はおすすめします。

不完全なXMLサイトマップしか作成できない場合はリスクがあります。不完全なXMLサイトマップが検索エンジンに伝えられる情報は不完全です。不完全な情報を伝えられた検索エンジンがどのような挙動をするかは予想が難しいものです。


特に、冒頭で記述しましたGoogleが指摘する「サイトマップは必要ありません」と言われる所にも関わらず誤ったXMLサイトマップを掲載することで、余計なリスクを抱えたWebサイトも存在しています。

いわゆる「蛇足」です。XMLサイトマップは蛇足になりがちなのです。

 

XMLサイトマップが必要なサイト

ただし、XMLサイトマップが必要なサイトも存在します。

  • 巨大サイトで毎日数千~数万以上のURLが更新され通常の方法では検索対象にならないページがあり、通常のサイト改善ではindexさせられないサイト
  • 画像、動画、ニュース、多言語など、XMLで検索エンジンに伝えるべき特殊な情報を多く持つサイト
  • Bingや百度、YandexなどのようにXMLサイトマップが無いとindexの問題が起きがちな検索エンジンからの集客が必要なサイト

などが挙げられます。

この場合はXMLサイトマップの導入を考える必要があります。そのときは完璧なXMLサイトマップを目指すのが望ましいです。

しかし、巨大サイトにおいては完璧なXMLサイトマップを作ることは現実的ではないほど困難な場合も多いです。巨大サイトで完璧なXMLサイトマップを運用できているWebサイトは見たことがありません。


XMLサイトマップが必要、だが完璧なものはつくれない。そのような場合にはどうするべきでしょうか。?

わたしは、リスクを把握するために最大限の努力をするしかないと考えます。
各ページのindex状況やGoogleBotログ精査を定期的に行い、XMLサイトマップの不完全な部分がクロールに悪影響を与えていないか挙動の変化をしっかりと把握すべきでしょう。

SEOとベストプラクティス

この記事で説明してきましたことをまとめます。

  • 小規模なWebサイト、正しいサイト設計のWebサイトなどの大半ではXMLサイトマップは不要
  • 一部のXMLサイトマップが必要なWebサイトでも、誤っていたり、更新しないXMLサイトマップを公開するなら無いほうが良い場合が多い

冒頭で申しました通り「サイトマップはSEOでのベストプラクティス」と非常によく語られています。しかし今回説明しました通り「Googleは公式に多くのサイトにサイトマップは不要と説明」しており「実際にリスクも存在する」ものです。決してXMLサイトマップはSEOのベストプラクティスではありません。

そして、XMLサイトマップ以外でも語られるSEOのベストプラクティスもそのほとんどは多くのサイトでは不要なものであったり、リスクを持っているものです。

SEOには、さまざまな「ベストプラクティス」が存在します。しかしどのようなサイトにも共通するベストプラクティスは「良いコンテンツを作る」「良いtitleを作る」などSEO観点ではなくとも良いWebサイトを作る上で当然の事しかありません。
一般的なシンプルなサイトにはXMLサイトマップも不要ですし、共通のベストプラクティス以外に細かいテクニックはどんどん不要になってきています。

ただ、一般的ではない複雑なサイトにとっては、そしてこの共通ベストプラクティスだけで必ずしも適切にサイトが検索されるようにはなりません。そのようなサイトでは、様々な試行錯誤が必要です。それはベストプラクティスをなぞることだけでは達成できない場合が多いでしょう。

あなたのサイトにあったベストプラクティス選択を考えてみて下さい。