インデックスされない？原因と対策：仕組みを理解し効率的に解決
DCI（Discover, Crawl, Index）
- Discover（発見）: ウェブページが検索エンジンに初めて認識されるフェーズです。ページが新しく作成されたり、更新されたりした際に、外部リンクやサイトマップを通じて発見されます。
- Crawl（クロール）: 検索エンジンのクローラーがページを訪れ、情報を収集します。ウェブサイトの構造がクローラーの効率に影響を与えるため、サイトのナビゲーションやリンク構造の最適化が重要です。
- Index（インデックス）: クローラーによって収集された情報が検索エンジンのデータベースに登録されます。コンテンツの質や独自性、正しいメタデータの設定がインデックスの質を決定します。
各プロセスの目的と重要性を理解することで、それぞれの段階で何を最優先に考慮すべきかを考えやすくなります。
では、具体的なインデックスされない原因と対策をこのフェーズごとに紐付けてみます。
各フェーズごとに見る、インデックスされない原因と対策
Discover（発見）フェーズ
新設ドメインの早期発見
- 原因： 新設されたウェブサイトは検索エンジンにまだ認識されていない可能性が高いです。
- 対策： Google サーチコンソールで新しいサイトを登録し、直接ページをリクエストすることで認識を促進します。この際、定期的なサイトマップの更新と提出を行い、新しいコンテンツが速やかに検索エンジンに発見されるよう努めます。
被リンク不足による発見の遅延
- 原因： 外部サイトからの被リンクが少ないと、検索エンジンのクローラーが新しいページを発見しにくくなります。
- 対策： 信頼性の高いウェブサイトからの被リンクを積極的に増やすために、ゲストブログの投稿や業界関連のフォーラムでの活動を行います。また、ソーシャルメディアや業界イベントを通じて、自サイトへのリンクが含まれるコンテンツを拡散します。
Crawl（クロール）フェーズ
ページ読み込みの遅延
- 原因： ページの読み込みが遅いと、クローラーがページを無視する可能性があります。
- 対策： サーバーの応答時間を短縮するためにハードウェアのアップグレードを検討し、不要なリダイレクトを削減します。また、重たい画像やJavaScriptを適切に圧縮・最適化し、CDN（コンテンツデリバリーネットワーク）を利用してコンテンツの配信速度を向上させます。
複雑なサイト構造
- 原因： サイト内構造や内部リンクが複雑過ぎると、クローラーの効率が損なわれます。
- 対策： サイトの構造を見直し、ユーザーとクローラーの両方にとってナビゲーションを容易にします。内部リンクの再構築を行い、重要なページへのアクセスを直感的に行えるように改善します。また、パンくずリストの導入によりページ間の関連性を明確に示します。
不適切なrobots.txt設定
- 原因： 誤ったrobots.txtの設定により、重要なページがクロールから除外されている可能性があります。
- 対策： robots.txtの設定を定期的に見直し、誤った禁止指令がないか確認します。また、クローリングを許可するページと排除するページの明確な区分を行います。
Index（インデックス）フェーズ
メタタグの誤用
- 原因： noindexタグ設定やcanonicalタグ設定の誤用により、ページがインデックスされないことがあります。
- 対策： ページ毎にメタタグを精査し、インデックスを阻害している設定がないか個別に確認します。必要に応じて、SEO専門家と協力して正しいメタデータ構造を確立します。
低品質または重複するコンテンツ
- 原因： コンテンツの質が低い、専門性が不足している、または重複コンテンツが存在すると、インデックスの対象外となることがあります。
- 対策： コンテンツの質を向上させるために、専門的な知識を持つコンテンツクリエーターと協力してコンテンツの見直しを行います。また、重複するコンテンツの問題を解決するために、既存のコンテンツを再評価し、必要に応じて書き直しや統合を行います。
低品質な類似コンテンツの存在
- 原因： 既にクロールされているコンテンツが低品質と認識されている場合、Googleは類似する新しいコンテンツを無視する傾向があります。これにより、新しいページの発見やクロールの優先度が低下することがあります。
- 対策： 類似コンテンツの質を向上させ、独自性を高めます。また、類似コンテンツを特定し、必要に応じて内容の更新や統合を行うことで、コンテンツの重複を防ぎます。
Googleガイドライン違反
- 原因： Googleのガイドライン違反があると、ページが対策を受け、インデックスされないことがあります。
- 対策： 最新のGoogleガイドラインに常に準拠するように努め、SEO戦略を定期的に見直します。ガイドラインに反する可能性のある技術やコンテンツが発見された場合は、直ちに修正措置を講じます。
フェーズごとにみてもインデックスされない原因は異なります。自社のページではどれに該当するのか？を一つ一つ確かめ、詳細な対策を実装することで、インデックスの不具合を解消することにつながります。
Crawl、Indexの課題を可視化するツールとは？
Discover、Crawl、そしてIndexの各フェーズの課題に対処し、ウェブサイトの検索エンジンでのパフォーマンスを最大化するためには、強力なツールが必要です。これらのフェーズで直面する様々な問題を解決するために特別に設計されたツール、Amethyst の Index Worker を紹介します。このツールはGoogle サーチコンソールと比較して、独自の機能を提供します。
Google サーチコンソールとAmethyst Index Workerの比較
以下の表は、Google サーチコンソールと Amethyst Index Workerの機能を比較しています。
| 機能/ツール | Google サーチコンソール | Amethyst Index Worker |
|---|---|---|
| インデックス状況とクロールエラーの報告 | ◯ 提供 | ◯ 提供 |
| Googleへのサイトマップの提出 | ◯ 対応 | ✕ 提供なし |
| URL検査ツール | ◯ 個別ページの詳細確認 | ◯ 個別ページの詳細確認 |
| 詳細なクロールとインデックスの分析 | ✕ 提供なし | ◯ 大量のURLに関するクロール率とインデックス率を計算、詳細な診断提供 |
| URLの絞り込み検索 | ✕ 提供なし | ◯ 文字列での絞り込み検索可能 |
| ページの状態の時間経過追跡 | ✕ 提供なし | ◯ URLの履歴を確認し、時間経過に伴うページ状態の変化を追跡 |
| XMLサイトマップやRSSフィードの利用 | ✕ 提供なし | ◯ 特定のURL群の詳細調査が可能 |
| クロールとインデックスの状態の監視 | ✕ 提供なし | ◯ 特定のディレクトリや新規ページの状態を直接監視 |
| 定期的な検査スケジュール設定 | ✕ 提供なし | ◯ 定期的な検査のスケジュール設定により継続的なサイト監視が可能 |
Amethyst Index Workerは、Google サーチコンソールの基本的な機能に加え、より詳細なクロールとインデックスの分析を提供します。大量のURLに関するクロール率とインデックス率を自動で計算し、クロールおよびインデックスされていないページの原因と詳細な診断を提供します。
これらの機能により、Amethyst Index WorkerはウェブサイトのCrawlフェーズとIndexフェーズで直面する問題に対して効果的なモニタリングを提供します。
AmethystのIndex Workerによるインデックスの最適化
WebサイトのSEOを最適化するためには、CrawlフェーズとIndexフェーズにおける各種課題への対応が必要です。AmethystのIndex Workerはこれらの課題に対応するための強力なツールとして活用できます。
クロール率/インデックス率の詳細報告
AmethystのIndex Workerは、指定されたURL群やXMLサイトマップから得られるデータを基にURL検査を自動で実行します。それらのページのクロール率を自動で計算し、クロールカバレッジの詳細なレポートを生成します。これにより、サイトのどの部分が効率的にクロールされているか、または改善が必要かを確認することができます。また、クロールされたページが検索エンジンのインデックスに登録されているかどうかをチェックし、インデックス率を算出します。インデックスされているページとされていないページの明確なリストを提供します。
クロール・インデックスされていないページの特定
AmethystのIndex Workerは、ランダムサンプリングを利用してウェブサイト全体のクロール、インデックス状態を分析し、未クロールのページを特定します。具体的には、XMLサイトマップや特定のURL群から得られるデータを基に、システムがURL検査を実施、その結果を記録します。
このプロセスでは、クロールされずにアクセスが漏れているページを特定し、それらのページをリストアップします。このリストは詳細なレポートとして提供されます。これにより、どの部分がクロール、インデックスされ、どの部分がされていないのかが明確になります。
さらに、インデックスされるべきであったにも関わらず、実際にはインデックスされていないページを特定します。まず、クロールされた各ページについて、そのインデックス状態をチェックし、データベースに登録されているかどうかを確認します。その上で、クロール後にインデックスされなかったページを特定し、それらのページをリスト形式で提供します。
これらの機能を通じて、AmethystのIndex Workerは、ウェブサイトのインデックス状況を詳細に追跡し、CrawlフェーズとIndexフェーズで直面する問題に対して効果的なモニタリングを提供します。
まとめ
インデックスの各フェーズにおける課題を理解し、適切な対策を講じることは、ウェブサイトの検索エンジン最適化（SEO）において不可欠です。「なぜ、インデックスされないのか？」の原因を考えたうえで、Discover フェーズでは新しいページの認識促進、Crawl フェーズではページの読み込み速度や robots.txt 設定の見直しなどが対策に挙げられます。
Amethyst の Index Worker は、具体的なクロールとインデックスのデータを提供し、Google サーチコンソールの基本機能を補完します。このツールにより、ページのクロール率とインデックス率の自動計算が可能となり、これらの情報をもとにウェブサイトのインデックス状況を具体的に最適化することができます。さらに、未インデックスのページやクロールされていないページの原因を詳細にモニタリングすることが可能です。
ウェブサイトのトラフィックを増加させるためには、継続的な分析と改善が求められます。有用なツールの活用を通じて、クロールやインデックスの側面もよりデータドリブンで戦略的なSEOを進めていくことが、継続してサイトを成長させていく鍵となるでしょう。
Amethystのご利用方法・料金
今回のローンチは、Publicβ版としての先行利用を希望されるユーザー向けのものです。
本リリースに向けて、大規模サイトのSEO担当者に直接サービスを使用していただき、分析でお困りの点、ご要望などをお聞きし、 Amethyst をよりよいサービスにしていくためのものになります。
利用料金
Amethystは4つのプランをご用意しています。
- Soloプラン：1サービスに注力するスタートアップのSEO担当者向けのプランです。月額料金は14,000円（税込15,400円）で、1ユーザー、1組織、1つのSearch Consoleプロパティ、1つのIndex Worker、および1つのSearch Analyticsが利用可能です。
- In-Houseプラン：インハウスのSEOチーム向けのプランです。1つの組織で複数のプロジェクトを作成でき、月額料金は36,000円（税込39,600円）です。10ユーザー、1組織、5つのSearch Consoleプロパティ、15のIndex Worker、および30のSearch Analyticsが利用可能です。
- Agencyプラン：小規模なエージェンシー向けのプランです。3つの組織で小規模に複数のプロジェクトを作成でき、月額料金は36,000円（税込39,600円）です。5ユーザー、3組織、15のSearch Consoleプロパティ、5のIndex Worker、および10のSearch Analyticsが利用可能です。
- Enterpriseプラン：大規模な企業やエージェンシー向けのプランです。様々なカスタマイズが可能で、月額料金は198,000円（税込217,800円）です。ユーザー数、組織数、Search Consoleプロパティ数、Index Worker数、およびSearch Analytics数はカスタム対応となります。
「Soloプラン」「In-Houseプラン「Agencyプラン」は1年契約での特別価格があります。お問い合わせください。
お問い合わせ
Amethystについて詳しい説明や資料を希望される方は、以下のフォームからご連絡ください。送信いただいた内容をもとに、担当者より折り返しご連絡いたします。
