ペナルティ対象にならないように絶対しっておくべき重複コンテンツとその対策

重複コンテンツについて、その意味とSEOに与える影響・対策を解説しています。

重複コンテンツとはどういったものか

重複コンテンツとは、同一のドメイン内や外部ドメイン問わず異なるページURLで、その内容が完全に同じまたはほぼ同じであるコンテンツのことを指します。
おおきく別けると、以下の2種類にわかれます。

同一ドメインのなかに同じようなコンテンツがある

おもに仕様上の問題によっておこることが多いですが、毎回同じ定型文を使いまわしていたり、似たような内容のコンテンツが多いことでおこります。

外部ドメインのサイトに同じようなコンテンツがある

自分が書いた記事の文章が盗用されたり、もしくは他社サイトのコンテンツを参考にしたつもりが結果としてほとんど盗用にちかいところまでいっていたということなどでおこります。
ゴールが同じことを書く場合、コンテンツが似通ってくることはある意味避けて通れませんので、そのなかでいかにオリジナリティをだすかが重要です。同一ドメイン内での重複コンテンツとくらべ対策は難しくなります。

重複コンテンツはなぜ問題なのか

これは、誰もが同じようにアクセスできるというネットの性格上の問題ですが、同じ内容のコンテンツは複数必要ないからです。
検索結果で表示されたコンテンツが、検索結果1ページ分すべてがほとんど同じ内容だったらどうでしょうか。ユーザーは戸惑います。だからこそ、オリジナリティのあるコンテンツが必要になってきます。

重複コンテンツにより生じる問題

重複コンテンツは検索結果に同時には表示されない

原則、検索エンジンは重複コンテンツを検索結果に同時に表示させることを嫌います。もし、複数の同じようなコンテンツが検索結果に同時に表示されてしまうと検索結果1ページの結果が同じ内容のページばかりになってしまいユーザーの満足度がさがるためです。
だから、検索エンジンは、検索結果1ページのなかでも多様性を担保しつつ、ユーザーが知りたかった内容のコンテンツができる限り上位にくるようにアルゴリズムを日々進化させています。

同一ドメイン内に重複したコンテンツがあることで、被リンクの評価が分散されてしまう

被リンク評価とは、外部ドメインのサイトから自サイトに対しリンクが貼られることでつく評価のことです。
もし自サイトのなかで同じようなコンテンツが複数あったらどうでしょうか。仮に本来100の評価がつくコンテンツがあった場合に、同じようなコンテンツが3つあった場合、30・30・40 といったように評価が分散してしまう可能性があるのです。
これは、技術的な対策をおこなうことで回避できますので後述いたしますが、本質でいうと同じようなコンテンツは自サイト内には複数存在する必要はありません。

Googleのペナルティの対象になる場合がある

2012年7月にパンダアップデートとよばれる検索アルゴリズムの大型アップデートがおこなわれました。このアップデートでは、低品質なコンテンツの順位を下げるというのはおもな内容でした。
この「低品質なコンテンツ」のひとつに重複コンテンツがあります。
特に、無断で複製されたコンテンツは、軒並みペナルティをうけ順位が大幅に変動しました。
外部サイトのコンテンツを盗用したり、自サイトの全体のコンテンツ量をあげるために同じようなコンテンツを量産したりといったような、検索エンジンを欺くような行為をおこなっているサイトは悪質なサイトというレッテルが貼られたわけです。
重複コンテンツに関するGoogleの考えはGoogleのヘルプページにありますので必ず一読しておくことをおすすめいたします。
https://support.google.com/webmasters/answer/66359?hl=ja

重複コンテンツが疑わられるケースとその対策

サイトを運営していると、故意でなくても意図せず重複コンテンツができあがってしまうことはあります。以下にあげたような例がおもに重複コンテンツと考えられるケースです。
下記ではそれぞれについてその詳細と対策を説明していきます。

URLが正規化されていない場合

あるページを閲覧するときに、URLにwwwをつけたもつけなくても同じコンテンツが表示されることがあります。
この「www」のありなしでさえ、厳密にいえばURLは異なるので重複コンテンツと考えられてしまうことがあります。
ほかにもこういったものがあります。
・wwwあり・wwwなしのURLが混在
・URL末尾のindexあり・indexなしのURLが混在
・URLのhttp・httpsが混在
・PC用サイトのURLとモバイル用サイトのURLが混在
このように複数のURLで同じコンテンツがみれてしまう状態のことをURLの正規化ができていない状態といいます。
対策方法は、シンプルです。複数のURLでアクセスできてしまうなら、代表となるURLをどれにするかを決めて、そのURLを正規のURLとして、検索エンジンに明示してあげるのです。
こういった対応をURLの正規化といいます。

対策1　301リダイレクトによる正規化

ユーザーがアクセスするURLが1つで構わない場合には、301リダイレクトをつかってる正規化していないURLから正規化したURLに対してリダイレクトさせます。301リダイレクトとはブラウザや検索エンジンに対し、URLが移転したことを示す方法です。
例えば
・http://example.jp
・ http://www.example.jp
・ http://www.example.jp/index.html
・https://example.jp
・https://www.example.jp
・ https://www.example.jp/index.html
の6つのURLで同じページが表示されてしまう場合、
・ https://example.jp
を正規のURLとし、他の5つのURLにアクセスした場合は、全てこの正規URLに301リダイレクトで転送されるようにします。
.htaccessファイルをつかってクライアント側ではなくサーバー側で転送させるよう設定します。

対策2　canonicalによる正規化

canonicalとは、htmlの内にcanonicalタグを設置することで、正規のURLを検索エンジンに伝えることができるタグです。
上記の例だと、該当ページの内に、このように追記します。
https://example.jp “>
Canonicalは、サーバー環境要因で.htaccessファイルの設置ができないなどにより、301リダイレクトの対策ができない場合におもにつかわれます。

URLが自動生成される場合

WordPressの場合にはパーマリンク設定がデフォルトだとURLが動的に自動生成されています。こういった場合、同じページにアクセスしたとしても、遷移元でURLが変わってくる場合があります。

対策1　canonicalによる正規化

内にcanonicalタグを書いて、URLの正規化をおこないます。

対策2　Google Search ConsoleのURLパラメータを設定

こちらはURLが生成されるパターンがある程度把握できるかたは使えますが、そこがわからないと使えません。
「URLパラメータ」とはどのパラメータをクロール対象とするかなどを設定することができますので、重複となるURLをクロール対象から外すことで、重複コンテンツを回避します。

定型文が繰り返されている場合

Googleはヘルプページで「著作権に関する説明がすべてのページ下部」に表示している場合を例えに解説しています。
ほかによくある例でいうと、ページ下部に売りたい商品の説明などを定型文で表示させるのも該当するのではないかと思われます。ただし、短い要約文にすることで許容しているようなので、冒頭でよくつかわれる自己紹介などはペナルティにはおそらく問題ないでしょう。

他のサイトにコンテンツを提供している時

Googleは「シンジケーションは注意して行う」という項目でヘルプに記載していますが、つまり、自分のコンテンツを外部サイトに提供して掲載されることです。
本来であれば、提供元である自サイトのコンテンツがオリジナルとして評価されるべきですが、対策をなにもおこなわないと提供先のサイトがオリジナルとして評価されてしまうこともあります。結果として、検索結果に優先表示されてしまうケースや最悪の場合はペナルティになる場合もあります。

対策1　canonicalによる正規化をおこなってもらう

提供先サイトの運営者に依頼して、内にcanonicalタグを自サイトにむけて書いてもらいましょう。それにより、自サイトのコンテンツがオリジナルであるということを検索エンジンに伝えることができます。
ただし、これは提供先サイトの内にコードを書き足すことになるので、ほとんどの提供先で対応してもらうのは現実的に難しいでしょう。

対策2　提供先サイトでnoindexによるインデックス拒否

これも対策1同様に、提供先に内にnoindexタグを埋め込んでもらう必要がありますが、このタグを書くことでインデックスされなくなるのでオリジナルコンテンツの提供元のみがインデックスされた状態になります。

参考：noindexタグでインデックス最適化をおこなってサイト評価をあげる方法

対策3　オリジナルコンテンツへのリンクを設置してもらう

対策1と対策2が難しい場合、提供先のコンテンツ内に元記事へのリンクを貼ってもらいましょう。事前に提供元へのリンクを設置することを前提としてコンテンツを提供するのも有効です。この方法でもオリジナルがどちらのページであるかを検索エンジンに正しく伝えることができます。

他のサイトにコンテンツを盗用された場合

自分のオリジナルコンテンツが外部サイトに盗用された場合には、まずそのサイトの運営者に対し直接削除の申し立てをします。
それでもなお、申し立てに応じない場合には、Googleに対し、著作権侵害の報告をおこないます。Googleが著作権侵害にあたると判断すれば、対象のページはインデックスから削除されます。
Google ウェブマスターツール | 著作権侵害の報告