Auch Google hat dieses Thema aufgegriffen. So hat Adam Lasnik im "Official Google Webmaster Central Blog" einen konstruktiven Beitrag beigesteuert, der viele offene Fragen geklärt hat.

Zunächst aber stellt sich die Frage: Was genau ist eigentlich "Duplicate Content"? Die Definition ist relativ schwammig. Es geht dabei um Inhalte, die mehrfach vorzufinden sind: entweder identisch oder ähnlich, auf der eigenen Site oder auf fremden Sites.

Ein klassisches Beispiel für "Duplicate Content" ist die Syndizierung von Artikeln. Viele Autoren stellen Ihre Artikel mehreren Online-Medien zur Verfügung, so dass es Seiten auf verschiedenen Websites gibt, die denselben Artikel zeigen. Die jeweiligen Seiten unterscheiden sich nur durch das Layout und eventuelle marginale Textänderungen.

Es geht aber auch um andere Situationen. So kann es passieren, dass auf einer Website ein Artikel zweimal vorkommt: in der normalen Web-Version und in der Print-Version. Wenn beide Seiten vom Google-Spider erfasst werden können, befindet sich ein Artikel zweimal im Index.

Die Frage, wann eine Seite "duplicate" ist, ist nicht einfach zu beantworten. Laut Google gibt es zumindest keinen Prozentsatz, der als Kriterium dienen kann (X Prozent der Wörter zweier Seiten sind identisch). Auch weist Google darauf hin, dass "duplicate" nicht unbedingt semantisch gemeint ist: Ein Artikel, der in mehreren Sprachen vorliegt, wird nicht als Dublette erkannt.

Der Grund, warum Google sich um solche Effekte kümmert, ist der, dass Google sicherstellen möchte, zu einer Suchanfrage möglichst viele verschiedene Sichtweisen zu liefern. Wenn die Suchergebnisse aber nicht gegen Dubletten abgesichert werden, könnte es passieren, dass die ersten zehn Suchergebnisse denselben Artikel (auf verschiedenen Websites) anzeigen.

Die Syndizierung von Artikeln ist dabei aber noch ein Positivbeispiel. Es gibt einige Suchmaschinen-Optimierer, die Google austricksen möchten, indem sie Websites erstellen, die über keinen selbst erstellten Content verfügen; im Gegensatz wird versucht, bestehende Inhalte zu kopieren oder minimal abzuändern.

Das Thema "Duplicate Content" hat daher zwei Facetten: die vorsätzliche Erstellung von Dubletten zur Verbesserung des Suchmaschinen-Ranking und das versehentliche mehrfache Anbieten derselben Inhalte.

Gegen die erste Variante geht Google manuell vor und bestraft die in Frage kommenden Websites manuell durch Ausschluss aus dem Suchmaschinen-Index. Adam Lasnik stellt dabei aber noch mal klar, dass man diesen Ausschluss wohl kaum herbeiführen kann, wenn man nicht versucht hat, Google in die Irre zu führen.

Die zweite Variante beruht darauf, dass Google die Suchergebnisse filtert, bevor sie angezeigt werden. Es geht hier also nicht um das Entfernen aus dem Suchmaschinen-Index oder eine Abstrafung, sondern nur um ein Ausfiltern der angezeigten Ergebnisse: Die Dubletten werden algorithmisch aus der Ergebnisliste herausgenommen, bleiben aber dennoch im Suchmaschinen-Index und können so für andere Suchanfragen gefunden werden.

Google zeigt auch einige Gegenmaßnahmen auf, die Webmaster ergreifen sollten, um negative Effekte gezielt auszuschließen, z.B.:

- Doppelte Seiten auf derselben Site (z.B. Web- und Print-Version) sollten entsprechend geblockt werden. Die Print-Version könnte z.B. per /robots.txt gezielt für Suchmaschinen gesperrt werden.

- Idealerweise sollten syndizierte Artikel immer auf den Original-Artikel zurückverlinken.

Die vollständige Liste der Vorschläge finden Sie im Blog-Beitrag von Adam Lasnik (Link am Ende dieses Artikels) - ein weiteres Beispiel dafür, wie offensiv Google mittlerweile mit Themen umgeht, die vielen Webmastern unter den Nägeln brennen. Zusammenfassend kann man also vor allem sagen, dass "Duplicate Content" in der Regel kein Problem ist - solange man einige Grundregeln beachtet und Inhalte nicht absichtlich mehrfach verwendet.

"Deftly dealing with duplicate content", Adam Lasnik

http://googlewebmastercentral.blogspot.com/2006/12/deftly-dealing-with-duplicate-content.html