Grundlagen von Suchmaschinen

Crawling bedeutet, dass Suchmaschinen wie Google deine Website automatisch durchsuchen. Dafür setzen sie kleine Programme ein, die „Crawler“ oder „Bots“ genannt werden. Diese Crawler bewegen sich von Seite zu Seite und sammeln Informationen über Inhalte, Texte und Links. Die gesammelten Daten werden anschließend im Suchmaschinenindex gespeichert. Wenn deine Seite nicht gecrawlt werden kann, bleibt sie für Google praktisch unsichtbar.

Indexierung bedeutet, dass eine Suchmaschine wie Google die Inhalte einer Website nach dem Crawling speichert und organisiert. Die Seiten landen im sogenannten Index, einer riesigen Datenbank mit Milliarden von Webseiten. Nur wenn eine Seite im Index gespeichert ist, kann sie später in den Suchergebnissen erscheinen. Ohne Indexierung bleibt deine Website unsichtbar für die Suche.

Die robots.txt ist eine kleine Textdatei im Hauptverzeichnis deiner Website. Sie sagt Suchmaschinen-Crawlern, welche Seiten sie besuchen dürfen und welche nicht.

Wichtig: Mit der robots.txt verhinderst du zwar das Crawling bestimmter Inhalte, aber nicht immer deren Indexierung. Wenn eine gesperrte Seite von außen verlinkt wird, kann sie trotzdem im Index sichtbar erscheinen – nur eben ohne Inhalte. Möchtest du wirklich verhindern, dass eine Seite in den Suchergebnissen auftaucht, solltest du zusätzlich mit „noindex“ arbeiten.

Das ist wichtig, wenn du bestimmte Bereiche deiner Website bewusst nicht sichtbar machen möchtest – zum Beispiel interne Testseiten oder private Inhalte.

“Noindex” ist eine Anweisung für Suchmaschinen, dass eine bestimmte Seite nicht in den Index aufgenommen werden soll. Das bedeutet: Die Seite kann zwar von Crawlern besucht werden, sie erscheint aber nicht in den Suchergebnissen. So kannst du gezielt verhindern, dass Inhalte öffentlich über Google & Co. auffindbar sind.

Typische Einsatzfälle sind zum Beispiel:

• Danke-Seiten nach einem Kauf oder einer Anmeldung.
• Interne Testseiten, die nur für dich wichtig sind.
• Doppelte Inhalte, die nicht mehrfach im Index erscheinen sollen.

Beispielcode: <meta name=“robots“ content=“noindex, nofollow“ />

SERP ist die Abkürzung für Search Engine Result Page. Das bedeutet auf Deutsch: Suchergebnisseite. Es ist die Seite, die du siehst, wenn du etwas bei Google oder einer anderen Suchmaschine eingibst. Auf der SERP werden alle passenden Ergebnisse angezeigt. So in etwa sieht eine SERP aus:

Organische Ergebnisse
Das sind die „normalen“ Suchergebnisse, die durch SEO nach oben gebracht werden können. 

Bezahlte Anzeigen (Google Ads)
Diese stehen meist über oder neben den organischen Ergebnissen und sind mit „Gesponsert“ markiert.

Featured Snippets
Das sind hervorgehobene Boxen mit einer direkten Antwort auf die Suchanfrage. Diese Antwort stammt von einer Website. Seit März 2025 erscheint überwiegend der AI Overview (AIO) für bestimmte, vor allem informationsbezogene Keywords. Im AIO werden Informationen aus mehreren Websites zu einer Antwort zusammengefasst.
AIO und Featured Snippets können aktuell tatsächlich gleichzeitig auf derselben Google-Suchergebnisseite erscheinen. Untersuchungen von SE Ranking (Dez. 2024)  haben gezeigt, dass in rund 30 bis knapp 60% der Fälle, in denen ein AI Overview angezeigt wird, auch ein Featured Snippet auf derselben SERP vorhanden ist. Google testet damit diverse Kombinationen: Mal erscheinen beide nebeneinander, mal enthält der AI Overview Abschnitte, die Snippet-ähnlich wirken, oder die Formate sind klar voneinander getrennt.

Wissensbox / Knowledge Panel
Rechts (am Desktop) oder oben (mobil) erscheint oft eine Infobox mit Daten zu Personen, Unternehmen oder Orten.

Bilder, Videos oder Shopping-Ergebnisse
Je nach Suchanfrage blendet Google auch visuelle Elemente oder Produktanzeigen ein.

Lokale Ergebnisse (Local Pack)
Bei lokalen Suchen, z. B. „Friseur in Berlin“, zeigt Google eine Karte mit Einträgen aus Google Maps/Google Unternehmensprofil (ehemals Google My Business).