Einfach erklärt: Wie funktioniert eine Suchmaschine?

Suchmaschinen: Wir alle nutzen sie mehrmals täglich, um uns über aktuelle Themen zu informieren, Preise zu vergleichen oder um uns zu einem Ziel navigieren zu lassen. Die Verwendung von Suchmaschinen ist längst Routine in unserem Alltag geworden. Aber wie funktionieren Google, Bing & Co eigentlich? Hier kommen drei Akteure ins Spiel: der Crawler, der Index und ein komplexer Algorithmus.

Veröffentlicht am
06
.
April
2023
Aktualisiert am
.
Lesedauer
15 Minuten
Kategorie
SEO
Darum gehts
  • täglich gibt es allein bei Google über 3,5 Milliarden Suchanfragen weltweit
  • auch wenn Google, Bing und YouTube längst zum Alltag gehören, wissen die wenigsten, was nach der Eingabe der Suchbegriffe im Hintergrund passiert
  • die drei wichtigsten Säulen der Google-Suchmaschine sind der Crawler, der Index und die komplexen Algorithmen
  • langfristig werden KI-Tools wie ChatGPT und Google Bard die Art und Weise des Suchens revolutionieren

Suchmaschinen dieser Welt

Google ist die Nummer 1 in Deutschland, keine Frage. In der Vergangenheit konnte der US-Konzern Angriffe von aufstrebenden Suchmaschinen locker abwehren. Sogar als Microsoft Bing in den Ring schmiss und in seine Windows-Browser verankerte, war dies kein allzu großer Verlust.

Googles globaler Marktanteil lag im Januar 2023 bei unglaublichen 84,69%. Mit gerade einmal 8,85 Prozent ist Bing von Microsoft weit abgeschlagen auf dem zweiten Rang. In manchen Ländern der Welt jedoch spielen sowohl Google als auch Bing überhaupt keine Rolle. Beispiel China: Im Reich der Mitte wird der Markt von der lokalen Suchmaschine Baidu dominiert. In Russland ist Google zwar vertreten, jedoch nach Yandex nur der zweite Player am Markt.

Googles Marktposition ist neben der einfachen Handhabung der Google-Dienste auch den großen finanziellen Ressourcen geschuldet. Im Laufe der Jahre hat Google seine Geschäftsfelder massiv ausgebaut und verschiedene Einnahmequellen generiert.

Der Sinn hinter Suchmaschinen

Wann hast du das letzte Mal eine Suchmaschine wie Google oder Bing benutzt? Wonach hast du gesucht? Hast du die Lösung für dein Problem gefunden? Die erste Suchmaschine wurde im Jahr 1990 entwickelt und hörte auf den Namen "Archie". Der Funktionsumfang war längst nicht so umfänglich wie ihre heutigen Nachfahren. Vielmehr spezialisierte sich diese Search Engine auf FTP-Clients. Das Programm durchsuchte FTP-Server und speicherte Informationen in einer Datenbank, um diese suchenden Nutzern bereitzustellen.

Der User musste nun nicht mehr die Datei selbst suchen, sondern konnte die Suchmaschine fragen. Das Grundprinzip hat sich bis heute nicht verändert: Wir Menschen suchen etwas, die Maschine liefert es.

Stell dir einmal ein Leben ohne Suchmaschinen vor. Du müsstest fortan dir alle bekannten Websites aufrufen, um eine passende Antwort auf deine Frage zu erhalten. Wahrscheinlich würden Webverzeichnisse ihr großes Comeback feiern. Diese waren in den Anfängen des Internets beliebt und dienten dazu, Internetseiten in verschiedene Bereiche zu kategorisieren. Du kannst dir auf jeden Fall sicher sein, dass deine Suche deutlich länger dauern würde.

Suchmaschinen liefern dir innerhalb weniger Millisekunden Antworten auf nahezu alle Fragen. Dabei geschieht dies natürlich nicht live. Müsste eine Suchmaschine erst das gesamte Internet nach passenden Websites durchforsten, würde dies ewig dauern. Daher arbeiten die wichtigsten Suchmaschinen der Welt mit einer Datenbank, dem sogenannten "Index". Damit dieser gefüllt wird, benötigt die Suchmaschine einen Helfer, der sich durch die Websites arbeitet und diese liest. Dieses Programm nennen SEOs "Crawler". Alternativ wird es auch gern als "Spider" oder "Bot" genannt. Im weiteren Text bleibe ich beim Crawler.

Der Crawler - der fleißige Helfer der Suchmaschinen

Beim Crawler handelt es sich um ein Programm, welches sich vollautomatisch im Internet bewegt und Informationen von Websites sammelt. Er bewegt sich dabei über Hyperlinks von A nach B. Dies ist auch der Grund, warum manche Seiten bei Google nicht gefunden werden. Sie verfügen über keine eingehenden Links von externen Internetseiten und wurden nie bei Google "angemeldet". In der Google Search Console kann eine neue Website zur Prüfung eingereicht werden. Meist verwendet man dafür eine "Sitemap", in der alle Links der Website gespeichert werden.

Aber auch einzelne Links lassen sich in der Search Console einreichen. Der Crawler bekommt anschließend den Auftrag, sich diese Seite anzuschauen und möglichst viele Informationen über sie zu sammeln. Die gesammelten Daten des Crawlers werden in einer Datenbank gespeichert und später von einer Suchmaschine indexiert, um die gefundenen Informationen bei einer Suchanfrage anzuzeigen.

Du bekommst also keine Echtzeit-Ergebnisse bei Google angezeigt, sondern den aktuellsten Stand des Index, gespickt mit den relevantesten Ergebnissen für deine Suche. Ein Algorithmus entscheidet schließlich, welche Suchergebnisse du erhältst. Suchmaschinen wie Google versuchen deine Suchanfrage in eine bestimmte Kategorie einzusortieren, man spricht hier vom "Search Intent":

  • Kommerziell: Der Suchenende hat ein großes Kaufinteresse an einer Dienstleistung oder Produkt (Beispiel: iPhone 14 Pro Max)

  • Informationsorientiert: Reine Informationen stehen hier im Mittelpunkt der Suche (Beispiel: wie alt ist Angela Merkel)

  • Navigationsorientiert: Manche Nutzer geben gerne eine Website bei Google ein, um zu dieser navigiert zu werden oder sind auf der Suche nach einer bestimmten Unterseite (Beispiel: Julian Nagelsmann Wikipedia)

Der Crawler sammelt auf jeder Webseite diese Daten und bereitet sie für die Datenbank auf. Der Grundstein für eine richtige Klassifizierung liegt in der Suchmaschinenoptimierung und somit beim Seitenbetreiber. Mit einer guten Basis ermöglicht er es dem Crawler, möglichst viele URLs auf der eigenen Website zu durchsuchen. Zum Fundament gehört eine saubere HTML-Struktur, funktionierende Hyperlinks und einzigartige Inhalte. Heutzutage sind Crawler sehr robust und ignorieren unsauberen Code problemlos. Hast du jedoch Verlinkungen gesetzt, die in einem 404 enden, ist dein Crawling-Budget schneller aufgebraucht als dir lieb ist.

Crawler durchsuchen Millionen von Webseiten am Tag und bleiben so stets auf dem neuesten Stand. Internetseiten wie Newsportale leben von Aktualität, von daher ist es klar dass der Crawler hier häufiger vorbeikommt, um brandneue News zu durchforsten. Dies ist auch in Googles Sinne, denn die Suchmaschine möchte ihren Nutzern stets hochaktuelle Nachrichten zur Verfügung stellen.

In der Google Search Console kannst du die Anzahl der Crawling-Anfragen für deine Website prüfen. Voraussetzung dafür ist natürlich eine entsprechende Einrichtung der Search Console. Du findest diesen Punkt in den Einstellungen. Berücksichtigt werden die letzten drei Monate. Eine regelmäßige Prüfung macht durchaus Sinn, um auch die jeweiligen Statuscodes auszulesen.

Der Index - die mächtige Datenbank

Die Daten des Crawlers werden in einer riesigen Datenbank gespeichert: dem Index. Um diesen möglichst qualitativ hochwertig zu halten, wird nicht automatisch jede Website in diesen aufgenommen. Stimmt die Qualität nicht, so wird die Seite zwar gecrawlt, jedoch nicht indexiert. Auch hier lohnt sich ein Blick in die Google Search Console, denn unter Indexierung > Seiten kannst du dir genau anschauen, ob alle Unterseiten ordnungsgemäß indexiert werden.

Suchmaschinen sind stets an aktuellen Inhalten interessiert, sodass ihre Crawler 24/7 durch das Internet schwirren und Webseiten scannen. Sucht ein Nutzer nun bei Google nach "E Bike kaufen", so muss der Crawler nicht erst das halbe Internet nach passenden Websites suchen, sondern die Suchmaschine schaut einfach in ihrer eigenen Datenbank (Index) nach. Dies passiert im Bruchteil einer Sekunde. Im Hintergrund entscheidet ein komplexer Algorithmus, welche Suchergebnisse du angezeigt bekommst.

Ob deine Webseite von Google tatsächlich im Index aufgenommen wird, entscheidet immer noch die Suchmaschine selbst. Über die Search Console kannst du lediglich die Indexierung beantragen. Kommt es beim Crawling zu einem Fehler (zu viele Weiterleitungen, Seite nicht gefunden, etc.) oder stimmt die Qualität einfach nicht, wird diese Seite häufig zwar gecrawlt - jedoch nicht indexiert. In diesem Fall solltest du die Inhalte überarbeiten und eine erneute Indexierung beantragen.

Lesetipp: Du möchtest Suchmaschinenoptimierung lernen und in die eigene Hand nehmen? Dann solltest du diese SEO-Anfängerfehler nicht machen!

Es muss jedoch nicht immer ein Qualitätsdefizit sein dass die Indexierung verhindert. Prüfe deine Seite einmal auf folgende Merkmale:

  • Helpful Content: Sind deine Inhalte auf dieser Unterseite wirklich relevant für den Nutzer? Was kannst du tun, um diesen dahingehend zu optimieren und somit den Nutzen zu erhöhen?

  • Duplicate Content: Gibt es auf deiner eigenen Website bereits eine ähnliche oder textgleiche Seite? Dann wertet Google dies gern als Duplikat und sieht keinen Sinn bei einer erneuten Indexierung

  • Thin Content: In einer Webseite mit einem Satz wird keine Suchmaschine der Welt wirklichen Mehrwert sehen. Daher solltest du mehr (wichtige) Inhalte aufbauen und diesen sauber gliedern - sprich: Headlines, Paragraphen etc.

  • Noindex: Mit einem kleinen Schnipsel Code kannst du dem Crawler sagen, dass er die Seite zwar anschauen darf, die Indexierung jedoch nicht gewünscht ist. Dies kommt besonders häufig bei den typischen Seiten vor, die für den Nutzer nur sehr geringen Mehrwert haben: Impressum, Datenschutzerklärung, AGB. In der Search Console kannst du unter "Durch "noindex"-Tag ausgeschlossen" einsehen, welche Seiten durch so einen Code nicht indexiert werden sollen.

  • Veralteter Content: Wahrscheinlich kennst du auch folgende Überschriften aus verschiedenen Magazinen: "DIE Reisetrends 2017" oder "Der große Fußball-Jahresrückblick 2014" - das Problem dabei: Bereits nach kurzer Zeit interessiert sich kein Mensch mehr dafür. Halte deine Inhalte daher stets aktuell bzw. überarbeitete veralteten Content, um ihn neues Leben einzuhauchen.

Der Algorithmus - über 200 Rankingfaktoren

Du hast es geschafft: Der Suchmaschinen-Crawler schaut sich deine Website regelmäßig an und die Inhalte werden laut Google Search Console auch ordnungsgemäß indexiert. Wie erscheint deine Webseite nun in den Suchergebnissen bei Google, Bing und Co? Wer oder was entscheidet, ob eine Seite relevant genug ist, um auf Platz 1 zu erscheinen und somit den meisten Traffic auf sich zu ziehen?

Hier kommt ein komplexes mathematisches System von Algorithmen und Berechnungen ins Spiel. Dieses berücksichtigt über 200 verschiedene Faktoren und bewertet die Relevanz und Qualität deiner Website. Allgemein bekannte Rankingfaktoren sind:

  • Page Experience / User Experience
  • Keywords (Überschriften, URL, Seitentitel)
  • Backlinks (Qualität, Quantität
  • Social Signals
  • Qualität der Inhalte (Struktur, Aktualität, Helpful Content, Verlinkung)

Nahezu alle relevanten Suchmaschinen aktualisieren ihre Algorithmen regelmäßig, um ihren Nutzern die bestmögliche User Experience zu liefern. Daher ist die stetige Weiterbildung für jeden SEO ein absolutes Muss. An den Grundlagen ändert sich jedoch kaum etwas: Eine Überschrift war und wird immer relevant für die Bewertung bleiben.

Besonders Google-Updates sorgen bei manchen SEO-Dienstleistern für Panikanfälle - hauptsächlich dann, wenn ihre eigenen Rankings unter einem Update leiden. Mit jedem größeren Update des Google-Algorithmus' (einem sog. Core-Update) gibt es immer Gewinner und Verlierer. In Erinnerung bleiben allem voran folgende Google-Updates:

  • Panda (2011, Verbesserung der Suchergebnisse, Filterung von minderwertigen Inhalten auf Webseiten)
  • Penguin (2012, Bekämpfung von Webspam)
  • Hummingbird (2013, bessere Interpretation der Suchanfrage & präzisere Auslieferung der Suchergebnisse für den Nutzer)

Natürlich gab es in der Vergangenheit noch viele weitere wichtige Updates, diese drei genannten wirbelten den damaligen Markt jedoch so richtig auf. Du kannst dir sicher sein: Spielst du mit fairen Mitteln und lieferst hochwertigen Content, bist du vor massiven Abstrafungen seitens des Algorithmus' sicher.

Eine sehr gute Anlaufstelle für Informationen zu aktuellen Google-Updates ist übrigens der SEO-Blog von SISTRIX. Mit jedem Update werden die Gewinner & Verlierer vorgestellt, Schlüsse gezogen und Tipps gegeben, wie man verlorene Rankings wieder reinholen kann.

Die Zukunft der Suchmaschinen

Wahrscheinlich bist du in den Medien schon einmal über den aktuellen Trend ChatGPT gestolpert. Dieser von OpenAI entwickelte KI-gestützter Chatbot wird von vielen Experten als die Zukunft der Suchmaschinen gesehen. Anders als bei einer Suchmaschine, gibt dir dieses Tool eine einzige Antwort auf deine Frage. Dies geschieht in textlicher Form und ist damit einfach handzuhaben.

Ich bin überzeugt, dass so ein Tool ein enormer Mehrwert ist, beispielsweise, um im Alltag Antworten auf einfache Fragen zu erhalten. Jedoch glaube ich nicht, dass durch ChatGPT Suchmaschinen in ihrer klassischen Form aussterben werden. Vielmehr werden Suchmaschine und KI miteinander verschmelzen und uns die Nutzung noch einfacher und schneller machen. Microsoft beispielsweise hat 2023 ChatGPT in ihren Bing-Browser integriert.

Auch Google ist mit ihrem ChatGPT Konkurrenten Google Bard in Lauerstellung und wird in den kommenden Monaten sicherlich noch umfangreiche Updates veröffentlichen. Es passiert in der Szene gerade sehr viel und wir dürfen gespannt sein, wohin die Reise geht. Bei einer Sache können wir uns allerdings sicher sein: Am Ende wird der Nutzer davon profitieren.

Fazit

Wir alle nutzen Suchmaschinen mehrmals täglich, oftmals sogar unbewusst. Denn während Google in Deutschland glasklar der Platzhirsch ist, so folgt streng genommen auf dem zweiten Platz bereits YouTube. Für viele ist die beliebte Videoplattform zwar keine Suchmaschine, jedoch suchen wir dort immer häufiger visuellen Content, um Probleme zu lösen. Ich bin mir sicher, dass du YouTube auch schon einmal genutzt hast, um dir eine Anleitung anzusehen.

Die wenigsten Menschen wissen jedoch, wie komplex Suchmaschinen heutzutage aufgebaut sind, welche mathematischen Algorithmen im Hintergrund entwickelt wurden. Man möchte die Suche immer einfacher gestalten, die Ergebnisse möglichst perfekt aufbereiten - alles für eine positive User Experience. Auch wenn Suchmaschinen in den nächsten Jahren ihre Daseinsberichtigungen haben, so geschieht in diesem Feld derzeit etwas Großes.

Sowohl ChatGPT als auch Google Bard haben das Potenzial, den Markt zu revolutionieren und eine komplett neue Ära einzuleiten.

Steve von wyreframe
Webdesigner
* Um den Lesefluss nicht zu beeinträchtigen wird zwar nur die männliche Form genannt, stets aber die weibliche Form gleichermaßen mitgemeint. Menschen jeglichen Geschlechts sind mir als Leser*innen herzlich willkommen 🌈❤️

Ähnliche Artikel

Dir gefällt was du siehst?

Du möchtest in eine neue Website investieren und bist auf der Suche nach einem professionellen Webdesigner? Lass uns unverbindlich über deine Probleme, Wünsche und Projektziele reden. Sende mir einfach eine Projektanfrage und wir gehen es an!