Weil Vorbeugen besser als Heilen ist: Goldstandard für kundenspezifische Suchlösungen

“Das google ich mal schnell” – ein Satz, den wahrscheinlich viele kennen. Der Gebrauch von Suchmaschinen ist in den letzten Jahrzehnten in unseren Alltag eingezogen wie wenige andere Werkzeuge der anhaltenden Digitalisierung. Möglich gemacht wurde dies durch Suchalgorithmen, die konstant besser wurden. Neben dedizierten Suchmaschinen, die ein breites Informationsspektrum abdecken, spielen Suchlösungen aber auch in spezifischen Kontexten zunehmend eine Rolle. Innerhalb großer Unternehmen werden dazu inzwischen eigene Teams aufgestellt, die Suchlösungen hinsichtlich spezifischer Anforderungen optimieren.

Unabhängig davon, ob eines der gängigen Suchsysteme, Elasticsearch und Apache Solr oder eine andere Suchlösung verwendet werden: jedes Suchsystem hat seine ganz individuellen Anforderungen, bedingt durch die Inhalte, die durchsucht werden, aber auch durch die Nutzer*innen der Suche. Um diesen Anforderungen gerecht zu werden, ist eine kontinuierliche Evaluation der Suche unerlässlich. So kann unerwünschtes Verhalten der Suche schnell erkannt und behoben werden. In Kundenprojekten bauen wir daher von Beginn an gemeinsam mit unserem Kunden eine Evaluation auf. Diese basiert auf dem Vergleich zwischen einem Goldstandard-Korpus und dem Ist-Zustand der Suchlösung. Das Goldstandard-Korpus enthält Suchanfragen und dazu gewünschte Suchergebnisse, die halbautomatisch generiert werden. Vor und nach jeder Veränderung des Suchsystems kann nun beispielsweise gemessen werden, wie viele der gewünschten Suchergebnisse tatsächlich gefunden wurden (Recall). Diese beiden Werte, vorher und nachher, lassen sich dann ganz einfach vergleichen.

So einfach die Idee scheint, so kompliziert kann es sein, solch ein Korpus aufzubauen und eine Evaluation mit geeigneten Metriken zu konzeptionieren. Welche Suchanfragen eignen sich für ein Evaluations-Korpus? Wie baue ich das Korpus möglichst repräsentativ auf? Wie finde ich die passenden Suchergebnisse zu jeder der Suchanfragen? An welchen Stellen können mich Methoden der Künstlichen Intelligenz und Machine Learning unterstützen? Wie gehe ich mit Fehlerquellen um? Antworten auf diese Fragen und eine detaillierte Erklärung unserer Arbeitsschritte beim Aufbau eines Goldstandard-Korpus sind in Kapitel 3 unseres Whitepapers enthalten.

Neben der eigentlichen Evaluation bietet das Korpus außerdem die Möglichkeit, schnell zu erkennen, an welchen Stellen Fehler bei der Verarbeitung von Suchanfragen passieren, und Lösungsansätze zu testen. Die Möglichkeit, das Goldstandard-Korpus so als nützliches Entwicklungstool zu verwenden, ist eine der Erkenntnisse, die wir in Suchprojekten gewonnen haben. Weitere Learnings von der Konzeptionierung bis hin zur Umsetzung einer goldstandard-basierten Evaluation und der damit einhergehenden Kommunikation beschreiben wir in Kapitel 4 unseres Whitepapers.

Datum: 14.09.2021