Ein Vorschlag …
In der Welt der suchbasierten Plattformen war es schon immer das A und O, den Nutzern die richtigen Informationen zur richtigen Zeit zur Verfügung zu stellen. Und da Technologien wie maschinelles Lernen (ML) und künstliche Intelligenz (KI) auf dem Vormarsch sind, war es für Unternehmen noch nie so wichtig, den Nutzern relevante Inhalte zu bieten – und noch nie so effektiv, sich von der Konkurrenz abzuheben. Aber wie können Produktverantwortliche die Wirksamkeit von ML/KI in solchen Anwendungsfällen genau messen – und letztlich verbessern?
Die gesamte Plattform von Thomson Reuters basiert auf der Leistungsfähigkeit ihrer Suchfunktionen. Das Produkt Checkpoint Edge ermöglicht es Steuer- und Buchhaltungsexperten, schnell und effizient zu recherchieren und die benötigten Informationen zu finden. „Als Suchplattform haben wir ein Suchfeld, in das die Benutzer ihre Terminologie eingeben“, sagt Vinay Shukla, ehemaliger Produktverantwortlicher bei Thomson Reuters. „Wir haben auch eine Funktion namens 'Auto Suggest Box', die sich einblendet, nachdem der Benutzer seine [Such-]Begriffe eingegeben hat. Wir haben KI-Funktionen entwickelt, um auf der Grundlage der Eingaben des Nutzers empfohlene Suchvorschläge zu machen.
Shukla und sein Team benötigten eine Möglichkeit, um zu messen, wie gut diese automatische Vorschlagsfunktion funktionierte. Außerdem wollte er die Verhaltens- und psychologischen Aspekte genauer untersuchen, wie die Nutzer mit der Suchfunktion des Produkts interagieren. „[Wir wollten verstehen, wann] ein Benutzer seine Eingabe oder seine Tastenanschläge unterbricht oder wann ein Benutzer eine von uns vorgeschlagene Abfrage ändert“, erklärte Shukla „Diese Art von Informationen ist wirklich großartig für die künftige Pflege unserer KI/ML-Fähigkeiten, die viele dieser expliziten und impliziten Daten benötigen.“
Abfragen der Abfragen
Shukla und sein Team nutzten Events verfolgen in Pendo, um drei verschiedene Schlüsselkriterien im Suchprozess eines Benutzers zu erfassen: (1) die ersten Eingaben eines Benutzers, bei denen er keine Daten mehr eingibt; (2) ob der Benutzer etwas aus den automatisch vorgeschlagenen Dropdown-Abfragen ausgewählt hat oder nicht; und (3) die endgültige Suche des Benutzers. „Mit diesen drei Informationen eröffnen sich uns riesige Möglichkeiten zur Analyse, ob ein Benutzer seine Abfrage ändert – und was er in seine Abfrage eingibt“, erklärte Shukla.
Er merkte an, dass dieser dreifache Tracking-Ansatz es seinem Team ermöglicht, tiefer in das Benutzerverhalten einzudringen, um letztendlich die Leistung der ML-/KI-Algorithmen zu verbessern und zu optimieren. „Tippen sie noch? Haben sie bemerkt, dass ihre Frage bereits dort stand und sie danach suchen konnten? [Events verfolgen] verrät uns, wie gut automatische Vorschläge funktionieren und wie viele Informationen die KI für die automatischen Vorschläge benötigte, um Fragen vorzuschlagen“, so Shukla.
Shukla merkte an, dass das Verfolgen von Events in Pendo ein großer Fortschritt gegenüber der vorherigen Methode ist, die den Moment, in dem die Suche eines Benutzers ausgeführt wird, nicht erfasste. „Pendo ist genial, weil auch nicht-technische Personen die Daten aus dem Pendo-Dashboard abrufen und daraus Pivot-Tabellen erstellen können. „Wirklich schnelle Analysen können jetzt von Nicht-Datenwissenschaftlern durchgeführt werden“, sagte er.
Die Möglichkeit, diese Events nachzuverfolgen und das Nutzerverhalten besser zu verstehen, war auch für das Redaktionsteam von Thomson Reuters äußerst wertvoll. „In der Redaktion werden die Inhalte direkt für unsere Plattform erstellt“, erklärte Shukla. „Das Team wurde enorm darin bestärkt, selbst zu analysieren, welche Arten von Suchanfragen die Nutzer*innen eingeben. Wenn sie bestimmte Suchanfragen mitgestaltet haben, können sie jetzt auch nachvollziehen, nach welchen Alternativen zusätzlich gesucht wird. Dieses spezielle Tracking-Event hat also zu viel Eigenverantwortung und neuen Möglichkeiten geführt.“
Shukla and his team now leverage these tracked events to measure success in—and improve the functionality of—the Checkpoint Edge product. “If a user selects content from the dropdown, then that feature is a success,” he explained. “It has created a lot of opportunities for us to analyze the types of queries our users are actually inputting versus what they might have seen in the dropdown. It’s a chance for us to figure out if we need to enhance the feature or take things back to the drawing board if queries are serving up irrelevant information.”
Durch die Korrelation von Benutzerfeedback mit Analysen wurde außerdem der Erfolgsmessung der Funktion für automatische Vorschläge durch Shuklas Team ein tieferer Kontext hinzugefügt. Indem er ein Segment von Nutzern erstellt, die ein bestimmtes verfolgtes Event abgeschlossen haben, dann einen Net Promoter Score (NPS)-Bericht über diese Nutzer generiert und ihn mit einem Segment vergleicht, das nicht mit dem getrackten Ereignis interagiert hat, kann er besser verstehen, welche Auswirkungen die Funktion auf die Nutzerstimmung hat. „Für uns war es wirklich wichtig, die Trends zu sehen, wie die Leute in Bezug auf NPS auf diese Funktion reagierten“, erklärte Shukla.
Abschließend betonte Shukla, dass die einfache Datenextraktion aus Pendo ein großer Gewinn sei. „Der größte Vorteil ist, dass wir die Rohdaten direkt denjenigen zur Verfügung stellen können, die mit ihnen arbeiten“, sagte er. „Es erfordert weder großen Aufwand noch eine lange Einarbeitungszeit, um die Daten herunterzuladen und gezielt nach Suchanfragen zu filtern, die im Moment besonders gefragt sind – vor allem, wenn es darum geht zu verstehen, wonach gesucht wird.“
