Staying a step ahead of the search box
Thomson Reuters auf einen Blick
Produktmanager
bei Thomson Reuters
Thomson Reuters ist ein multinationales Medienkonglomerat. Seine Plattform Checkpoint Edge (aus ihrer Abteilung für Steuer- und Abrechnungslösungen) unterstützt Finanzfachkräfte dabei, ihre Forschungsprozesse mithilfe von künstlicher Intelligenz und maschinellem Lernen zu optimieren.
Herausforderung
Als die Steuer- und Buchhaltungsabteilung von Thomson Reuters eine neue, auf künstlicher Intelligenz (KI) und maschinellem Lernen (ML) basierende Suchmaschine für ihre Checkpoint-Edge-Plattform entwickelte, war ihr klar, dass sich die Art und Weise, wie Benutzer mit ihrem Dienst interagieren, dramatisch verändern würde. Das Team musste jedoch verstehen, wie die Benutzer mit dieser neuen Funktionalität interagierten, damit es die Relevanz der Suchvorschläge und der dahinterstehenden Inhalte weiter verbessern konnte.
Umsetzung mit Pendo
Thomson Reuters nutzte die Funktion „Events verfolgen“ in Pendo für Einblicke in drei kritische Phasen des Sucherlebnisses eines Benutzers und korrelierte dann die Ergebnisse mit den NPS-Werten der Nutzer. Dadurch erhielte das Unternehmen ein vollständiges Bild von der Leistung der Funktion und wie sie die Bewertung beeinflusste.
Ergebnisse
Durch den Einsatz von Pendo hat das Team von Thomson Reuters dazu beigetragen, die Nutzungsdaten für diese Funktion über das Data-Science-Team hinaus zu demokratisieren. Dadurch wurden nicht-technische Stakeholder aufgefordert, mehr über die User Journey zu erfahren, die Redakteure in die Lage versetzt, die Suchabsichten der Benutzer besser zu verstehen und letztendlich die KI/ML-Fähigkeiten des Produkts und die Relevanz der bereitgestellten Inhalte zu verbessern.
Contents
Für uns bedeutet Pendo'ing, die Probleme der Nutzer im Zusammenhang mit der Nachverfolgung von Anleitungen, dem Experimentieren oder der Bewusstseinsbildung zu lösen. Wir entwickeln auch Analysen in jedem einzelnen Nutzerbericht, den wir schreiben, so dass es immer eine Komponente zur Verfolgung von Kennzahlen gibt, die wir über Pendo entwickeln.
Vinay Shukla, Product Manager, Thomson Reuters
Ein Vorschlag …
In der Welt der suchbasierten Plattformen war es schon immer das A und O, den Nutzern die richtigen Informationen zur richtigen Zeit zur Verfügung zu stellen. Und da Technologien wie maschinelles Lernen (ML) und künstliche Intelligenz (KI) auf dem Vormarsch sind, war es für Unternehmen noch nie so wichtig, den Nutzern relevante Inhalte zu bieten – und noch nie so effektiv, sich von der Konkurrenz abzuheben. Aber wie können Produktverantwortliche die Wirksamkeit von ML/KI in solchen Anwendungsfällen genau messen – und letztlich verbessern?
Die gesamte Plattform von Thomson Reuters basiert auf der Leistungsfähigkeit ihrer Suchfunktionen. Das Produkt Checkpoint Edge ermöglicht es Steuer- und Buchhaltungsexperten, schnell und effizient zu recherchieren und die benötigten Informationen zu finden. „Als Suchplattform haben wir ein Suchfeld, in das die Benutzer ihre Terminologie eingeben“, sagt Vinay Shukla, ehemaliger Produktverantwortlicher bei Thomson Reuters. „Wir haben auch eine Funktion namens 'Auto Suggest Box', die sich einblendet, nachdem der Benutzer seine [Such-]Begriffe eingegeben hat. Wir haben KI-Funktionen entwickelt, um auf der Grundlage der Eingaben des Nutzers empfohlene Suchvorschläge zu machen.
Shukla und sein Team benötigten eine Möglichkeit, um zu messen, wie gut diese automatische Vorschlagsfunktion funktionierte. Außerdem wollte er die Verhaltens- und psychologischen Aspekte genauer untersuchen, wie die Nutzer mit der Suchfunktion des Produkts interagieren. „[Wir wollten verstehen, wann] ein Benutzer seine Eingabe oder seine Tastenanschläge unterbricht oder wann ein Benutzer eine von uns vorgeschlagene Abfrage ändert“, erklärte Shukla „Diese Art von Informationen ist wirklich großartig für die künftige Pflege unserer KI/ML-Fähigkeiten, die viele dieser expliziten und impliziten Daten benötigen.“
Abfragen der Abfragen
Shukla und sein Team nutzten Events verfolgen in Pendo, um drei verschiedene Schlüsselkriterien im Suchprozess eines Benutzers zu erfassen: (1) die ersten Eingaben eines Benutzers, bei denen er keine Daten mehr eingibt; (2) ob der Benutzer etwas aus den automatisch vorgeschlagenen Dropdown-Abfragen ausgewählt hat oder nicht; und (3) die endgültige Suche des Benutzers. „Mit diesen drei Informationen eröffnen sich uns riesige Möglichkeiten zur Analyse, ob ein Benutzer seine Abfrage ändert – und was er in seine Abfrage eingibt“, erklärte Shukla.
Er merkte an, dass dieser dreifache Tracking-Ansatz es seinem Team ermöglicht, tiefer in das Benutzerverhalten einzudringen, um letztendlich die Leistung der ML-/KI-Algorithmen zu verbessern und zu optimieren. „Tippen sie noch? Haben sie bemerkt, dass ihre Frage bereits dort stand und sie danach suchen konnten? [Events verfolgen] verrät uns, wie gut automatische Vorschläge funktionieren und wie viele Informationen die KI für die automatischen Vorschläge benötigte, um Fragen vorzuschlagen“, so Shukla.
Shukla merkte an, dass das Verfolgen von Events in Pendo ein großer Fortschritt gegenüber der vorherigen Methode ist, die den Moment, in dem die Suche eines Benutzers ausgeführt wird, nicht erfasste. „Pendo ist genial, weil auch nicht-technische Personen die Daten aus dem Pendo-Dashboard abrufen und daraus Pivot-Tabellen erstellen können. „Wirklich schnelle Analysen können jetzt von Nicht-Datenwissenschaftlern durchgeführt werden“, sagte er.
Die Möglichkeit, diese Events nachzuverfolgen und das Nutzerverhalten besser zu verstehen, war auch für das Redaktionsteam von Thomson Reuters äußerst wertvoll. „In der Redaktion werden die Inhalte direkt für unsere Plattform erstellt“, erklärte Shukla. „Das Team wurde enorm darin bestärkt, selbst zu analysieren, welche Arten von Suchanfragen die Nutzer*innen eingeben. Wenn sie bestimmte Suchanfragen mitgestaltet haben, können sie jetzt auch nachvollziehen, nach welchen Alternativen zusätzlich gesucht wird. Dieses spezielle Tracking-Event hat also zu viel Eigenverantwortung und neuen Möglichkeiten geführt.“
Shukla and his team now leverage these tracked events to measure success in—and improve the functionality of—the Checkpoint Edge product. “If a user selects content from the dropdown, then that feature is a success,” he explained. “It has created a lot of opportunities for us to analyze the types of queries our users are actually inputting versus what they might have seen in the dropdown. It’s a chance for us to figure out if we need to enhance the feature or take things back to the drawing board if queries are serving up irrelevant information.”
Durch die Korrelation von Benutzerfeedback mit Analysen wurde außerdem der Erfolgsmessung der Funktion für automatische Vorschläge durch Shuklas Team ein tieferer Kontext hinzugefügt. Indem er ein Segment von Nutzern erstellt, die ein bestimmtes verfolgtes Event abgeschlossen haben, dann einen Net Promoter Score (NPS)-Bericht über diese Nutzer generiert und ihn mit einem Segment vergleicht, das nicht mit dem getrackten Ereignis interagiert hat, kann er besser verstehen, welche Auswirkungen die Funktion auf die Nutzerstimmung hat. „Für uns war es wirklich wichtig, die Trends zu sehen, wie die Leute in Bezug auf NPS auf diese Funktion reagierten“, erklärte Shukla.
Abschließend betonte Shukla, dass die einfache Datenextraktion aus Pendo ein großer Gewinn sei. „Der größte Vorteil ist, dass wir die Rohdaten direkt denjenigen zur Verfügung stellen können, die mit ihnen arbeiten“, sagte er. „Es erfordert weder großen Aufwand noch eine lange Einarbeitungszeit, um die Daten herunterzuladen und gezielt nach Suchanfragen zu filtern, die im Moment besonders gefragt sind – vor allem, wenn es darum geht zu verstehen, wonach gesucht wird.“
Pro tips
- Treat track events like a piece of formal development—with proper planning and grooming, just like you would any other feature in your backlog
- Beziehen Sie Architekten frühzeitig ein, damit diese bereits im Voraus prüfen können, welche anderen Ereignisse oder Metadaten nützlich sein könnten, um Ihnen ein vollständiges Bild des Benutzererlebnisses zu vermitteln.
- Wo immer möglich, verknüpfen Sie Analysen mit NPS-Daten, um ein tieferes Verständnis dafür zu gewinnen, wie bestimmte Funktionen die Nutzerbewertung direkt beeinflussen.
