Staying a step ahead of the search box
Thomson Reuters at a Glance
Thomson Reuters is a multinational media conglomerate. Their Checkpoint Edge platform (from their tax and accounting solutions division) helps finance professionals streamline their research processes with help from artificial intelligence and machine learning technologies.
Industry
Information Services
The Challenge
Als die Steuer- und Buchhaltungsabteilung von Thomson Reuters eine neue, auf künstlicher Intelligenz (KI) und maschinellem Lernen (ML) basierende Suchmaschine für ihre Checkpoint-Edge-Plattform entwickelte, war ihr klar, dass sich die Art und Weise, wie Benutzer mit ihrem Dienst interagieren, dramatisch verändern würde. Das Team musste jedoch verstehen, wie die Benutzer mit dieser neuen Funktionalität interagierten, damit es die Relevanz der Suchvorschläge und der dahinterstehenden Inhalte weiter verbessern konnte.
Umsetzung mit Pendo
Thomson Reuters nutzte die Funktion „Events verfolgen“ in Pendo für Einblicke in drei kritische Phasen des Sucherlebnisses eines Benutzers und korrelierte dann die Ergebnisse mit den NPS-Werten der Nutzer. Dadurch erhielte das Unternehmen ein vollständiges Bild von der Leistung der Funktion und wie sie die Bewertung beeinflusste.
Die Resultate
Durch den Einsatz von Pendo hat das Team von Thomson Reuters dazu beigetragen, die Nutzungsdaten für diese Funktion über das Data-Science-Team hinaus zu demokratisieren. Dadurch wurden nicht-technische Stakeholder aufgefordert, mehr über die User Journey zu erfahren, die Redakteure in die Lage versetzt, die Suchabsichten der Benutzer besser zu verstehen und letztendlich die KI/ML-Fähigkeiten des Produkts und die Relevanz der bereitgestellten Inhalte zu verbessern.
To us, Pendo’ing means solving user pain points around guidance tracking, experimentation, or awareness. We also build analytics into every single user story that we write—so there’s always a component of tracking metrics we build in through Pendo.
Vinay Shukla, Product manager, Thomson Reuters
Ein Vorschlag …
In der Welt der suchbasierten Plattformen war es schon immer das A und O, den Nutzern die richtigen Informationen zur richtigen Zeit zur Verfügung zu stellen. Und da Technologien wie maschinelles Lernen (ML) und künstliche Intelligenz (KI) auf dem Vormarsch sind, war es für Unternehmen noch nie so wichtig, den Nutzern relevante Inhalte zu bieten – und noch nie so effektiv, sich von der Konkurrenz abzuheben. Aber wie können Produktverantwortliche die Wirksamkeit von ML/KI in solchen Anwendungsfällen genau messen – und letztlich verbessern?
Die gesamte Plattform von Thomson Reuters basiert auf der Leistungsfähigkeit ihrer Suchfunktionen. Das Produkt Checkpoint Edge ermöglicht es Steuer- und Buchhaltungsexperten, schnell und effizient zu recherchieren und die benötigten Informationen zu finden. „Als Suchplattform haben wir ein Suchfeld, in das die Benutzer ihre Terminologie eingeben“, sagt Vinay Shukla, ehemaliger Produktverantwortlicher bei Thomson Reuters. „Wir haben auch eine Funktion namens 'Auto Suggest Box', die sich einblendet, nachdem der Benutzer seine [Such-]Begriffe eingegeben hat. Wir haben KI-Funktionen entwickelt, um auf der Grundlage der Eingaben des Nutzers empfohlene Suchvorschläge zu machen.
Shukla und sein Team benötigten eine Möglichkeit, um zu messen, wie gut diese automatische Vorschlagsfunktion funktionierte. Außerdem wollte er die Verhaltens- und psychologischen Aspekte genauer untersuchen, wie die Nutzer mit der Suchfunktion des Produkts interagieren. „[Wir wollten verstehen, wann] ein Benutzer seine Eingabe oder seine Tastenanschläge unterbricht oder wann ein Benutzer eine von uns vorgeschlagene Abfrage ändert“, erklärte Shukla „Diese Art von Informationen ist wirklich großartig für die künftige Pflege unserer KI/ML-Fähigkeiten, die viele dieser expliziten und impliziten Daten benötigen.“
Abfragen der Abfragen
Shukla and his team turned to track events in Pendo to capture three different key criteria in a user’s search process: (1) a user’s first inputs, upon which they stop entering data; (2) whether or not the user selected something from the auto suggest dropdown queries; and (3) the user’s final search. “With these three pieces of information, we’re starting to open up a huge world of analyzing whether a user is modifying their query—and what they put in their query,” Shukla explained.
Er merkte an, dass dieser dreifache Tracking-Ansatz es seinem Team ermöglicht, tiefer in das Benutzerverhalten einzudringen, um letztendlich die Leistung der ML-/KI-Algorithmen zu verbessern und zu optimieren. „Tippen sie noch? Haben sie bemerkt, dass ihre Frage bereits dort stand und sie danach suchen konnten? [Events verfolgen] verrät uns, wie gut automatische Vorschläge funktionieren und wie viele Informationen die KI für die automatischen Vorschläge benötigte, um Fragen vorzuschlagen“, so Shukla.
Shukla merkte an, dass das Verfolgen von Events in Pendo ein großer Fortschritt gegenüber der vorherigen Methode ist, die den Moment, in dem die Suche eines Benutzers ausgeführt wird, nicht erfasste. „Pendo ist genial, weil auch nicht-technische Personen die Daten aus dem Pendo-Dashboard abrufen und daraus Pivot-Tabellen erstellen können. „Wirklich schnelle Analysen können jetzt von Nicht-Datenwissenschaftlern durchgeführt werden“, sagte er.
Die Möglichkeit, diese Events nachzuverfolgen und das Nutzerverhalten besser zu verstehen, war auch für das Redaktionsteam von Thomson Reuters äußerst wertvoll. „In der Redaktion werden die Inhalte direkt für unsere Plattform erstellt“, erklärte Shukla. „Das Team wurde enorm darin bestärkt, selbst zu analysieren, welche Arten von Suchanfragen die Nutzer*innen eingeben. Wenn sie bestimmte Suchanfragen mitgestaltet haben, können sie jetzt auch nachvollziehen, nach welchen Alternativen zusätzlich gesucht wird. Dieses spezielle Tracking-Event hat also zu viel Eigenverantwortung und neuen Möglichkeiten geführt.“
Shukla and his team now leverage these tracked events to measure success in—and improve the functionality of—the Checkpoint Edge product. “If a user selects content from the dropdown, then that feature is a success,” he explained. “It has created a lot of opportunities for us to analyze the types of queries our users are actually inputting versus what they might have seen in the dropdown. It’s a chance for us to figure out if we need to enhance the feature or take things back to the drawing board if queries are serving up irrelevant information.”
Correlating user feedback with analytics has also added a deeper layer of context to how Shukla’s team measures the auto suggest feature’s success. By creating a segment of users who’ve completed a specific tracked event, then generating an Net Promoter Score (NPS) report of those users and comparing it to a segment that has not engaged with the tracked event, he is better able to understand the impact the feature has on user sentiment. “It was really important for us to see the trends of how people were reacting in terms of NPS with this feature,” Shukla explained.
Abschließend betonte Shukla, dass die einfache Datenextraktion aus Pendo ein großer Gewinn sei. „Der größte Vorteil ist, dass wir die Rohdaten direkt denjenigen zur Verfügung stellen können, die mit ihnen arbeiten“, sagte er. „Es erfordert weder großen Aufwand noch eine lange Einarbeitungszeit, um die Daten herunterzuladen und gezielt nach Suchanfragen zu filtern, die im Moment besonders gefragt sind – vor allem, wenn es darum geht zu verstehen, wonach gesucht wird.“
Pro tips
- Treat track events like a piece of formal development—with proper planning and grooming, just like you would any other feature in your backlog
- Get architects involved early so they can start looking ahead to what other events or pieces of metadata could be useful to give you a complete picture of the user experience
- Wo immer möglich, verknüpfen Sie Analysen mit NPS-Daten, um ein tieferes Verständnis dafür zu gewinnen, wie bestimmte Funktionen die Nutzerbewertung direkt beeinflussen.
Erfahren Sie, wie Pendo gleich ab dem ersten Tag Mehrwert für Ihr Unternehmen schaffen kann
