Wie Yahoo DSP mit Pendo die Plattformleistung verbesserte und die Kundenzufriedenheit erhöhte

Denken Sie an das letzte Mal, als Sie einen Automaten benutzt haben. Ist Ihr gewünschter Snack stecken geblieben? Hat die Maschine seltsame Fehlercodes ausgegeben? Wenn Sie auf Barrieren gestoßen sind, fühlten Sie sich wahrscheinlich frustriert, hilflos und hungrig.

Genau das ist Kameron Canbaz, Principal Product Manager bei Yahoo DSP, passiert. Eine nicht funktionierende Interaktion mit einem Verkaufsautomaten (er wollte unbedingt diese Donnettes haben) brachte ihn dazu, wie sich Reibung auf das Benutzererlebnis auswirkt. Das führte auf einer transformativen Product Journey zum Launch von Yahoo DSP mit Pendo Analytics.

Canbaz works on Yahoo’s demand side platform (DSP), which helps companies buy advertisements. Rather than going to individual websites and buying one ad at a time, advertisers input their budget and goals into Yahoo DSP, which finds the best ad placements to purchase at the right time.

Die Erfüllung der Benutzerbedürfnisse fördert das Produktwachstum

Eine der wichtigsten Aktivitäten, die Benutzer in Yahoo DSP ausführen, ist das Ausführen und Verwalten von Werbekampagnen. Es geht darum, wie Werbetreibende ihre Anzeigen ihren Zielgruppen präsentieren und wie Yahoo DSP Einnahmen erzielt. Wie bei jeder komplexen Plattform traten auch bei Yahoo DSP gelegentlich Probleme auf, die bei längerfristigem Vorhandensein Auswirkungen auf die Kunden haben.

Das Produktteam war proaktiv auf der Suche nach Möglichkeiten, diese Herausforderungen schnell zu identifizieren und zu bewältigen, um ein hervorragendes Erlebnis für Werbetreibende zu gewährleisten. Sie wollten eine Lösung, die es ihnen ermöglicht, Probleme schnell zu identifizieren und zu lösen, die nicht zu viele Ressourcen verbraucht und ein großartiges Kundenerlebnis schafft. Pendo Analytics stattete sie mit den Tools aus, um eine Fülle von Daten zu sammeln, die wertvolle Einblicke in die Leistungsoptimierung ermöglichen.

Building a foundation with democratized data

Canbaz created a simple three-step framework to guide the product team as they worked on addressing customer challenges:

1. Das Problem mit Daten quantifizieren
2. Plan and execute a strategy
3. Messen, ändern und wiederholen

Before using Pendo, the product team would have to rely on the engineering team to mine data and build complex dashboards, which could take multiple days or weeks depending on the request. But with his knowledge as an avid Pendo user, Canbaz knew that Track Events could provide the “missing link” for getting the data he needed without pulling engineers away from critical work.

Ein zusätzlicher Vorteil der Nutzung von Pendo ist, dass die Daten demokratisiert werden. Jeder Produktmanager hatte Zugang zu den notwendigen Daten, um Berichte zu erstellen und fundierte Entscheidungen zu treffen.

Pendo Analytics uncovered two key areas where the user experience could be enhanced— page performance and error handling. Canbaz went deep into each problem to find how they could make strategic updates to quickly improve the customer experience.

Using Track Events to pinpoint performance improvement opportunities

Um die erste Herausforderung zu bewältigen, platzierte das Team von Canbaz auf jeder Seite der Plattform „Events verfolgen“, die sich auf die Daten zu drei Bereichen konzentrierten:

• Aktueller Benutzerpfad
• Vorheriger Benutzerpfad
• Gesamtladezeit der Seite

These data points gave Canbaz the information he needed to determine what to prioritize to make the most impact. He gathered detailed metrics using the Pages section of Pendo to review the slowest pages and utilized Data Explorer to view their load times. He prioritized updating the top 10 pages with load times over five seconds.

Tiefer Einblick in Fehlermeldungen mit Daten auf einer Einzelseite

To tackle the errors in the platform, Canbaz again used Track Events. Looking at errors through the lens of Track Events allowed Canbaz’s team to see and quantify what their users were struggling with in the platform. He set a Track Event to fire whenever an error message occurred within the platform. He tracked four things:

• Error type—whether UI or API
• Fehlerquelle: Wie der Benutzer den Fehler erlebt
• Fehlermeldung: War sie für den Benutzer sinnvoll?
• Der aktuelle und der vorherige Pfad – wo befand sich der Benutzer auf seiner Reise, als der Fehler auftrat

Zunächst verwendete Canbaz einen globalen Fehlerbericht, um die Seiten mit den meisten Fehlern zu finden. Dann vertiefte er sich in jede Seite, um nach Mustern zu suchen. Indem er die Daten auf Einzelseitenebene betrachtete, konnte Canbaz feststellen, ob es bemerkenswerte Trends bei den Arten von Besuchern oder Konten gab, die die Fehlermeldung erhielten. Er konnte sich auch die Fehlermeldung ansehen, um festzustellen, ob sie unklar oder verwirrend ist.

An example he saw within the platform was very similar to his vending machine debacle, where the error code he received gave zero context to the actual problem. The error message users received didn’t explain what they were doing wrong or how they could fix the problem. They would end up attempting a workaround or abandoning the action entirely. Understanding the root cause of the error message required knowledge of the user and the timeframe where the error occurred.

Leveraging reports to create fast insights and improve performance

Da alle Daten vorlagen, musste Canbaz dem Ingenieurteam die richtigen Daten zur Verfügung stellen, damit es sich auf seine Arbeit konzentrieren konnte. Um die Leistung der Plattform zu verbessern, bot das Erstellen von Berichten zur Identifizierung bestimmter Seiten der Technikabteilung einen klaren Ausgangspunkt. Als die Ingenieure Verbesserungen einführten, verkürzten sich die Ladezeiten für die langsamsten Seiten. Das Produktteam setzte die Messung und Überwachung der Ladezeiten fort, um sicherzustellen, dass die Seiten weiterhin schneller wurden und keine neuen langsamen Seiten erschienen.

Um Fehlermeldungen zu beheben, erstellte das Produktteam zwei Berichte: Einen, um den Fehler an einem bestimmten Tag zu finden, und einen zweiten, um diesen Fehler auf einen bestimmten Zeitraum einzugrenzen. Dieser Grad an Spezifität lieferte den Ingenieuren die Informationen, die sie benötigten, um das Problem schnell zu lösen.

„Es stellte sich heraus, dass die Eingrenzung von Fehlern auf einen bestimmten Zeitraum die hilfreichsten Daten waren, die wir den Ingenieuren zur Verfügung stellen konnten“, sagte Canbaz „Dadurch konnten sie den Fehler in unseren eigenen internen Systemen genau lokalisieren.“

Plattformverbesserungen = zufriedenere Kunden

Nach der anfänglichen Implementierung durch die Technik wurden die Ladezeiten der zehn langsamsten Seiten um bis zu 80 % verkürzt. Die Kunden begannen darüber zu sprechen, wie „schnell“ sich die Plattform anfühlte. „Jeder, der an einem B2B-Produkt arbeitet, weiß, wie schwierig es sein kann, unaufgefordert positives Feedback zu seinen Produkten zu erhalten“, bemerkt Canbaz.

Die Fehlerhäufigkeit wurde drastisch reduziert, wobei Canbaz sagte: „Was früher viele Fehler auf einmal waren, ist jetzt praktisch auf null gesunken.“ Er setzt den Prozess der Fehlerberichterstattung bei immer mehr Produktmanagern innerhalb des Unternehmens fort, um Fehler innerhalb der DSP zu verringern.

Messen, ändern, wiederholen: Mit Pendo das Risiko reduzieren

This process was not a one-and-done fix. Using Pendo data, Canbaz continuously tracks performance and error data. The power of Pendo data reduces the back and forth between product and engineering, streamlining their processes and speeding time to action.

Canbaz built the reports to be easily replicable so any product manager can simply adjust filters as needed to find the data they’re looking for and package for engineering. Pendo continues to help Canbaz and team deliver data, action improvements, and monitor success.

„Durch die Nutzung von Pendo konnten wir das gesamte Ausmaß des Problems schnell erfassen“, erklärt Canbaz. „Wenn wir Lösungen für die Probleme entwickeln, halten wir uns weiterhin an unser Rahmenwerk und passen es im Laufe der Zeit an, um kontinuierliche Fortschritte sicherzustellen.“ Das bedeutet, dass wir mehr Zeit haben, um unsere Plattform weiterhin unglaublich benutzerfreundlich zu gestalten.

Pro tips

• Errors are inevitable and how we handle them matters. Be vigilant about finding and fixing errors before they drive your users away.
• Performance challenges can ruin a workflow. Use data to pinpoint the exact places where performance is a problem and determine how you can fix it.
• Predicting issues is tough—by the time we know about them, users are likely already affected. You must listen to your users regularly to find and fix these issues fast.