So wird man ein datengestützter Produktmanager

Aus den Antworten können wir eine Handvoll Schlüsselthemen herausfiltern: die Verwendung von Daten zur Entscheidungsfindung im Dienste Ihrer Kunden, die Nutzung von Daten während des gesamten Produktlebenszyklus, das Erfassen von Daten aus verschiedenen Kanälen und das Abwägen von Fakten und Zahlen mit den eigenen Instinkten. Im weiteren Verlauf des E-Books werden wir auf jeden dieser Punkte näher eingehen, aber beginnen wir mit dem Elefanten im Zimmer: der menschlichen Seite der Datenanalyse.

• Daten zur richtigen Zeit nutzen
• Balancieren von Signalen
• Verwendung der richtigen Menge an Daten
• Intuition
• Über den gesamten Produktlebenszyklus hinweg
• Umsetzbare Erkenntnisse aus Daten
• Auf Kundenbedürfnisse eingehen
• Verstehen der Benutzer
• Qualitativ und quantitativ
• Datengestützt
• Das Unternehmen verbinden

Es gibt kein datengetriebenes Produktmanagement ohne den PM

In seinem neuesten Buch 21 Lektionen für das 21. Jahrhundert schreibt der Historiker Yuval Noah Harari: „In einer Welt, die überflutet wird von belanglosen Informationen, ist Klarheit Macht.“ Für Produktmanager sind diese irrelevanten Informationen (und hoffentlich jede Menge relevanter Informationen) Daten, die aus einer Vielzahl von Quellen stammen. Es ist dann Sache des PM, daraus schlau zu werden.

Wie wir im vorigen Abschnitt gehört haben, bedeutet „datengetrieben“ nicht unbedingt, den Daten blind zu folgen. Vielmehr ist die mit der Analyse der vorliegenden Daten beauftragte Person genauso wichtig (wenn nicht sogar wichtiger) wie die Daten selbst. Und es gibt zwei Schlüsselbereiche, in denen das menschliche Element der Datenanalyse nicht gegen einen Algorithmus oder ein automatisiertes System ausgetauscht werden kann.

1. Entscheidungen treffen

Egal wie informativ oder aufschlussreich die Daten auch sein mögen – eine menschliche Meinung wird immer nötig sein. Laut Tatyana Mamut, Produktleiterin bei Nextdoor, besteht die Aufgabe eines Produktleiters darin, die Daten effektiv zu interpretieren, ihre Bedeutung zu verstehen und dann Entscheidungen zu treffen, je nachdem, ob die Situation eine Entscheidung erfordert, die auf empirischen Beobachtungen oder auf Werten (oder beidem) beruht.

Travis Turney, leitender Datenstratege bei Rapid7, schloss sich dieser Meinung an: „Es wird nie ein Programm geben, in das man ein paar Eingaben macht und das genau die richtige Lösung ausspuckt. Es gibt keine Datenanalyse ohne einen Menschen, der daran beteiligt ist.“

Sicher, es gibt einige Fragen im Produktmanagement, die mit einem einzigen Datenpunkt beantwortet werden können – Welche Funktion hat mehr Nutzen? Wie hoch ist unser durchschnittlicher NPS-Score? Welchen Prozentsatz der Benutzer des Typs X haben wir nach drei Monaten bei uns behalten? – aber es gibt noch viele weitere Fragen, die sich nicht mit nur einem Punkt beantworten lassen.

Wenn Sie herausfinden möchten, warum Benutzer an einem bestimmten Punkt des Workflows aussteigen, wie sich die Nutzung für eine bestimmte Funktion geändert hat oder welche Version eines In-App-Guides die meisten Aktionen auslöst, muss ein menschlicher Entscheidungsträger beteiligt sein.

2. Im Gespräch mit Kunden

Alles, was ein Produktmanager tut, ist im Dienst des Kunden. Und im direkten Gespräch lässt sich am besten verstehen, was Ihre Kunden benötigen oder von Ihrem Produkt erwarten. Greg Bayer, SVP für Produkte bei Nielsen, sagt, dass regelmäßige Kundengespräche, um Feedback zu bestimmten „Funktionen zu erhalten, bei der Roadmap-Planung zu helfen oder sogar zu erfahren, wie sie komplementäre Technologien einsetzen, einen Makrostandpunkt für den Produktmanager darstellen, der für die umfassende Vision entscheidend ist“.

Selbst wenn Sie glauben zu wissen, was Kunden wünschen, je nachdem, wie sie mit Ihrem Produkt interagieren (z. B. anhand von Produktnutzungsdaten) oder wie sie es empfinden (z. B. anhand von NPS- oder CSAT-Umfragen), kann nichts die Erkenntnisse ersetzen, die Sie aus persönlichen (oder virtuellen) Gesprächen gewinnen. Sam Benson sagte, dass es für das Product Operations Team von Firefly Learning äußerst wichtig ist, quantitative Daten mit qualitativen Recherchen aus Benutzerinterviews zu kombinieren, um das „Warum“ in jeder Phase des Erkenntnisprozesses zu verstehen.

Produktmanager müssen Daten verantwortungsvoll nutzen

Je mehr Daten die Produktmanager verwenden, desto mehr Nutzen entsteht (im Idealfall). Doch Beatrice Fabris, Benutzererlebnis-Managerin zuständig für Inhalte und Entwicklung bei Mimecast, erkannte schnell, „dass man die Daten häufig so drehen und wenden kann, wie man will“. Obwohl quantitative Daten als objektiv gelten, können sie dennoch missbraucht werden, je nachdem, wie der Mensch, der hinter der Analyse steht, sie präsentiert.

Produktmanager haben die Verantwortung, Daten so zu verwenden, dass das Gesamtbild nicht verzerrt oder verdeckt wird. Es wird immer erforderlich sein, dass Produktmanager auf ihre eigene Intuition, Erfahrung und Meinungen zurückgreifen, um die richtigen Entscheidungen zu treffen. Aber Daten spielen bei diesen Entscheidungen in jeder Phase des Lebenszyklus der Produktentwicklung eine wichtige Rolle.

So nutzen Produktmanager Daten

Obwohl Daten für einen Produktmanager immer nützlich sind, ist dieser Nutzen stets unterschiedlich. Rekha Venkatakrishnan, ein leitender Manager des Konzern-Produktmanagements, betrachtet Daten als einen fortlaufenden Teil des Produktentwicklungs-Lebenszyklus. Hierbei kommt es jedoch darauf an, sicherzustellen, dass Sie wissen, welche Daten Sie benutzen wollen (und warum), um Ihre Ziele zu erreichen.

Beatrice Fabris von Mimecast schloss sich dieser Meinung an: „Ich würde eigentlich nicht sagen, dass es einen bestimmten Bereich gibt, in dem Daten am wertvollsten sind. Daten können während des gesamten Prozesses verwendet werden. Wir müssen nur sicherstellen, dass wir die Daten auf die richtige Art und Weise nutzen, denn nur so erhalten wir den meisten Nutzen.“

Sie erklärte weiter, dass im UX-Team je nach Phase, in der sich ein Produkt befindet, unterschiedlich an Daten herangegangen wird. Vor der Einführung einer neuen Funktion untersucht sie, wo Benutzer viel Zeit im Produkt verbringen, um so herauszufinden, wo sie ergänzende In-App-Guides einsetzen sollten. Bei einem Produkt, das bereits auf dem Markt ist, verwenden sie Daten, um Bereiche zu identifizieren, die verbessert werden müssen, und um die Leistung von In-App-Guides zu bewerten.

Dennoch lohnt es sich, auf Bereiche der Produktentwicklung und des Kundenlebenszyklus hinzuweisen, in denen Daten eine wichtige Rolle spielen können:

ENTDECKUNG

Im Rahmen des Erkenntnisprozesses können Produktmanager Daten nutzen, um mögliche Schwachstellen im Produkt zu identifizieren und darüber zu informieren, welche Änderungen oder Aktualisierungen vorgenommen werden sollten. Auf der anderen Seite ist es auch nützlich, einen Blick auf die am häufigsten verwendeten Funktionen zu werfen, um zu sehen, ob sich dieses Erlebnis für Ihre Benutzer verbessern lässt. Wenn Sie wissen, dass eine bestimmte Funktion mit wichtigen Kundenergebnissen verbunden ist, sollten Sie immer nach neuen Möglichkeiten suchen, diese besser zu machen.

Roadmapping

Daten zur Produktnutzung sind wertvoll, um direkt in die Produkt-Roadmap einzufließen (d. h. welche Funktionen werden von den Kunden am häufigsten genutzt und erfordern daher mehr Aufmerksamkeit?), aber Viraj Phanse, Produktmanager bei Amazon Web Services, erwähnte ein anderes Szenario. Er betonte, dass manchmal ein Produktmanager eine Idee für die Roadmap habe, aber keine Daten zur Verfügung stünden, um sie zu belegen. In diesem Fall müssen die PMs die Entscheidung so oder so treffen und dabei auch intelligente Risiken eingehen. Ein kundenorientierter Ansatz kann ebenfalls hilfreich sein: Konzentrieren Sie sich während der gesamten Roadmap-Journey auf die Probleme Ihrer Kunden und fragen Sie sich ständig, welches Kundenproblem Sie lösen möchten.

Einführung von Funktionen

Greg Bayer von Nielsen sagt, dass sein Team bei der Einführung neuer Funktionen immer zuallererst die Akzeptanz und Nutzung verfolgt, einschließlich der Frage: Wie viele Kunden nutzen die neue Funktion, und führt sie insgesamt zu einem größeren Engagement für das Produkt? Er betonte, wie wichtig es ist, Erfolgskriterien mit Ihren Kunden zu verknüpfen, denn schließlich wollen Sie, dass Ihre Kunden erfolgreich sind, weil sie Ihr Produkt genutzt haben.

Sie sollten auch den Erfolg einer neuen Funktion analysieren, um etwaige Nutzungsmuster zu verstehen und zu erfahren, was die Kunden möglicherweise noch von dem Produkt erwarten. Vor allem sollten Sie sicherstellen, dass Sie über eine Tracking-Funktion verfügen, bevor Sie eine neue Funktion einführen. Travis Turney von Rapid7 ist der Meinung, dass die Kennzahl selbst nicht so wichtig ist wie eine Art Messprogramm, damit man mit der Zeit lernen kann, was ein „guter“ Wert ist.

Onboarding

Bei der Entwicklung einer Onboarding-Strategie können Produktdaten Ihnen dabei helfen, zu bestimmen, welche Funktionen in Ihren Onboarding-Flow einbezogen werden sollten (d. h. diejenigen, die am ehesten zum Erfolg des Produkts führen). Außerdem können Produktdaten Ihnen helfen, die Onboarding-Effektivität zu messen.

Auch Travis Turney von Rapid7 bezeichnete das Onboarding als einen wichtigen Bereich, um durch die über die Kunden erfassten Daten mehr über sie zu erfahren. Da sich Kunden bei der ersten Nutzung Ihres Produkts eher wohl fühlen, wenn sie Informationen über sich selbst zur Verfügung stellen, ist dies laut Travis Ihre beste Gelegenheit, Daten zu erfassen (z. B. über ihre Position in ihrem Unternehmen). Mit diesen Informationen können Sie dann in Zukunft ein individuelleres Produkterlebnis bieten.

Experimentieren und Testen

Der Experimentierprozess ist auf die Daten angewiesen, während Sie testen, analysieren und lernen, was funktioniert und was nicht. Manosai Eerabathini von Google sieht Daten als entscheidend für Experimente, insbesondere bei Produkten, die gut etabliert sind und bei denen das Testen und Implementieren von kleinen Optimierungen des Nutzererlebnisses eine große Wirkung erzielen kann.

Andy Browning, Benutzererlebnis-Autor bei Mimecast, erklärte dies aus der Perspektive des Benutzererlebnis-Teams: „Wir haben festgestellt, dass wir, wenn wir Benutzertests durchführen, unsere eigenen Ideen und Instinkte einfließen lassen. Dann sehen wir jedoch, wie sich die Benutzer in Wirklichkeit mit dem Produkt beschäftigen und erhalten die Daten. Und dann kann es sein, dass wir völlig falsch liegen. Und daran lässt sich dann nicht herumargumentieren – es ist offensichtlich, wo man Verbesserungen vornehmen muss.“

Retention

Kundenbindung ist immer wichtig, aber es ist für Unternehmen noch wichtiger geworden, der Kundenbindung einen Schritt voraus zu sein und zu verstehen, wie die Kunden die Anwendung nutzen. Sam Benson erläuterte, wie CSMs (Customer Success Manager) bei Firefly Learning eine gute Vorstellung von den Benutzer-Journeys ihrer Kunden haben müssen, um produktive Gespräche führen zu können, insbesondere wenn es um Verlängerungen geht. Auf diese Weise können CSMs die richtigen Empfehlungen anbieten, die auf die Nutzung des jeweiligen Kundenkontos zugeschnitten sind.

Von Kunden, die abwandern, können Sie am meisten lernen

Daten beginnen und enden nicht mit dem PM

Wenn sie effektiv genutzt werden, existieren Produktdaten als gemeinsame Sprache im gesamten Unternehmen. Nahezu jedes Team hat einen Grund, sich dafür zu interessieren, wie das Produkt funktioniert oder wie die Kunden es benutzen, insbesondere bei Organisationen, die „produktgeführt“ sind. Ein großer Teil der Aufgabe eines Produktmanagers besteht also darin, den Rest der Organisation mit den gesammelten Daten und Erkenntnissen zu versorgen.

Hier sind einige Tipps für den effektiven Austausch von Produktdaten:

• Sicherstellen, dass alle Beteiligten Zugang zu den Produktdaten haben
• Beim Austausch von Produktdaten ist es wichtig, die Informationen bereitzustellen, die für jede Art von Stakeholdern (z. B. die verschiedenen Teams) relevant sind.
• Wenn Sie eine Nordstern-Kennzahl haben, so können Sie diese als Instrument für den Austausch von Produktdaten verwenden.
• Einbeziehen von Produktdaten in die gemeinsame Nutzung bei unternehmensweiten Meetings für alle Mitarbeiter oder Townhall-Meetings.
• Erläutern Sie den Kontext, warum die Daten für jeden Interessenvertreter oder jedes Team speziell wichtig sind
• Verwenden Sie Slack (oder einen anderen Kommunikationskanal), um Produktdaten auszutauschen und kollaborative Gespräche zu fördern.

Ein Anwendungsfall für Product Ops

Wichtige Kennzahlen

Daten zu nutzen, um ein hervorragendes Produkt zu schaffen, ist nur die halbe Miete. Produktmanager müssen auch Produktnutzung, Nutzerstimmung und Kundenfeedback verfolgen, um kontinuierlich das beste Produkterlebnis zu bieten und sicherzustellen, dass die Bedürfnisse der Kunden erfüllt werden. Sogar Sweetgreen, eine Fast-Casual-Kette für Salate, bezeichnet sich als Technologieunternehmen und geht dazu über, Kennzahlen wie aktive App-Benutzer und Lifetime Value von Kunden zu verfolgen, anstatt nur Ladenverkäufe oder Besucherzahlen zu erfassen.

Der Mensch fühlt sich von Natur aus zu Informationen hingezogen, die klar strukturiert und, wenn möglich, vereinfacht sind. Am schwierigsten ist es oft, zu bestimmen, welche Produktkennzahlen gemessen werden sollen und, davon ausgehend, welche Kennzahlen am wichtigsten sind. Als wir unsere Interviewpartner fragten, was die wichtigsten zu messenden Kennzahlen für PMs sind, gab es einen überwältigenden Konsens: Es kommt darauf an.

Hier sind einige der Faktoren, die sich darauf auswirken, welche Kennzahlen Produktmanager verfolgen sollten:

• Ist Ihr Unternehmen ein B2B-, B2C- oder Hybridunternehmen?
• Ihre Branche (z. B. SaaS oder Nicht-SaaS, Unternehmen oder Verbraucher als Kunden)
• Das Stadium, in dem sich Ihr Produkt befindet
• Die Ziele Ihres Unternehmens (z. B. Neukundengewinnung oder -bindung)

Da es keine allgemeingültigen Produktkennzahlen gibt, finden Sie hier einige Möglichkeiten, wie Sie bei der Auswahl der Schwerpunkte vorgehen können:

Zwei Beispiele für Kennzahlensysteme

1. Viraj Phanse von Amazon Web Services stellt ein Kennzahlensystem zur Verfügung, bei dem Sie die Kennzahlen nach dem internen Team oder externen Interessengruppen kategorisieren, für die sie relevant sind. Hier sind Beispielkennzahlen für jede seiner vier definierten Kategorien:

• Management: Umsatz, Rentabilität, Net Promoter Score (NPS), Kundenbindung, Customer Lifetime Value (CLV)
• Kunde: NPS, Customer Satisfaction Score (CSAT), Customer Effort Score (CES)
• Marketing: CLV, Konvertierungen, Wachstum der täglichen und monatlichen aktiven Benutzer
• Technische Abteilung: Anzahl der Probleme, Geschwindigkeit, Click-Through-Rate, NPS

2. Tatyana Mamut von Nextdoor stellte das von ihrem Team entwickelte Kennzahlensystem vor, das ebenfalls in vier Kategorien unterteilt ist:

• Produktwert: Hierbei handelt es sich um nachlaufende Indikatoren für den Produkterfolg wie Engagement-Kennzahlen (z. B. DAU/ MAU) und Umsatz.
• Produktverbundenheit: Diese helfen dem Produktteam zu verstehen, ob sie ein Produkt anbieten, das die Kunden nicht nur benutzen, sondern eines, das sie lieben. Im Idealfall handelt es sich um vorlaufende Indikatoren wie WAU (in der 4. Woche) und NPS.
• Produktzweck: Die meisten Unternehmen haben eine Zweckerklärung, messen aber nicht unbedingt ihre Effektivität bei der Erfüllung dieses Zwecks. Bei Nextdoor macht das Team dies anhand einer Kennzahl für die Leistungsfähigkeit der Nachbarschaft (Neighborhood Vitality metric), die sie anhand der Anzahl der hergestellten qualitativ hochwertigen Verbindungen (online und offline) und der Menge der gemeldeten Inhalte auf ihrer Plattform verfolgen.
• Passionierte Mitarbeiter: Da man ohne engagierte Mitarbeiter kein hervorragendes Produkt schaffen kann, misst Nextdoor die Motivation der Mitarbeiter (durch häufige Umfragen und ständiges Feedback) und bringt sie auf die oberste Ebene ihres Messrahmens.

Die Nordstern-Kennzahl

Die Idee einer Nordstern-Kennzahl ist eine gängige Praxis für Produktteams, die sich auf einen Datenpunkt konzentrieren wollen. Da es oft schwierig ist, alle Daten von verschiedenen Quellen auszubalancieren, hilft eine Nordstern-Kennzahl den Teams dabei, sich auf eine Sache zu konzentrieren. Der einzige Nachteil ist, dass Produktmanager dadurch andere Produktsignale aus den Augen verlieren können, die ebenfalls wichtig sind.

Manosai Eerabathini von Google war nicht immer vom Konzept der Nordstern-Kennzahl überzeugt. Mit der Zeit hat er allerdings erkannt, wie wertvoll es ist, seinen Fokus zu bündeln und seine Fortschritte anhand einer umfassenden Kennzahl zu verfolgen. Seine Herangehensweise an die Nordstern-Kennzahl besteht darin, eine Hierarchie von unterstützenden Kennzahlen aufzubauen, auf denen sich eine umfassende Kennzahl aufbauen lässt.

Bei Tray.io erstellte das Team eine eigene Nordstern-Kennzahl unter der Bezeichnung „Benutzer-Score“, die mehrere Datenpunkte (z. B. täglich aktive Benutzer, Klicks und andere Trichter-Kennzahlen) in einer übergeordneten Ansicht zusammenfasst. Bella Renney sagt, dass sie sich täglich mit dieser Kennzahl befasst, wobei sie normalerweise die Anzahl der Benutzer untersucht, die sich in drei verschiedenen Bereichen der Scores befinden. Dieser aggregierte Score ermöglicht es ihrem Team auch, die zugrunde liegenden Datenpunkte zu untersuchen, um zu verstehen, warum der Score eines bestimmten Kunden gestiegen oder gesunken ist.

Ihr Rat zur Wahl einer eigenen Nordstern-Kennzahl oder eines eigenen umfassenden Scores? „Schauen Sie sich genau an, was Erfolg für Ihre Nutzer bedeutet, und bauen Sie Ihren Score speziell darauf auf.“

Quantitative und qualitative Ausgewogenheit

Ein weiteres Thema, das in fast jedem Gespräch aufkam, ist, dass die PMs quantitative und qualitative Daten gegeneinander abwägen müssen. Laut Greg Bayer von Nielsen „muss ein guter Produktmanager beides zu gleichen Teilen miteinander verbinden“.

Das kann wie folgt aussehen:

Bei Mimecast, so Beatrice Fabris, verwenden sie ihr Produktanalyse-Tool, um zu validieren, ob die Problembereiche, die das Team bei Kundenanrufen am häufigsten hört, mit den Bereichen übereinstimmen, in denen die Benutzer die meiste Zeit im Produkt verbringen. Die Daten ergänzen qualitative Informationen aus Supportanfragen, um so ein vollständigeres Bild zu erstellen.

Travis Turney von Rapid7 betonte, dass die Aussagekraft quantitativer und qualitativer Daten besonders wichtig sei, wenn das Team daran arbeitet, seinen Onboarding-Flow zu optimieren. Durch die Kombination von Informationen aus Support-Tickets und Produktnutzung konnten sie Bereiche des Produkts besser identifizieren, in denen sich mithilfe höherer Investitionen ein besseres Erlebnis für neue Kunden schaffen ließ.

Viraj Phanse von Amazon Web Services nannte ein Beispiel im Zusammenhang mit dem Verständnis von Kundenproblemen – er vertritt die Ansicht, dass Produktmanager wirklich mit Kunden sprechen müssen, um die Probleme, mit denen sie konfrontiert sind, zu verstehen.

Weiter geht es darum, sich in die quantitative Seite der Dinge zu vertiefen, indem man sich die Antworten auf NPS-Umfragen oder die Kohortenanalyse für die spezifische Funktion ansieht, bei dem der Kunde Probleme hat.
Als Nächstes hören wir, was Produktmanager laut unseren Experten benötigen, um Daten effektiv nutzen zu können.

Besseres datengetriebenes Produktmanagement

Um anderen Produktverantwortlichen zu helfen, sich weiter zu verbessern, baten wir unsere Befragten, die eine Fähigkeit oder das Tool zu nennen, das ein datengetriebener Produktmanager für seine Arbeit benötigt. Folgendes hatten sie zu sagen (PMs, bitte mitschreiben).