Validiertes Lernen und das CoObeya Experiment Board
[ CoObeya Experiment Board hier kostenlos herunterladen ]
Rasend schnell verbreitet sich derzeit auch bei etablierten Unternehmen die Einsicht, dass es besser ist, Strategien und Investitionen in Innovation weder dem Bauchgefühl zu überlassen noch umfänglichen Planungen am grünen Tisch. Evidenz ist gefragt. Ideen werden so schnell wie möglich in Prototypen umgesetzt und dann in möglichst realistischen Szenarien getestet. Eine Idee entwickelt sich damit schnell vom Status ‚ich denke / ich vermute / ich meine‘ zum Status ‚wir haben festgestellt, wir konnten messen, wir wissen‘. Unternehmen, die frühzeitig so viel Evidenz in ihre Planungen bringen, generieren erhebliche Vorteile: Entwicklungen werden schneller, zielsicherer und schonen Ressourcen, da langwierige Planungen und mögliche Fehlentwicklungen durch frühzeitiges Testen ersetzt werden. Dieses Arbeiten mit Business Experimenten wird auch validiertes Lernen genannt.
Validiertes Lernen
Am Anfang des evidenzbasierten Entwickelns stehen Grundannahmen über eine Idee. Das sind Annahmen, die zentral sind für den Erfolg einer Entwicklung, aber bisher nicht validiert (getestet und bestätigt) sind. Für die ersten Online-Shops war z.B. eine zentrale Grundannahme, dass Menschen bereit sein werden, über das Internet zu kaufen. Diese Grundannahme ist mittlerweile millionenfach bestätigt. Zu Beginn, war das aber nicht klar.
Grundannahmen können in einzelne Hypothesen zerlegt und überprüft werden. Am Beispiel der frühen Online-Shops könnten diese Hypothesen lauten:
- Wenn wir Werbung schalten für einen Online-Shop werden pro Tag im Schnitt mindestens 1000 Kunden unsere Website besuchen.
- Wenn 1000 Kunden auf unserer Website sind, werden sich 200 davon mehrere Produkte anschauen.
- Wenn 200 Kunden den Shop durchstöbern, werden 15% einen Warenkorb anlegen.
- Wenn 30 Kunden einen Warenkorb anlegen, wird ein Drittel, also zehn, den Online-Prozess bis zur Kasse bewältigen.
- Von 10 Kunden, die an der Kasse angelangt sind, führen 60%, also sechs, tatsächlich den Kauf bis zur Bezahlung aus.
An diesem Beispiel wird deutlich, was der Unterschied zwischen Grundannahmen und Hypothesen ist. Grundannahmen sind umfassend und unspezifisch. Hypothesen zerlegen die Grundannahmen in tatsächlich messbare Einzelbestandteile. Damit wird die Überprüfung leichter und, wie an dem Beispiel zu sehen ist, ergeben sich daraus sogar vielfältige Ansatzpunkte, wie Einzelaspekte eines Angebots optimiert werden können.
Jede Innovation hat mehrere ungeprüfte Grundannahmen und jede wird in der Regel mehrere Hypothesen umfassen, die in Experimenten zu testen sind. Um sich nicht in einem Berg von Experimenten zu verlieren, ist es sinnvoll, Grundannahmen und Hypothesen nach Relevanz für die Innovation zu sortieren und diejenigen zuerst zu testen, die für die Idee die erfolgskritischsten sind.
Validiertes Lernen orientiert sich am Zyklus für Business Experimente, wie ihn Eric Ries in seinem Buch The Lean Startup vorgeschlagen hat.
Für jeden einzelnen Experimentierzyklus kann ein Testplan mit folgenden Schritten aufgestellt:
|
Realisieren |
Hypothese so ausformulieren, dass sie messbar wird, z.B.: Wenn wir A tun, dann wird B passieren. Das erkennen wird daran, dass X% unserer Kunden sich verhalten wie Y‘. |
|
Experiment vorbereiten: So schnell wie möglich das absolute Minimum dessen herstellen, was notwendig ist, um die Hypothese zu testen. |
|
|
Messen |
Das Verhalten beschreiben, das beobachtet werden soll, und dafür eine Metrik festlegen. Einen minimalen Zielwert festlegen, dessen Erreichen als Erfolg gilt. Der Wert sollte ruhig ambitioniert sein, also so hoch, dass das Team begeistert ist, wenn er erreicht wird. |
|
Experiment in möglichst realitätsnahem Setting durchführen. |
|
|
Ergebnisse festhalten und aufbereiten. |
|
|
Lernen |
Hintergrundinformationen, wie Schilderungen von Teilnehmerinnen und Teilnehmern, beobachtetes Verhalten etc. beachten und Erklärungsansätze entwickeln, die aufdecken, warum das Experiment genau so verlaufen ist. Dabei insbesondere auch Nebenergebnisse und Unerwartetes mitprotokollieren. |
|
Erkenntnisse, die die Sicht auf die Idee oder die Kunden verändern, herausarbeiten. Informationen und Erkenntnisse aus dem Experiment festhalten. |
|
|
Eine Entscheidung treffen, wie weiter vorgegangen wird. |
Damit ist ein kompletter validierter Lernzyklus beschrieben.
Das CoObeya Experiment Board
Zur Visualisierung eignet sich das CoObeya Experiment Board Es ist eine Weiterentwicklung der Experiment Loop Map von Brant Cooper und des Javelin Validation Boards. Es kann mit Haftnotizen leicht an einer Wand realisiert werden, sichert stets den Überblick über Experimente und den Stand des Lernfortschritts.
Die linke Spalte dient der Sammlung und Sortierung der Grundannahmen. Nach und nach werden sie mit absteigender Relevanz in Experimentierzyklen überführt. Jede Spalte im Experimentierbereichs bildet ein Experiment mit den oben genannten Schritten ab.
Eine Grundannahme nach der anderen wandert in die Kopfzeile des Experimentierbereichs. Jede Spalte kann für ein Experiment genutzt werden. Planungen und Ergebnisse können ebenfalls auf Haftnotizen visualisiert werden. Sobald verlässliche Erkenntnisse über eine Grundannahme vorliegen wandert sie in die rechte Spalte, entweder unter 'bestätigt' oder unter 'verworfen'. In der rechten Spalte bildet sich damit die Erkenntnisbasis des Projektes ab. Über mehrere Experimente hinweg wandelt sich die Einschätzung einer Idee oder Innovation von Vermutungen und Bauchgefühl hin zu mit Daten und Ergebnissen unterlegtem Wissen.
Es hat sich herausgestellt, dass es besonders wichtig ist, beim Experimentieren auf folgende Grundsätze zu achten:
- Hypothesen sollten wirklich so formuliert werden, dass sie messbar sind.
- Die Zielwerte sollten ambitioniert sein und insbesondere nicht nach dem Experiment einfach nach unten korrigiert werden. Wird beispielsweise eine Konversionsrate von 15% angestrebt und da Experiment liefert 12%, liegt der Reflex nahe zu sagen: Das ist ja auch ein gutes Ergebnis. Mit einer solchen Bewertung nimmt sich das Team aber die Chance, solange an der Realisierung der Idee zu arbeiten bis tatsächlich 15% erreicht werden.
- Das Experiment sollte möglichst realitätsnah durchgeführt werden. Natürlich ist es einfacher, schnell in die Nachbarabteilung zu gehen und Kollegen zu befragen. Die Ergebnisse werden aber deutlich von dem abweichen, was tatsächliche Kunden auf der Straße, im Geschäft oder zu Hause sagen und vor allem tun werden. Daher gilt die Regel: Zum Experimentieren unbedingt raus aus dem Firmengebäude.
- Ergebnisse und Begleitumstände sollten ausführlich diskutiert und die Annahme oder das Verwerfen einer Hypothese detailliert begründet werden. Bei Experimenten geht es nicht nur darum, eine Zahl zu bestätigen oder zu verwerfen, sondern darum, zu lernen. Das erfordert mehr als einen reinen Zahlenvergleich. Begleitumstände des Experiments, Äußerungen von Beteiligten, unerwartet aufgetretene Schwierigkeiten etc. sollten mit betrachtet werden. In den meisten Fällen entstehen daraus neue Erkenntnisse über Kunden bzw. Anwender und ihr Verhalten, über verbesserungsfähige Aspekte der Idee und natürlich Hinweise auf bisher noch nicht erkannte und nicht überprüfte Grundannahmen.
- Geschwindigkeit zählt: Nicht zu lange an einem Experiment festhalten, um es zu perfektionieren. Stattdessen kann man besser mehrere Experimente durchführen, die ähnliche Fragestellungen aus unterschiedlichen Winkeln betrachten. Der Aussagewert wird bedeutend höher. Insgesamt sollte die Zahl der Experimente pro Zeiteinheit immer weiter gesteigert werden.
- Zentral wichtig ist die Grundeinstellung aller Beteiligten: Es gibt keine gescheiterten Experimente, sondern nur solche mit unerwartetem Ausgang. Sie ermöglichen oft die wichtigsten Lernfortschritte.
Das CoObeya Experiment Board kann zum Ausdruck auf A0 hier kostenlos heruntergeladen und genutzt werden.
Weitergehende Informationen zu Business Experimenten, validiertem Lernen und vielen weiteren Methoden und Werkzeugen finden Sie im aktuellen Buch ‚Lean Digitization‘ von Uwe Weinreich, das im Springer Verlag erschienen ist. Es ist im Buchhandel erhältlich und über Amazon*