Poniższe notatki powstały na podstawie webinaru „Finding Your Product’s North Star Metric” prowadzonego przez Hannah Woodburn (FullStory), Abby Kuzmanoff (Amplitude) oraz Tommy’ego Noonana (FullStory). Wszystkie przedstawione przemyślenia, obserwacje i wnioski pochodzą od uczestników tej rozmowy.

TL;DR

North Star Metric jednoczy organizację wokół wspólnego celu i ułatwia podejmowanie decyzji produktowych
Metryka musi być powiązana z wartością dla klienta, a nie stanowić jedynie wskaźnika aktywności
Trzy typy produktów wymagają różnych podejść: attention (Netflix), transaction (Amazon), productivity (Amplitude/FullStory)
Proces implementacji zajmuje około 5-6 tygodni i wymaga zaangażowania całej organizacji
Metryka musi ewoluować wraz z wizją produktu – Amplitude zmieniło z „weekly querying users” na „weekly learning users”
Prognozowanie nowych metryk stanowi wyzwanie ze względu na brak danych historycznych
Input metrics służą jako wskaźniki wyprzedzające dla North Star, która może reagować wolniej

Definicja i znaczenie North Star Metric

North Star Metric stanowi znacznie więcej niż kolejną liczbę na panelu kontrolnym. Tommy Noonan z FullStory definiuje ją jako „coś, za czym każdy zespół może się opowiedzieć i co tworzy alignment”. Głównym celem jest skupienie uwagi oraz poprawa podejmowania decyzji.

Abby Kuzmanoff z Amplitude dodaje kluczowy element: metryka musi definiować relację między rozwiązywaniem problemów klientów a znajdowaniem wartości oraz przychodami. Stanowi ona wskaźnik wyprzedzający sukces biznesowy, a nie zwykły KPI.

Gdy każdy w organizacji rozumie, jak jego praca wpływa na jedną, wspólną metrykę, decyzje stają się prostsze. Zamiast analizowania dziesiątek różnych wskaźników, zespoły zadają sobie jedno pytanie: czy działanie wpływa na North Star?

Cechy efektywnej North Star Metric

Nie każda metryka nadaje się na North Star. Abby Kuzmanoff podkreśla, że daily active users może nie być najlepszą metryką, ponieważ nie łączy się z wartością dla klienta. Użytkownicy mogą wracać codziennie, jednak nie otrzymywać prawdziwej wartości z produktu.

Tommy Noonan z FullStory przedstawia praktyczny test: zespoły powinny móc określić, ilu użytkowników korzysta z aplikacji i otrzymuje wartość zgodną z oczekiwaniami. Może to być weekly active users wykonujących konkretne zadanie w aplikacji.

Leading indicator vs lagging metric

Kluczowa różnica polega na tym, że North Star stanowi leading indicator dla przychodów, nie lagging metric. Jak tłumaczy Abby: jeśli przychody są North Star, organizacja ryzykuje dowiadywanie się o problemach po utracie szansy na naprawę.

Przykład z abonamentami rocznymi ilustruje ten problem – gdy klient zrezygnuje, jest już za późno. Dlatego North Star powinna wychwytywać sygnały ostrzegawcze wcześniej, na przykład spadek aktywności czy engagement przewidujący churn.

Kluczowe cechy dobrej North Star Metric:

Powiązanie z wartością klienta, nie tylko wskaźnikami aktywności
Reprezentowanie wizji produktu
Umożliwianie rozliczania z rezultatów, nie tylko z ilości wypuszczonych funkcji
Jednoczenie różnych zespołów wokół wspólnego zrozumienia
Pełnienie funkcji leading indicator dla biznesu

Framework wyboru metryki według typu produktu

Abby Kuzmanoff przedstawia framework trzech typów produktów, który pomaga w wyborze odpowiedniej North Star:

Attention (uwaga) – produkty jak Netflix

Focus: czas spędzony z produktem jest kluczowy
Przykład metryki: time spent watching content
Logika: im więcej czasu użytkownicy spędzają oglądając filmy, tym większą otrzymują wartość

Transaction (transakcje) – produkty jak Amazon, Walmart

Focus: liczba udanych transakcji
Przykład metryki: successful order completion rate
Logika: metryka powinna mierzyć skuteczne dostarczanie towarów i usług

Productivity (produktywność) – produkty jak Amplitude, FullStory

Focus: ilość zadań cyfrowych wykonanych przez użytkowników
Przykład metryki: tasks completed per user
Logika: według Abby – identyfikacja zadania, które użytkownicy wykonują w produkcie i które przynosi im wartość

Framework ten pomaga zawęzić opcje oraz analizować przykłady innych firm w podobnej kategorii.

Ekosystem metryk wokół North Star

North Star nie istnieje w izolacji. Tommy Noonan z FullStory wyjaśnia: „Nie musisz śledzić tylko jednej metryki. Lubimy rozbijać North Star na 5-6 komponentów”. Jeśli metryka obejmuje weekly active users wykonujących konkretne zadanie, stanowią one dwa oczywiste komponenty do śledzenia.

Input metrics jako wskaźniki wyprzedzające

Input metrics to działania, które teoretycznie powinny wpływać na North Star. Abby z Amplitude wyjaśnia: eksperyment może nie pokazać zauważalnej zmiany w North Star, jednak zespoły powinny upewnić się, że wybrane input metrics rzeczywiście do niej prowadzą.

Przykład ze Spotify ilustruje tę zależność: jeśli North Star to czas słuchania muzyki, input metric może stanowić liczba powrotów na stronę przez notyfikacje o nowych utworach ulubionych artystów.

Trade-off metrics – monitoring strat

Abby podkreśla często pomijany element: „Ważne jest, żeby mieć pojęcie o trade-off metrics dla North Star”.

Praktyczny przykład z LinkedIn: jeśli North Star to przychody z reklam lub kliki w reklamy, zespoły muszą śledzić wpływ na engagement z innymi funkcjami. Zwiększanie przychodów z reklam może prowadzić do zmniejszenia korzystania z funkcji networkingu.

Balansowanie perspektyw czasowych

Tommy Noonan ostrzega przed pułapką: „Możesz robić tanie hacki, żeby podkręcić liczby w jednej części North Star bardzo szybko, jednak to nie jest zdrowy sposób na wzrost user engagement”.

W rezultacie nie wszystkie sposoby poprawy metryki są równie wartościowe. Niektóre mogą dać szybki wzrost, ale zaszkodzić długoterminowo.

Studia przypadków – ewolucja metryk

Amplitude: od pytań do współpracy

Amplitude przeszło znaczącą ewolucję metryki. Abby Kuzmanoff opisuje zmianę z „weekly querying users” na „weekly learning users”.

Nowa metryka mierzy użytkowników, którzy nie tylko stworzyli analizę, ale podzielili się nią z co najmniej dwiema innymi osobami. Jak tłumaczy Abby: „To symbol przechodzenia przez pętlę build-measure-learn i reprezentuje naszą wizję analytics jako zespołowej gry”.

Stara metryka reprezentowała fazę wzrostu – więcej pytań oznaczało lepsze wyniki. Z kolei nowa reprezentuje dojrzałość – obecnie liczy się rozpowszechnianie wiedzy w zespołach.

FullStory: od oglądania do eksploracji

Tommy Noonan opisuje „Weekly Active Explorers” – pierwszą North Star Metric w FullStory. Obejmuje ona użytkowników, którzy wykonują co najmniej jedno wyszukiwanie lub zapisują segment.

Tommy wyjaśnia: „Myślę o tym jako o zadawaniu pytania FullStory i próbie otrzymania odpowiedzi”. Zmiana z oglądania sesji na tworzenie wyszukiwań reprezentowała przejście od biernej konsumpcji do aktywnej eksploracji.

Praktyczne aspekty eksperymentowania

North Star pomaga definiować eksperymenty, jednak sama rzadko stanowi ich success metric. Abby wyjaśnia: wybór North Star jako outcome eksperymentu sprawia, że bardzo trudno stworzyć hipotezy rzeczywiście ją ruszające.

Dodatkowo osiągnięcie istotności statystycznej na North Star w eksperymentach jest bardzo trudne – metryka okazuje się zbyt złożona i reaguje zbyt wolno.

Segmentacja zamiast podejścia masowego

Tommy Noonan dzieli się praktyczną radą: „Bardzo bliska segmentacja klientów przy konfiguracji eksperymentów może być pomocna. Zamiast próbować ruszyć całą populację użytkowników”.

Przykład: zamiast targetowania wszystkich, koncentracja na użytkownikach, którzy nie logowali się od miesiąca-dwóch i pasują do konkretnej persony. Można znaleźć znacznie większe rezultaty dla małej, docelowej grupy, mimo trudności z osiągnięciem istotności statystycznej.

Proces budowania poparcia organizacyjnego

Ramy czasowe implementacji

Tommy Noonan szczerze opisuje proces: „Zajęło mi 5-6 tygodni od przeczytania pierwszego artykułu o North Star do zebrania ludzi i prezentacji”. Proces ten nie jest szybki, ponieważ wymaga zarządzania zmianą oraz stopniowego zdobywania momentum.

Kluczowe etapy budowania poparcia

1. Przygotowanie merytoryczne

Zbieranie danych historycznych i analiza zachowania metryki w przeszłości
Powiązanie z istniejącymi metrykami akceptowanymi przez zespół
Przygotowanie konkretnych przykładów wpływu nowych funkcji na North Star

2. Zaangażowanie kluczowych osób

Rozpoczęcie od indywidualnych rozmów z przedstawicielami produktu i customer success
Włączenie różnych zespołów: inżynierów, designerów, support, revenue ops, data science
Słuchanie obiekcji oraz dostosowywanie podejścia na podstawie informacji zwrotnej

3. Wsparcie organizacyjne

Tworzenie paneli widocznych w całym biurze, podobnie jak w Amplitude
Regularne wspominanie metryki na spotkaniach all hands
Integracja z procesami innych zespołów – customer success, professional services

Demonstracja rezultatów jako klucz do sukcesu

Tommy dzieli się cenną obserwacją: „Kiedy wdrażaliśmy North Star, zbiegło się to z uruchomieniem custom events. Mogliśmy pokazać, jak wpłynęło to na każdą input metrykę i North Star”.

Abby dodaje: największe poparcie zyskuje się poprzez demonstrację zdolności do ruszania metryki. Gdy organizacja widzi zmieniające się liczby, zaczyna się ekscytować.

Dlaczego to działa? Konkretne dowody działania przewyższają teoretyczne argumenty, a sukcesy w metrykach przekładają się na większe wsparcie oraz zasoby dla zespołu.

Wyzwania i trudności implementacyjne

Problem prognozowania nowych metryk

Tommy Noonan szczerze przyznaje: „Wybranie metryki i zdobycie poparcia było trudne, jednak prognozowanie celów było bardzo ciężkie przy całkowicie nowej metryce”.

Abby dodaje: z każdą nową metryką zespoły nie są przyzwyczajone do trendów, sezonowości i innych wzorców. To wszystko stanowi czarną skrzynkę, szczególnie na początku.

Praktyczne rozwiązania obejmują analizę danych historycznych, rozpoczęcie od konserwatywnych prognoz oraz przygotowanie się na iteracje, ponieważ pierwsze prognozy prawdopodobnie będą błędne.

Sygnały potrzeby zmiany metryki

Abby Kuzmanoff podkreśla: „North Star Metrics nie są statyczne. Przewartościowywanie ich kwartalnie lub rocznie jest ważne dla upewnienia się o dopasowaniu do wizji”.

Tommy dodaje: nie ma jasnej granicy czasowej zmiany North Star, jednak gdy ewoluuje produkt i segmenty klientów, naturalnie pojawiają się potrzeby zmian metryki.

Sygnały ostrzegawcze obejmują sytuacje, gdy zespoły nie potrafią określić wpływu swojej pracy na metrykę, metryka nie reaguje na zmiany produktu przez długi okres, albo strategia firmy ewoluowała przy niezmiennej metryce.

Trudności z input metrics i atrybucją

Abby ostrzega: „Nie zawsze będziesz miał rację co do input metrics. Musisz być gotowy na wyrzucenie potencjalnych input metrics i elastyczność”.

Input metrics to wskaźniki teoretycznie wpływające na North Star, jednak czasami założenia okazują się błędne. Kluczem jest testowanie hipotez oraz gotowość do zmiany podejścia.

Wyzwania z wieloma zespołami

Szczególnie trudne staje się to przy wielu zespołach pracujących nad tym samym North Star. Abby tłumaczy: „Im więcej zespołów skupia się na ruszaniu North Star, tym trudniej przypisać zmiany konkretnemu zespołowi”.

A/B testing powinien pomagać, ale nie zawsze można wszystko testować – niektóre zmiany są za duże lub nie nadają się do takiego testowania.

Organizacja zespołów wokół North Star

W Amplitude używają modelu zespołów. Abby wyjaśnia: różne zespoły mają własne metryki stanowiące input metrics do North Star.

Przykłady:

Zespół aktywacyjny – pracuje nad metryką „5 weekly learning users” w organizacji (symbol dobrego setupu)
Zespół współpracy – koncentruje się na „broadcasted learning” (content shared with 2+ squads)

Każdy zespół ma swoją „sub North Star” będącą input metric dla głównej North Star firmy. Rozwiązuje to problem atrybucji oraz daje zespołom jasny focus.

Praktyczne wskazówki implementacyjne

Proces krok po kroku

ETAP 1: Zrozumienie fundamentów

Określenie typu produktu (attention/transaction/productivity)
Analiza przykładów firm podobnych do własnej
Przeczytanie case studies innych zespołów
Wykonanie ćwiczenia wyboru North Star dla znanych produktów

ETAP 2: Wybór metryki

Identyfikacja kluczowego działania użytkowników przynoszącego wartość
Upewnienie się o powiązaniu metryki z customer value
Sprawdzenie reprezentacji wizji produktu przez metrykę
Przetestowanie na danych historycznych

ETAP 3: Budowanie poparcia (5-6 tygodni)

Przygotowanie analizy opartej na danych z powiązaniem z istniejącymi metrykami
Przeprowadzenie indywidualnych rozmów z kluczowymi stakeholderami
Zaangażowanie różnych zespołów: product, engineering, design, customer success, data science
Przygotowanie prezentacji z konkretnym przykładem wpływu na metrykę

ETAP 4: Konfiguracja infrastruktury

Ustawienie systemów reportingu i paneli (może zająć kilka miesięcy)
Upewnienie się, że wszyscy w firmie potrafią zdefiniować North Star
Integracja metryki z procesami różnych zespołów
Ustawienie konserwatywnych prognoz na pierwsze miesiące

ETAP 5: Operacjonalizacja i iteracja

Identyfikacja 3-5 input metrics wspierających North Star
Stworzenie procesu regularnego przeglądu metryki
Przygotowanie się na dostosowania
Śledzenie trade-off metrics

Rady ekspertów

Abby Kuzmanoff radzi zastanowienie się nad typem gry, w jaką gra produkt. Stanowi to pierwszy krok do znalezienia odpowiedniej metryki. Sugeruje również ćwiczenie myślenia o North Star dla produktów, których się nie tworzy, ponieważ własny produkt wiąże się z nadmiarem szczegółów.

Tommy dodaje praktyczną radę czytania artykułów o North Star innych firm jako sposób zrozumienia różnych podejść.

Wykorzystanie istniejących modeli

Kluczowa rada Tommy’ego: dużo pracy przy wyborze konkretnych działań i częstotliwości było oparte na modelach zespołu data science. Szukał odpowiedzi na pytanie o najlepszy stosunek nakładów do efektów w działaniach dotyczących oceny kondycji użytkownika.

Jeśli zespół data science już ma modele user health lub customer health scores, stanowią one świetny punkt wyjścia.

Powiązanie z mocnymi stronami

Tommy wspomina myślenie o częściach produktu dobrze pozycjonowanych konkurencyjnie oraz prawdziwych mocnych stronach. Łatwiej dopasować metrykę do tego, co już uznaje się za silną stronę produktu.

Powiązanie z systemami OKR

Podejście FullStory

Tommy Noonan przyznaje: „Nie włączyliśmy jeszcze North Star do OKR-ów. Chcę poczekać, aż poczuję się komfortowo z prognozowaniem na 5-tygodniowy okres” (FullStory używa 5-tygodniowych cykli OKR).

Podejście „poczekaj i zbierz dane” może być rozsądne dla nowych metryk. Lepiej najpierw zrozumieć zachowanie metryki niż commitować się do celów bez podstaw.

Podejście Amplitude

Amplitude poszło w zupełnie innym kierunku. Abby tłumaczy odejście od OKR-ów w ostatnim kwartale w celu usunięcia sztucznych terminów z pewnych prac i celów.

Zamiast tego dają zespołom autonomię: zespół może określić metrykę do ruszenia oraz częstotliwość sprawdzania postępów z leadership.

Przykłady:

Zespoły Abby: przegląd co dwa tygodnie
Zespoły z długoterminowymi projektami: monthly lub quarterly
Duże inicjatywy (np. nowy model uprawnień): quarterly goals

Dlaczego to działa? Zespoły najlepiej wiedzą, ile potrafią ruszyć metrykę i rozliczają się z ustalonych rytmów.

Rozważania dotyczące NPS

Tommy Noonan nie ma dużego doświadczenia z NPS, jednak mówi: jeśli zespół czuje się komfortowo z NPS jako predyktorem wartości dla bazy klientów, nie widzi powodu, żeby stanowiła złą North Star.

Abby z Amplitude zwraca uwagę na ważne rozróżnienie: dla B2B pytanie o polecanie oprogramowania znajomym może nie być najlepszą metryką, podczas gdy dla B2C może mieć więcej sensu.

Alternatywa: Product Market Fit Survey

Abby wspomina o rosnącym trendzie Product Market Fit survey, które zadaje inne pytanie: „Jak bardzo byłbyś zawiedziony, gdybyś nie mógł już używać tego produktu?”. Może to stanowić lepsze podejście dla produktów B2B, gdzie rekomendowanie znajomym nie ma sensu, jednak zależność od produktu stanowi realny wskaźnik wartości.

Abby dodaje praktyczny test: czy można zawsze jasno odpowiedzieć, czy inicjatywa ruszy NPS? To może być bardziej gut feeling niż jasna odpowiedź w porównaniu do wpływu na weekly active explorers.

Aspekty infrastrukturalne

Abby dodaje: zależnie od skali organizacji może to wpłynąć na czas, szczególnie z zarządzaniem zmianą. Potrzebny jest czas na stworzenie metryki, ale też na upewnienie się, że infrastruktura jest skonfigurowana do łatwego śledzenia.

Praktyczne aspekty obejmują:

Reporting i panele – dostęp do danych dla wszystkich
Definicje i dokumentacja – zdolność każdego w firmie do zdefiniowania North Star
Integracja z systemami – możliwość używania metryki przez różne zespoły
Szkolenie zespołów – zrozumienie wpływu działań na metrykę

Abby podsumowuje: cały proces może zająć kilka miesięcy. Samo stworzenie metryki to miesiąc-dwa, zależnie od skali organizacji oraz zaangażowania data science.

Kluczowe spostrzeżenie

North Star jako decider

Standardowo myślimy: North Star to cel do osiągnięcia na koniec kwartału – liczba na panelu, którą będziemy celebrować w monthly review.

W praktyce okazuje się, że: North Star to codzienne narzędzie do podejmowania decyzji. Jak mówi Abby: „Różni ludzie w zespole mogą powiedzieć: 'Czy to rzeczywiście wpływa na North Star, nad którą wszyscy pracujemy? A jeśli nie, to dlaczego ważne jest, żeby nad tym pracować?'”

Dlaczego to jest istotne: Większość zespołów traktuje North Star jak KPI do raportowania, podczas gdy powinna być filtrem dla każdej decyzji produktowej. W rezultacie zmienia się wszystko – od priorytetyzacji funkcji po alokację zasobów.

Test na jutro: Następnym razem przy podejmowaniu decyzji o nowej inicjatywie, zamiast pytania „czy to zwiększy engagement” warto zapytać „czy to wpływa na naszą North Star i jeśli nie, dlaczego to robimy?” oraz sprawdzić, czy zmienia to decyzję.

Ten wpis stanowi część kolekcji notatek z wartościowych podcastów, webinarów oraz innych treści. Oryginalne źródło: webinar „Finding Your Product’s North Star Metric” (FullStory + Amplitude

Tag: Weekly Active Users

Jak znaleźć North Star Metric dla produktu – notatki z webinaru #EN199