Poniższe notatki powstały na podstawie webinaru „Quantifying Jobs to Be Done with Dom Ricchetti” prowadzonego przez Jim Kallbacha, Elaine i Dom Ricchetti. Wszystkie przedstawione przemyślenia, obserwacje i wnioski pochodzą od uczestników tej rozmowy.

TL;DR

Badania ilościowe uzupełniają jakościowe JTBD – pozwalają na określanie wielkości i ustalanie priorytetów potrzeb użytkowników
Opportunity scoring opiera się na dwóch pytaniach: ważność i satysfakcja z obecnych rozwiązań
Skala 9-punktowa przewyższa 5-punktową – daje lepsze różnicowanie wyników między zadaniami
Minimum 150 respondentów na grupę zapewnia wiarygodność statystyczną wyników
MaxDiff wymusza kompromisy – zaawansowana technika dająca bardziej zróżnicowane rezultaty
Różne role wymagają oddzielnych badań – użytkownicy końcowi w porównaniu z decydentami to separate studies
Zacznij od podstaw – importance i satisfaction z 9-punktową skalą, potem rozwijaj dalej

Dlaczego badania ilościowe w Jobs to Be Done

Dom Ricchetti podkreśla w swojej prezentacji, że badania jakościowe doskonale służą do odkrywania – definiowania job performerów, ekstraktowania kroków zadania i budowania outcome statements. Problem pojawia się jednak przy podejmowaniu decyzji biznesowych.

Ricchetti umieszcza badania ilościowe w kontekście double diamond design thinking framework. Pierwszy diament (discover + define) to miejsce, gdzie quant research jest najbardziej powerful – pomaga skonwergować z broad possibilities do specific problems do rozwiązania. Z kolei drugi diament (develop + deliver) to miejsce, gdzie jobs służą do testowania wstecznego rozwiązań – sprawdzenia czy stworzone rozwiązanie rzeczywiście rozwiązało zidentyfikowany problem.

Badania ilościowe odpowiadają na kluczowe pytania:

Określanie wielkości potrzeb: Jak duża jest ta potrzeba?
Analiza ROI: Czy warto rozwijać rozwiązanie?
Ustalanie priorytetów: Jak uszeregować zadania do rozwoju?
Określanie wielkości rynku: Ilu użytkowników ma te konkretne potrzeby?
Segmentacja: Które grupy mają największe unmet needs?

Ekspert zauważa istotną różnicę między wywiadami a ankietami. Nawet 50 wywiadów nie daje konsystentnej prezentacji wszystkich zadań, podczas gdy w ankiecie każdy respondent ocenia identyczne elementy w kontrolowanych warunkach.

Praktyczne podstawy: opportunity scoring

Ricchetti wyjaśnia, że serce kwantyfikacji JTBD stanowią dwa fundamentalne pytania:

Jak ważne jest dla Ciebie to zadanie? (importance)
Jak bardzo jesteś zadowolony z obecnego sposobu jego wykonywania? (satisfaction)

Ekspert zdecydowanie rekomenduje skalę 9-punktową zamiast popularnej 5-punktowej. Powód jest prosty – lepsza dyferencjacja wyników. Przy 5-punktowej skali zadania grupują się w środku mapy ważność-satysfakcja, co sprawia, że trudno je wtedy rozróżnić.

Canvas 2.0 jako mapa ankiety

Dom Ricchetti szczegółowo wyjaśnia, jak używać Jobs to Be Done Canvas 2.0 (framework Jima Kallbacha) do strukturyzowania badań ilościowych:

Top left (job performer + aspiracje) – do przesiewania i dobierania respondentów
Middle green box (main + medium jobs) – główna część ankiety do oceniania/rankowania
Bottom right (job differentiators) – profiling questions do analizy podgrup
Top right (related jobs) – tylko jeśli to development priority
Bottom left (emotional/social jobs) – zależy od typu produktu (social media, psychologia)

Ricchetti przestrzega przed outcomes jako wskaźniki – lepiej traktować je jak broad goals (podobne do OKRs) niż szczegółowe mierniki.

Formuły dla różnych skal

Ricchetti przedstawia konkretne wzory matematyczne dostosowane do różnych skal:

Skala 9-punktowa: [2 × (Importance) + (9 – Satisfaction)] × 6.25
Skala 7-punktowa: [2 × (Importance) + (7 – Satisfaction)] × 8.33
Skala 11-punktowa (0-10): [2 × (Importance) + (10 – Satisfaction)] × 5.0

Ta formuła zawsze podwaja wagę ważności, odwraca skalę satysfakcji i przeskalowuje wynik do zakresu 0-100.

Konkretny przykład: administratorzy ServiceNow

Ricchetti pokazuje przykłady job statements z badania administratorów platformy ServiceNow:

„Configure platform security settings in enterprise environment”
„Monitor system performance across multiple instances”
„Manage user access permissions for different departments”

Każde zadanie ma strukturę: verb + noun + context, co zapewnia jasność i konsystencję w ocenach.

Checklist: przygotowanie ankiety JTBD

Screening questions – job performer i aspiracje z Canvas top-left
Main jobs i medium jobs – body ankiety (pomiń little jobs jako task analysis)
Profiling questions – differentiatory z Canvas bottom-right
Skala 9-punktowa zamiast 5-punktowej
Competitor jobs – uwzględnij zadania, które konkurenci rozwiązują dobrze
Randomizacja kolejności pytań między respondentami
Test wewnętrzny z zespołem przed wysłaniem

Dwa sposoby prezentacji pytań

Ricchetti opisuje dwa podejścia do ankietowania. Pierwsza metoda to prezentacja zadania z obiema pytaniami jednocześnie – sprawdza się przy złożonych, długich zadaniach. Respondent czyta raz i ocenia importance oraz satisfaction.

Druga metoda to blokowa prezentacja – najpierw wszystkie pytania o ważność, potem o satysfakcję. Ricchetti stosuje ją częściej, ponieważ pozwala respondentom skupić się na jednym typie oceny naraz.

Badania porównawcze nie wykazały statystycznej różnicy między metodami. Dlatego wybór zależy od charakteru zadań.

Interpretacja wyników opportunity scoring

Tradycyjne podejście Strategyn wykorzystuje wykres z satysfakcją na osi Y i ważnością na osi X. Ricchetti jednak ostrzega przed mechanicznym klasyfikowaniem w kwadranty.

Najsilniejsze możliwości (upper left): wysoka ważność, niska satysfakcja Najmniejsze możliwości (lower right): niska ważność, wysoka satysfakcja

Ekspert zwraca uwagę na „greenfield opportunities” po lewej stronie wykresu – obszary słabo obsłużone przez rynek. Natomiast po prawej stronie mogą znajdować się zadania wymagające inwestycji ze względu na konkurencję.

Zaawansowane techniki kwantyfikacji

Uwzględnienie częstotliwości

W niektórych projektach ważna jest częstotliwość wykonywania zadań. Ricchetti podaje przykład platform enterprise, gdzie część funkcji używana jest tylko podczas onboardingu, a inne codziennie.

Problem skali częstotliwości polega na tym, że „Kilka razy dziennie” w porównaniu z „miesięcznie lub rzadziej” to nielinearna różnica. Rozwiązaniem jest przeliczenie każdej opcji na dni w roku i stworzenie indeksu częstotliwości – czy dana osoba robi to częściej czy rzadziej niż średnia.

Efficiency zamiast satisfaction

W badaniu ServiceNow dla service desk agents, Ricchetti zastąpił pytanie o satisfaction pytaniem o efficiency. Powód: agenci nie decydują o wyborze platformy (to robią ich menedżerowie), ale ich zadaniem jest efektywne korzystanie z narzędzi.

Pytania brzmią: „Jak ważne jest to zadanie?” + „Jak efektywnie możesz je wykonać?” zamiast standardowego satisfaction.

Regression modeling dla multiple variables

Gdy masz importance, frequency i efficiency (lub inne kombinacje), potrzebujesz regression model do określenia wag. Ricchetti tworzy overall satisfaction score jako dependent variable i modeluje, jak każdy czynnik wpływa na końcową ocenę.

To daje empiryczne wagi zamiast arbitralnych decyzji o tym, jak ważyć poszczególne zmienne w finalnym scoring.

MaxDiff analysis – wymuszanie kompromisów

MaxDiff to zaawansowana technika conjoint analysis rekomendowana przez Ricchetti. Zamiast oceniać zadania na skali, respondenci wybierają „najważniejsze” i „najmniej ważniejsze” z grupy 4-5 elementów.

Kluczowe korzyści MaxDiff:

Wymusza rzeczywiste kompromisy – respondenci nie mogą ocenić wszystkiego jako „bardzo ważne”
Bardziej zróżnicowane wyniki niż standardowe rating scale
Pełny ranking wszystkich elementów z względną wagą każdego zadania
Gamification effect – ludzie traktują wybieranie jak grę, nie nudną ankietę

Wyzwanie polega na tym, że przy 40 zadaniach respondent musi przejść 24 ekrany. Mimo to Ricchetti zauważa, że to nie jest większym obciążeniem – ludzie traktują to jak grę.

Scaled MaxDiff

Ricchetti opracował hybrydowe podejście nazywane „scaled MaxDiff”. Po standardowym MaxDiff system automatycznie wybiera zadania o najwyższej i najniższej ważności dla danego respondenta, następnie prosi o ocenę na skali 1-9.

To pozwala przeskalować wszystkie utilities do absolutnej skali ważności. W rezultacie otrzymujemy precyzyjne wyniki typu 5.2, 5.8, 6.2 zamiast dyskretnych liczb.

Pro tip: competitor jobs jako benchmark

Ricchetti zaleca włączanie zadań, które konkurenci rozwiązują dobrze do badania. Sprawdź ich marketing – co obiecują rozwiązać? Jakie benefity highlightują? Wyciągnij z tego jobs lub użyj zadania, które testowałeś wcześniej i sprawdziły się.

To daje crucial context do interpretacji wyników. Jeśli nowe zadanie do innowacji otrzymuje wyższą ocenę niż proved competitor job – masz pewnego zwycięzcę.

Kwestie techniczne i próba badawcza

Wielkość próby a reprezentatywność

Minimum 150 respondentów na grupę zapewnia statystyczną wiarygodność wyników. To dotyczy każdej podgrupy, którą chcesz analizować osobno.

Przy trudno dostępnych grupach Ricchetti akceptuje 75, a w skrajnych przypadkach 50 respondentów. Większa próba (1000-2000) daje lepszą precyzję, jednak nie zawsze jest konieczna.

Ricchetti ostrzega przed zbyt wąskim targetowaniem. Gdy product manager mówi „badamy tylko ludzi z tym tytułem”, ekspert odpowiada: „Tytuły stanowisk to okropny sposób opisywania tego, co ludzie robią”.

Potrzebujesz reprezentatywności różnych grup, nie tylko określonych job titles. Często odkryjesz, że ludzie z innymi tytułami też wykonują te same jobs.

Rekrutacja respondentów

Dla własnej bazy klientów motywacją jest wpływ na rozwój produktu. Dla external audiences Ricchetti rekomenduje:

Dostawcy próbek z panelami – ale ostrożnie z jakością
Forums i stowarzyszenia branżowe – wyższa jakość, bardziej targeted
Publikacje branżowe – dobry sposób na dotarcie do specific audiences
Amazon Mechanical Turk – opcja budżetowa, ale quality concerns
AI-assisted sourcing – zapytaj AI, gdzie znaleźć target audience

Kontrola jakości danych

Ricchetti ostrzega przed „cheaters and speeders” w panelach online. Dostawcy próbek często mają problemy z jakością – boty, ludzie przyspieszający przez ankiety, nieautentyczne odpowiedzi.

Zawsze sprawdzaj response patterns – jeśli ktoś ocenił wszystko identycznie (straight-lining), usuń go z próby. Przy płatnych panelach nie płać za oczyszczone responses – to twoja odpowiedzialność i ich problem z jakością panelu.

Narzędzia badawcze

Na pytanie o tools, Ricchetti wymienia SurveyMonkey jako dobry punkt startowy oraz Q Research/DisplayR jako swój faworyt z doskonałymi materiałami szkoleniowymi. Excel sprawdza się do podstawowych analiz hands-on.

Praktyczne wskazówki implementacyjne

Kiedy inwestować w zaawansowane metody

Duże inwestycje, silna konkurencja, nowe kategorie produktów – wtedy warto iść w MaxDiff i zaawansowaną analitykę. Z kolei istniejące produkty z dodatkowymi features – wystarcza importance/satisfaction z 9-punktową skalą.

Od czego zacząć

Ricchetti ma jasną radę dla qualitative researchers: zacznij od importance i satisfaction. Nawet przy 50 respondentach to ogromny krok naprzód w porównaniu ze spójnymi wywiadami.

Używaj 9-punktowej skali. Stwórz wykres XY w Excelu. To da fundamentalną przewagę nad czysto jakościowym podejściem.

Oddzielne badania dla różnych ról

W enterprise software często spotykasz różne role: użytkowników końcowych, administratorów/instalatorów oraz decydentów/kupujących. To różne audiences z różnymi jobs – według Ricchetti wymagają oddzielnych studiów. Kombinowanie komplikuje analizę, szczególnie dla beginners.

Clustering i segmentacja

Ricchetti wspomina o statystycznej analizie cluster jako sposobie na grupowanie użytkowników. Problem dużych prób polega na tym, że wyniki „idą do środka” przez uśrednianie różnych potrzeb.

Clustering pozwala odkryć naturalne segmenty w danych. Bardziej powerful niż standardowe profiling questions.

Uwagi końcowe

Dom Ricchetti podkreśla kluczowy punkt: nie stresuj się detalami na początku. Zbuduj listę jobs, potem refinuj consistency i altitude. AI może pomóc w budowaniu list, jednak refinement to najważniejsza faza.

„Prawdopodobnie spędzam tyle samo czasu na dopracowywaniu list, co na ich budowaniu” – Ricchetti emphasizuje wagę dopracowywania job statements. Chodzi o consistent altitude i możliwość porównywania ratings między zadaniami.

Background eksperta

Dom Ricchetti łączy engineering background (operations research, Six Sigma, Total Quality Management, Malcolm Baldrige) z praktyką w Microsoft, ServiceNow, Dell, Intuit i Redus Global Market Research (klienci: Nordstrom, REI, Starbucks). Obecnie semi-retired, dostępny do consulting przez LinkedIn.

Checklist: pierwsze kroki z badaniami ilościowymi JTBD

Zacznij od basics – importance i satisfaction, 9-punktowa skala
Jedna grupa użytkowników – nie kombinuj ról w pierwszym badaniu
Minimum 150 respondentów – zapewni statistical confidence
Uwzględnij competitor jobs – benchmark dla interpretacji wyników
Wykres XY w Excelu – podstawowa analiza opportunity scoring
Test z internal team – naucz się interpretować wyniki

Dla większości projektów importance/satisfaction z 9-punktową skalą to doskonały start. Advanced techniques przydają się przy większych inwestycjach i strategic decisions.

Kluczowy insight

Pułapka job titles

Standardowo myślimy: Job title opisuje co ludzie robią, więc recrujemy respondentów na podstawie tytułów stanowisk i ograniczamy badanie do konkretnych ról.

W praktyce okazuje się, że: Jak mówi Ricchetti – „tytuły stanowisk to okropny sposób opisywania tego, co ludzie robią”. Ludzie z różnymi tytułami często wykonują identyczne jobs, a osoby o tym samym tytule mogą mieć kompletnie różne zadania.

Dlaczego to jest istotne: Zawężając badanie do specific job titles, tracisz representatywność i potential insights od ludzi, którzy faktycznie wykonują te same jobs pod innymi nazwami. Może się okazać, że twój target audience jest 3x większy niż myślałeś.

Test na jutro: Następnym razem, gdy planujesz badanie użytkowników, zamiast zaczynać od job titles, zacznij od konkretnych tasks/jobs i dopiero potem znajdź różne typy ludzi, którzy je wykonują. Sprawdź, ilu różnych tytułów stanowisk pojawi się w twoich wynikach.

Ten wpis jest częścią mojej kolekcji notatek z ciekawych podcastów, webinarów i innych treści, które uważam za wartościowe i do których sam chcę wracać. Oryginalny webinar „Quantifying Jobs to Be Done with Dom Ricchetti” prowadzili Jim Kallbach, Elaine i Dom Ricchetti.

Tag: Opportunity Scoring

Kwantyfikacja Jobs to Be Done – praktyczny przewodnik po badaniach ilościowych #EN161