TL;DR

Projekty AI są fundamentalnie inne od tradycyjnych IT – nieprzewidywalne czasowo i kosztowo, wymagają nowego podejścia do zarządzania
Case study TasteRay pokazuje system rekomendacji nowej generacji – personalizacja na poziomie profilu psychologicznego użytkownika
Skład zespołu AI wymaga specyficznych ról – osoba zbierająca dane, czyszcząca dane, machine learningowiec, tester i subject matter expert
Kanban lepszy niż Scrum w projektach AI – planowanie nawet w skali tygodnia jest trudne przez nieprzewidywalność
Bezpieczeństwo danych zależy od wielkości firmy – małe wysyłają po API, duże wgrywają własne modele lokalnie
Dane syntetyczne to klucz do optymalizacji kosztów – generowanie danych testowych przez modele zamiast używania prawdziwych
Automatyzacja first – przed każdym zadaniem sprawdź, czy da się je zautomatyzować

Dlaczego projekty AI to zupełnie inna bajka

Krzysztof Wojewodzic na początku webinaru podzielił się bolesną lekcją ze swojego pierwszego projektu AI z 2018 roku. Wydał 10 milionów złotych na platformę do nauki angielskiego opartą na AI i projekt się nie udał.

Główny problem? Przetrenowany model z zbyt dużą liczbą parametrów, który nie dawał dobrych wyników. Spółka ostatecznie trafiła do restrukturyzacji.

Z tej porażki wyciągnął jednak kluczowe wnioski:

• Projekty AI są drogie, jeśli chcesz zbudować własne rozwiązanie • Potrzebujesz odpowiednią ilość ustrukturyzowanych danych • Technologia zmienia się tak szybko, że to co było niemożliwe wczoraj, dziś robi się w kilka godzin • Za mało testowaliśmy z użytkownikami – baliśmy się wypuścić model

Case study TasteRay – system rekomendacji który ma rozwiązać problem Netflixa

Zespół TasteRay pracuje nad rozwiązaniem frustrującego problemu każdego użytkownika Netflixa. Znacie to uczucie? Siedzicie z partnerem wieczorem, wybieracie film tak długo, że w końcu lądujecie w sypialni bez obejrzenia czegokolwiek.

Ich system ma dać Ci idealny wybór w ciągu minuty, dwóch. Nie tylko na podstawie tego, co wcześniej oglądałeś, ale analizując Twój profil psychologiczny i osobiste preferencje.

Jak działa personalizacja na sterydach

System TasteRay zbiera dane na trzech poziomach. Po pierwsze, z baz dostępnych w sieci – różne podmioty handlują takimi bazami. Po drugie, przez sprytne sposoby pozyskiwania informacji od użytkowników.

Z jednej fotografii półki z książkami system analizuje kilkudziesięciu autorów i wyciąga wzorce preferencji. To kopalnia wiedzy przy kilkusekundowym wysiłku użytkownika.

Trzeci poziom to głęboka analiza profilu psychologicznego. Przykład z profilu Michała Jaskólskiego pokazuje, że system wie o preferencjach do Barcelony, zamiłowaniu do kotów czy konkretnych postaci z Mad Maxa. System odwołuje się do konkretnych faktów z życia i profilu psychologicznego przy tworzeniu zindywidualizowanych opisów.

Architektura zespołu i technologii

Zespół TasteRay to siedem osób, każda z wieloletnim doświadczeniem i kilkoma rolami jednocześnie. Michał Wolniak podkreśla, że w małym zespole możesz sobie pozwolić na luźniejszą formę zarządzania, bo każdy wie, co robią pozostali.

Kluczowa zasada: przed każdym zadaniem sprawdzają, czy da się je zautomatyzować. Jeśli planują skalę miliona użytkowników, nie mogą jednak polegać na pracy ręcznej. Dlatego muszą definiować, czego chcą, a potem znajdować narzędzia do automatyzacji.

Czym różnią się projekty AI od tradycyjnych IT

Nieprzewidywalność jako nowa norma

Michał Jaskólski zwraca uwagę na fundamentalną różnicę: musisz pogodzić się z nieprzewidywalnością modelu. Za każdym razem, przy każdej interakcji, model może jednak zachowywać się trochę inaczej.

Nawet z bardzo konkretnym promptem będziesz mieć 95% zgodności z tym, co chcesz, żeby model robił. Do stu procent zawsze będzie mimo to trochę brakowało.

Rzeczy, które wydają się, że zajmą tydzień, czasami da się zrobić w trzy godziny. Rzeczy, które wydają się 10-minutowe, potrafią zająć jeden dzień. To oznacza zatem konieczność zmiany metodyk zarządzania.

Problem „czarnej skrzynki”

Wojewodzic porównuje modele AI do czarnej skrzynki z samolotu. Coś wsadzasz, coś wyciągasz, ale bardzo rzadko jesteś w stanie wiedzieć, co ta skrzynka zapamięta, co przetworzy. Jest bardzo duża niepewność.

Dlatego zwrot z inwestycji w projektach AI musi być dużo szybszy niż w tradycyjnych projektach IT.

Podmienialność modeli – klucz do sukcesu

Zespół TasteRay zaprojektował architekturę, która pozwala podmieniać modele z tyłu w miarę jak pojawiają się nowe, lepsze. Nie możesz obstawiać dziś na jednego gracza, bo nikt nie wie, kto wygra ten bój technologiczny.

Praktyczne zasady zarządzania projektem AI

Skład zespołu – pięć kluczowych ról

Wojewodzic na podstawie kilkunastu projektów wyróżnia role, które zawsze się pojawiają:

• Osoba zbierająca dane – czy to scrapowanie z internetu, czy znajdowanie grup testowych
• Osoba czyszcząca dane – zauważa skrajne przypadki, wyjątkowe sytuacje
• Machine learningowiec – przetwarza dane, wybiera i dopasowuje model
• Tester – sprawdza, czy system działa (szczególnie ważne przy AI)
• Subject matter expert – ekspert merytoryczny w danej dziedzinie

Metodyki – dlaczego Kanban lepszy niż Scrum

Planowanie nawet w obszarze tygodnia jest dosyć trudne i nieprzewidywalne w projektach AI. Jaskólski zaleca jednak podejście bardziej zbliżone do Kanbana niż Scruma.

Dużo lepiej postawić na maksymalnie regularną informację o postępach i planach, a niekoniecznie planowanie, co się wydarzy za trzy tygodnie.

Narzędzia do monitorowania jakości

Zespół TasteRay używa dwóch głównych narzędzi. Helikon do zapisywania informacji o chatach i rozmowach użytkowników z modelami. LangFuse daje natomiast możliwość przemyślanej pracy nad projektami, a nie opartej na intuicji.

Każda interakcja użytkownika jest oceniana na bieżąco przez model według konkretnych miar, które można optymalizować. Jaskólski podkreśla, że nie wyobraża sobie współczesnego programisty bez Cursora z funkcją Composer i Claude’a.

Najważniejsze ryzyka i jak je ograniczyć

Bezpieczeństwo danych vs wielkość firmy

Wojewodzic wyróżnia trzy różne światy zabezpieczeń:

• Małe firmy – wysyłają dane po API, korzystają z gotowych rozwiązań (Google Workspace, itp.)
• Firmy średnie – też wysyłają po API, ale z większą ostrożnością
• Duże firmy i korporacje – wgrywają własne modele lokalnie, nie wysyłają nigdzie danych

Żaden dział prawny w poważnej korporacji nie zgodzi się bowiem na wysyłanie wrażliwych danych zewnętrznym dostawcom.

Zarządzanie kosztami przez dane syntetyczne

Jaskólski poleca wykorzystanie danych syntetycznych do testowania. Możesz wykorzystać modele do wygenerowania danych testowych, co ogranicza ryzyko związane z wyciekiem prawdziwych danych osobowych.

Gdy już dopracujesz mechanizm działania, możesz przejść do testowania na prawdziwych danych z maksymalną ochroną. Ważna zasada: koszty będą wyższe niż początkowo zakładacie – zawsze w projektach AI.

Praktyczne narzędzia do pracy zespołowej

Jaskólski mocno poleca Claude w wersji Team za 30 dolarów miesięcznie na stanowisko. Dzięki funkcji „projektów” można tworzyć kontenery z plikami dotyczącymi jednego tematu, a potem dzielić się odpowiedziami w ramach zespołu. To pomaga zatem większej liczbie osób zrozumieć, jak pracować z AI.

Problem z definicją „gotowe”

W projektach AI jest dużo trudniej określić kamienie milowe. Bardzo często jest trudno zmierzyć, kiedy uznajemy zadanie za gotowe. Definition of Done staje się nieuchwytne.

Automatyzacja jako filozofia pracy

Zespół TasteRay wypracował ciekawą zasadę. Wolniak mówi wprost: „My się chcemy wyskalować wykładniczo, więc musimy wiedzieć, co chcemy osiągnąć, a niekoniecznie wykonywać to ręcznie.”

Przykład? Przygotowali arkusz z podłączonymi modelami do analizy insightów konsumenckich. To, co wcześniej zajmowało 30-40 osobogodzin pracy seniorskiego zespołu, teraz robią w kilka minut.

Inny przykład mocy AI: gdy kilka dni przed webinarem wyszedł nowy model o3 Research, Michał prostym promptem wygenerował raport o tym, jak VC mogą postrzegać ich kategorię biznesową. W firmie audytorskiej za coś takiego zapłaciłby kilkadziesiąt tysięcy złotych.

Konkretny case z korporacji

Wojewodzic przytacza przykład z Banku Pekao S.A. Jeden menadżer zebrał dane z App Store, przepuścił przez analizę sentymentu i zbudował backlog poprawek. Efekt? Ocena aplikacji bankowej wzrosła o prawie pół punktu w ciągu roku. To projekt jednak do zrobienia dla jednego człowieka w korporacji.

Jedna rada na koniec – porzuć myślenie o bezpieczeństwie

Wolniak ma radę, która może brzmi kontrowersyjnie: „Powinien przede wszystkim porzucić myślenie, że będzie się czuć bezpiecznie.”

Jeśli nie masz poczucia, że technologia z którą pracujesz jest zawsze stabilna, jeśli czasami zaczyna fantazjować – to nie jest powód do rezygnacji. Musisz to wbudować w swoje procesy i myślenie.

Podobnie jak z zajebistym teamem – musisz wiedzieć, że nie na każdym polu możesz się czuć bezpiecznie, ale to nie znaczy, że nie warto z nim pracować.

Co dalej z danymi

Wojewodzic kończy optymistycznym akcentem o danych. Każda firma ma mnóstwo danych albo może ich sporo wyprodukować.

Jeśli masz e-commerce, masz dane transakcji. Sklep stacjonarny? Maile i telefony od klientów. Korporacja natomiast z siecią sklepów? Każda lokalizacja na mapach Google to kopalnia wiedzy.

Fascynujące jest to, że nagle zarządy zaczęły się interesować: „Mamy mnóstwo tych danych, co z nimi robimy?” Dotychczas głównie Google i Meta się interesowali naszymi danymi.

Checklista przed rozpoczęciem projektu AI

Przygotowanie zespołu:

☐ Masz osobę zbierającą dane
☐ Masz osobę czyszczącą dane
☐ Masz machine learningowca
☐ Masz testera (szczególnie ważne w AI)
☐ Masz subject matter experta w danej dziedzinie

Architektura i bezpieczeństwo:

☐ Zaprojektowałeś podmienialność modeli
☐ Określiłeś strategię bezpieczeństwa według wielkości firmy
☐ Masz narzędzia do monitorowania jakości (Helikon, LangFuse)
☐ Przygotowałeś dane syntetyczne do testowania

Zarządzanie ryzykiem:

☐ Zaakceptowałeś nieprzewidywalność czasową
☐ Ustaliłeś szybki zwrot z inwestycji
☐ Przygotowałeś się na 95% skuteczność (nie 100%)
☐ Sprawdziłeś możliwość automatyzacji przed ręczną pracą

Zasoby danych:

☐ Zinwentaryzowałeś dostępne dane (transakcje, maile, lokalizacje)
☐ Sprawdziłeś możliwość scrapowania z platform (Google Maps, App Store, Trip Advisor)
☐ Określiłeś strategię zbierania nowych danych od użytkowników

Ten wpis jest częścią mojej kolekcji notatek z ciekawych podcastów, webinarów i innych treści, które uważam za wartościowe i do których sam chcę wracać. Jeśli chcesz sprawdzić oryginalne źródło, znajdziesz je tutaj: Jak zarządzać projektem AI? Case study TasteRay

Tag: Michal Jaskolski

Jak zarządzać projektami AI? Case study TasteRay #EN128