TL;DR

Projektowanie dla systemów LLM wymaga zmiany paradygmatu z deterministycznych interfejsów na „fuzzy experiences” (rozmyte doświadczenia)
Interfejs chatowy to tylko jedna z wielu możliwości implementacji, nie obowiązkowy standard dla rozwiązań AI
Projektanci muszą nauczyć się pracować z systemami, których nie kontrolują w pełni – ani modelu, ani użytkownika
Kluczowe wyzwanie: jak badać i optymalizować tysiące różnych ścieżek użytkowników, gdzie tylko oni sami wiedzą, czy interakcja była udana
Nieprzemyślane dodawanie AI do produktów prowadzi do „shitification of UX” – pogorszenia doświadczenia użytkownika
UX designerzy muszą aktywnie uczestniczyć w procesie trenowania modeli, nie tylko projektować interfejsy
Różnorodność w zespole projektowym to kluczowy czynnik ochrony przed stronniczością i błędami modeli AI

Wprowadzenie: Panel ekspertów UX w erze LLM

Podcast „Experiencing Data” z Brianem T. O’Neillem zgromadził czterech ekspertów UX specjalizujących się w projektowaniu dla sztucznej inteligencji: Simona Landry’ego (lead UX researcher z Thomson Reuters), Grega Ludelmana (distinguished designer z Sumo Logic), Paspareza (UX designer z Google) oraz prowadzącego Briana T. O’Neilla. Goście dzielą się swoimi spostrzeżeniami na temat aktualnego stanu projektowania UX dla systemów opartych na dużych modelach językowych.

Eksperci zgodnie wskazują, że projektowanie dla systemów AI znajduje się wciąż na wczesnym etapie rozwoju. Zamiast ugruntowanych wzorców projektowych widzimy eksperymentowanie i poszukiwanie. Jak zauważa Pasparez z Google: „Jako branża próbujemy nadążyć. Jesteśmy wciąż niezwykle niedoświadczeni. Jest tak wiele do nauczenia się.”

Checklista dla projektantów UX pracujących z systemami LLM

Projektowanie dla doświadczeń probabilistycznych

Zastosuj myślenie w kategoriach „fuzzy experiences” zamiast deterministycznych ścieżek
Przygotuj się na nieograniczoną liczbę potencjalnych interakcji
Uwzględnij, że nie masz pełnej kontroli nad wynikiem działania modelu
Zapewnij mechanizmy informacji zwrotnej (thumbs up/down, komentarze)
Projektuj systemowe prompty, które kierują model w pożądanych kierunkach

Badania użytkowników dla AI

Wprowadź regularny cykl badań i iteracji produktu
Prowadź jakościowe sesje z użytkownikami obserwując ich interakcje
Analizuj transkrypty rozmów pod kątem intencji i problemów
Identyfikuj wzorce w krótkich vs. długich interakcjach
Śledź i klasyfikuj typy zapytań, które sprawiają trudności modelowi

Współpraca z zespołem technicznym

Zaangażuj się w proces trenowania modeli, nie tylko projektowanie interfejsu
Pracuj z content designerami nad tworzeniem efektywnych promptów systemowych
Angażuj się w tworzenie ewaluacji skuteczności modelu
Stosuj narzędzia jak Value Matrix do oceny ryzyka i korzyści różnych scenariuszy
Współpracuj z inżynierami nad ograniczaniem hallucynacji modelu

Skład zespołu projektowego

Zapewnij różnorodność płciową w zespole
Włącz badaczy UX do zespołu AI
Zaangażuj content designerów i UX writerów
Zadbaj o różnorodność doświadczeń i perspektyw
Wykorzystaj doświadczenie osób znających projektowanie konwersacyjne

Stan obecny UX dla LLM – od chatbotów do prawdziwej innowacji

Simon Landry z Thomson Reuters zauważa kluczowy problem: „Kiedy ChatGPT pojawił się po raz pierwszy, wydaje się, że cała branża pomyliła interfejs użytkownika z technologią. Stwierdziliśmy, że jeśli masz LLM, potrzebujesz interfejsu czatu, podczas gdy w rzeczywistości był to po prostu skuteczny trick, który przyciągnął naszą uwagę.”

Eksperci wskazują kilka już istniejących przykładów udanych implementacji:

GitHub Copilot – wskazywany jako szczególnie wartościowe narzędzie do pisania kodu
Grammarly – doceniane za interfejs oparty na przyciskach, a nie chacie
Sumo Copilot – przekształcający zapytania w języku naturalnym na kwerendy SumaQL
Zapier – wymieniony przez Briana O’Neilla jako „trochę pomocny tu i tam”
Narzędzia do pisania kodu – przydatne, choć wciąż czasochłonne

Greg Ludelman zwraca uwagę na problem „shitification of UX” – dodawanie funkcji AI do produktów często pogarsza doświadczenie użytkownika zamiast je ulepszać. Jako przykład podaje wielokrotne poprawki w Grammarly, które stają się irytujące dla użytkowników.

Fuzzy vs. Crisp experiences – nowy paradygmat projektowania

Kluczowym wyzwaniem, jak podkreśla Simon Landry, jest projektowanie dla „fuzzy experiences” (doświadczeń rozmytych):

„AI w doświadczeniach użytkownika jest rozmyta, ponieważ może pójść w wiele kierunków, a jako właściciele produktów czy projektanci nie możemy tego kontrolować. Nie ma szczęśliwej ścieżki, ponieważ nie kontrolujesz modelu ani użytkownika. To rozmyte doświadczenie, podczas gdy nasze tradycyjne SaaS, gdzie mamy po prostu interfejs użytkownika, to znacznie bardziej precyzyjne doświadczenia.”

Porównanie podejść:

Tradycyjne (Crisp) Experience	AI (Fuzzy) Experience
Deterministyczne	Probabilistyczne
Ograniczona liczba ścieżek	Nieograniczona liczba możliwości
Projektanci kontrolują wszystkie kroki	Brak pełnej kontroli nad wynikiem
Testowanie możliwe dla wszystkich scenariuszy	Niemożliwe przetestowanie wszystkich przypadków
Błędy są powtarzalne i możliwe do naprawienia	Błędy mogą być jednorazowe i trudne do odtworzenia

Jak projektować w takim środowisku? Simon stawia pytanie: „Jak projektować doświadczenie, którego nie możesz przewidzieć i jak upewnić się, że to dobre doświadczenie produktu, aby nasi klienci nie czuli się zagubieni?”

AI jako „Generator Bzdur” – wyzwanie dla projektantów

Greg Ludelman przytacza celne spostrzeżenie Chrisa Nossela: „AI jest generatorem bzdur i absolutnie to kocham. To dokładnie to, czym jest. Możesz kazać mu zrobić cokolwiek. Połączy kropki, będzie argumentować za, będzie argumentować przeciw, stworzy dowody wspierające i dowody obalające.”

To stawia przed projektantami ogromne wyzwanie:

Jak projektować dla systemu, który może tworzyć spójne, ale całkowicie nieprawdziwe odpowiedzi?
Jak minimalizować ryzyko reputacyjne związane z hallucynacjami?
Jak pomagać użytkownikom ocenić wiarygodność informacji?

Greg wskazuje na realne ryzyko biznesowe: „Wprowadzenie LLM do produktu oznacza, że istnieje niezerowa szansa, że kompletnie zwariuje i twój użytkownik będzie miał doświadczenie, przez które przestanie być twoim klientem. To jest ogromne ryzyko reputacyjne.”

Greg proponuje nawet gamifikację wykrywania hallucynacji: „Znajdźcie nam, kiedy maszyna halucynowała i wyślijcie nam to. Najlepsza hallucynacja dostaje gadżety.”

AI First – nowe podejście do projektowania

Greg Ludelman proponuje podejście „AI First”, podobne do „Mobile First” z poprzedniej rewolucji technologicznej:

„AI to taka transformacyjna technologia i myślę, że musimy zacząć myśleć 'AI First’, bardzo podobnie jak myśleliśmy 'Mobile First’. To naprawdę zrewolucjonizowało nasze podejście do projektowania UI.”

Ludelman podaje fascynujący przykład hiperpersonalizacji doświadczenia e-commerce: „Możesz przeanalizować poprzednie zakupy, stwierdzić, że interesujesz się wędkarstwem, ustalić, czego ci brakuje. Przeprowadziłem mały eksperyment i absolutnie mógł ustalić, że mam dwa kołowrotki i tylko jedną wędkę w ciągu ostatniego roku. Poprawnie zarekomendował lekką wędkę, którą faktycznie rozważałem, a następnie przekazał to do Midjourney, które stworzyło tło pokazujące mnie łowiącego ryby z całym tym sprzętem.”

Greg porównuje też doświadczenia z AI do bycia Ironmanem: „To jest jak Ironman. Każdy może być Ironmanem i mieć własnego Jarvisa i dokonywać nadludzkich wyczynów.”

Brian O’Neill jednak kwestionuje to podejście, sugerując, że kluczowe jest skupienie na korzyściach:

„Musi być najpierw korzyść. Jaka jest korzyść, którą dasz klientowi i czy AI, czy nie, czy jakieś mieszane doświadczenie, które myślę, że zwykle produkty warte zapłacenia to będą mieszane doświadczenia deterministycznego oprogramowania ulepszonego sztuczną inteligencją we właściwym czasie, aby zapewnić korzyść, która jest o wiele lepsza niż cokolwiek, co oferuje status quo.”

Shared Agency – projektowanie dla współdzielonej kontroli

Pasparez z Google wprowadza kluczową koncepcję:

„Poza myśleniem o LLM jako generatorze wyników, musimy też myśleć o AI jako podejmującej decyzje za nas. Jak my jako projektanci możemy projektować dla tej współdzielonej sprawczości, gdzie zarówno my jako ludzie i AI współistnieją, używając dowolnego rodzaju interfejsu czy produktu?”

Ta współdzielona sprawczość wymaga całkowicie nowych paradygmatów projektowania:

Kto podejmuje jakie decyzje?
Jak przekazywana jest kontrola?
Jak użytkownik rozumie, kiedy może zaufać systemowi?
Jak system komunikuje swoją pewność/niepewność?

Service Design jako nowy sposób myślenia o AI

Simon Landry proponuje przyjęcie szerszej perspektywy service design:

„Musimy przyjąć bardziej perspektywę service design i zastanowić się: czym jest rzecz, którą ktoś chce zrobić, nie na mojej stronie internetowej, ale w swoim życiu? Co sprowadza ich do mojej własności, czymkolwiek ona jest? Jak mogę wyobrazić sobie inny świat, który wykorzystuje te możliwości, o których mówiliśmy, aby pomóc im wykonać swoją pracę?”

Zamiast skupiać się na dodawaniu AI do istniejących produktów, projektanci powinni zastanowić się, jak fundamentalnie zmienić sposób, w jaki ludzie realizują swoje cele – podobnie jak Pokemon Go zmieniło sposób, w jaki ludzie wchodzą w interakcje ze sobą poprzez technologię mobilną.

Wyzwania badań użytkowników dla systemów probabilistycznych

Simon Landry wskazuje na fundamentalne wyzwanie badawcze:

„Kiedy masz wejście w języku naturalnym, przestrzeń możliwych wypowiedzi jest nieograniczona. Niemożliwe jest wiedzieć, co ktoś powie, znając to i wiedząc, że różni ludzie wyrażają się inaczej i mają różne oczekiwania wobec produktu, oraz że nie wiesz, jak model przetworzy dane wejściowe użytkownika. Jeśli wynik modelu jest doświadczeniem użytkownika, to nie kontrolujesz doświadczenia użytkownika.”

To stawia przed badaczami UX ogromne wyzwanie: „Masz 50 000 interakcji z użytkownikami miesięcznie. Krótka interakcja może oznaczać, że ktoś naprawdę osiągnął swój cel i dostał dokładnie to, czego chciał za pierwszym razem, albo że nie mógł zrozumieć, jak używać produktu, dostał bezwartościowy wynik i nigdy więcej nie użyje twojego produktu.”

Jak radzić sobie z tym wyzwaniem:

Analiza transkryptów – Brian O’Neill sugeruje: „Możesz wiele zbadać, analizując transkrypty z przeszłości. To miejsce, w którym badania UX mogą dostarczyć dużej wartości, klasyfikując, co ludzie faktycznie próbują zrobić z tym produktem.”
Sesje jakościowe – Greg Ludelman podkreśla: „Potrzebny jest ogromny wysiłek badawczy. Chodzi o jakościowe badania, sesje z klientami, obserwowanie ich podczas korzystania z produktu.”
Analiza wzorców – „Ktoś, kto wpisuje ten typ pytania, zawsze ma krótką interakcję, przyjrzyjmy się temu. Ktoś, kto wpisuje inny typ pytania, zawsze ma długą interakcję, albo większość z nich jest długa? Ustalmy to.”

Rola UX w trenowaniu modeli, nie tylko projektowaniu interfejsów

Pasparez z Google wskazuje na nowy obszar, w którym projektanci UX muszą się zaangażować:

„Jako projektanci UX musimy zaangażować się w trenowanie modelu. To coś, czego jako społeczność nie wszyscy jeszcze w pełni rozumieją. To są surowe materiały, te modele, które można kształtować, a żeby to zrobić, musisz współpracować z inżynierami.”

Kontynuuje, podkreślając rolę różnych specjalistów UX: „Praktyka UX obejmuje również badaczy i specjalistów od treści. Teraz błyszczą w tej przestrzeni, ponieważ widzimy, że w trenowaniu modeli, projektanci UX i specjaliści od treści są fantastyczni w pisaniu instrukcji i promptów systemowych.”

Vision Prototyping – nowa rola projektantów

Greg Ludelman widzi w AI szansę na powrót do kreatywnego projektowania:

„Jedną z kluczowych wartości, które wnosimy jako projektanci, jest zdolność do tworzenia prototypów wizji. Jako projektanci staliśmy się bardzo zadowoleni z siebie w ciągu ostatnich lat. Zawsze było: to ten wzorzec lub tamten wzorzec. To nowa szansa dla nas, aby błyszczeć, aby naprawdę projektować.”

Ludelman kontynuuje: „Jako projektanci musimy odkryć na nowo nasze DNA powrotu do prawdziwego projektowania, co oznacza wyobrażanie sobie czegoś, co jest technologicznie dostępne, ale jeszcze nie zostało zobaczone.”

Wartość różnorodności w zespołach projektowych dla AI

Greg Ludelman mocno podkreśla znaczenie różnorodności w zespołach projektujących dla AI:

„Myślę, że posiadanie różnorodności w zespole projektowym, w tym różnorodności płciowej i doświadczenia, jest kluczowe, szczególnie włączenie kobiet. Widzieliśmy już straszne wyniki tego, gdzie LLM tworzy okropne e-maile i wprowadzenia.”

Jako przykład podaje post Millie Barker na LinkedIn, który zdobył około miliona wyświetleń, pokazujący „szalone halucynacje, naprawdę okropny typ interakcji, które AI potrafi stworzyć. Wszystko, co jest mizoginistyczne… To najgorsze z najgorszych”.

Jego najważniejsze porady:

Zatrudnij badaczy UX
Upewnij się, że twój zespół jest różnorodny

Ogólna dostępność jako początek, nie koniec pracy

Greg Ludelman wyjaśnia zmianę w podejściu do wydawania produktów:

„Kiedy wprowadzamy produkt do ogólnej dostępności (General Availability), to oznacza, że możemy teraz zorganizować pierwszy krok w interakcji. Ogólna dostępność dosłownie oznacza, że wystrzelono pistolet startowy. Wprowadzenie produktu w tych dniach dosłownie oznacza, że wystrzelono pistolet startowy. Zaangażuj badania, aby ustalić następny krok.”

Pasparez dodaje: „To będzie niekończący się cykl. Nie sądzę, że to praca, która kiedykolwiek zostanie zakończona, ale będzie bardziej kontrolowana.”

Narzędzia i techniki dla zespołów UX/AI

Value Matrix – Greg Ludelman: „Ja i Daria napisaliśmy artykuł o Value Matrix. To dokładnie rodzaj ćwiczenia, które pomoże ci zrobić ten rodzaj wyceny. Pomysł polega na tym, że usiadłbyś ze swoimi naukowcami danych i rozpoczął rozmowę: jaki jest wynik złego rezultatu? Jaki jest koszt fałszywie pozytywnego lub fałszywie negatywnego wyniku?”
Analiza transkryptów – klasyfikacja zapytań i intencji użytkowników
Service Design dla AI – Simon Landry proponuje szersze spojrzenie: „Musimy przyjąć perspektywę service design i zastanowić się: czym jest rzecz, którą ktoś chce zrobić, nie na mojej stronie internetowej, ale w swoim życiu?”

Praktyczne podejście do wdrażania AI w produktach

Panel dzieli się kilkoma praktycznymi wskazówkami dla firm wdrażających AI:

Zacznij od zdefiniowania realnych problemów użytkowników, a nie od technologii
Wprowadź regularny cykl badań i iteracji, traktując wydanie produktu jako „strzał startowy”, a nie koniec pracy
Zaangażuj zespół UX we współpracę z inżynierami na etapie trenowania modeli
Zbieraj i analizuj dane o interakcjach, szukając wzorców sukcesu i porażki
Zadbaj o różnorodność w zespole projektowym, by uniknąć stronniczości
Rozważ wykorzystanie wiedzy z projektowania konwersacyjnego, zamiast zaczynać od zera
Używaj podejścia Value Matrix do oceny kosztów i korzyści różnych scenariuszy AI

Materiały do pogłębienia tematu

Podczas panelu wspomniano kilka cennych źródeł wiedzy:

Książka „UX for AI” Grega Ludelmana (planowana premiera w kwietniu)
Artykuł o Value Matrix na stronie ux4ai.com (autorstwa Grega Ludelmana i Darii)
Artykuły Paspareza na Medium o zmieniającej się praktyce UX
Posty LinkedIn Simona Landry’ego (pod nazwiskiem Simon Landry, PhD)
Post Millie Barker na LinkedIn o nieudanych implementacjach AI
AI Incident Database – miejsce, gdzie dokumentowane są problematyczne wdrożenia AI

Ten artykuł jest częścią serii notatek z wartościowych webinarów. Na podstawie podcastu „Experiencing Data” z Brianem T. O’Neillem i panelem ekspertów UX.

Tag: Projektowanie Probabilistyczne

UX dla systemów LLM – projektowanie w świecie probabilistycznym: Panel ekspertów #EN65