Zaufanie do AI w biznesie

Sprawa, która kosztowała prawników 5000 dolarów

W czerwcu 2023 roku dwóch nowojorskich prawników złożyło w sądzie pismo procesowe. Powołali się w nim na kilka wyroków, które świetnie pasowały do ich sprawy. Był jeden problem: te wyroki nie istniały. Prawnicy poprosili ChatGPT o znalezienie orzeczeń, a model je wymyślił, razem z nazwami spraw, sygnaturami i cytatami. Wszystko brzmiało wiarygodnie. Sąd nie znalazł ani jednego. Sędzia P. Kevin Castel ukarał obu prawników i ich kancelarię grzywną 5000 dolarów. Ale nie o samą pomyłkę tu chodzi. Chodzi o to, że AI nie dało żadnego sposobu, żeby tę pomyłkę wychwycić. Prawnicy zaufali odpowiedzi, bo brzmiała pewnie. Nie mieli jak jej sprawdzić, więc jej nie sprawdzili. To jest sedno problemu z zaufaniem do AI. Płynna odpowiedź to nie to samo co prawdziwa

Duże modele językowe, czyli systemy AI, które generują tekst, jak ChatGPT, mają jedną niewygodną cechę. Uczą się tworzyć zdania, które brzmią prawdopodobnie. Nie mają wbudowanego mechanizmu sprawdzania, czy to, co piszą, jest prawdą. Stąd biorą się halucynacje. Halucynacja to odpowiedź pewna siebie, a zarazem nieprawdziwa. Model podaje nieistniejący paragraf ustawy. Cytuje raport, którego nikt nie napisał. Tworzy link, który wygląda poprawnie i prowadzi donikąd. Robi to bez wahania, tym samym spokojnym tonem co przy odpowiedzi prawdziwej. I tu jest pułapka. Im płynniejsza odpowiedź, tym chętniej jej wierzymy. Ton pewności mylimy z trafnością. A to dwie różne rzeczy.

Zaufanie do AI nie bierze się z obietnicy

Narzędzie, które mówi „zaufaj mi", nie daje ci nic. Musisz uwierzyć na słowo. Narzędzie, które pokazuje, skąd wzięło każdą informację, daje ci coś konkretnego: możliwość sprawdzenia. I to ty decydujesz, czy odpowiedź jest dobra. Różnica jest jak między dwoma współpracownikami. Pierwszy mówi: „chyba tak to działa“. Drugi kładzie dokument na biurku, wskazuje akapit i mówi: „tu jest napisane”. Pierwszemu kiwasz głową. Drugiego możesz zweryfikować w dziesięć sekund. Dobre AI działa jak ten drugi współpracownik. Nie prosi o wiarę. Pokazuje dowód.

Co znaczy „pokazać źródło"

Pokazanie źródła to nie ogólnik „źródło: regulamin firmy". To precyzyjne powiązanie: ten fragment odpowiedzi pochodzi z tego akapitu tego dokumentu. Takie wskazanie nazywamy cytowaniem. Dobre cytowanie ma trzy cechy. Jest konkretne i wskazuje fragment, nie tylko nazwę pliku. Jest klikalne, czyli otwierasz źródło i czytasz oryginał w jednym ruchu. I jest uczciwe, tzn. jeśli informacji nie ma w dokumentach, AI mówi „nie znalazłem", zamiast coś dopowiadać. Ten ostatni punkt jest ważniejszy, niż się wydaje. AI, które zawsze ma odpowiedź, prędzej czy później ją zmyśli. AI, które potrafi powiedzieć „nie wiem", oszczędza ci kłopotów. Przykład: pytasz o okres wypowiedzenia dla pracownika z pięcioletnim stażem. Słabe narzędzie odpowiada „trzy miesiące" i na tym kończy. Dobre odpowiada „trzy miesiące" i dokłada link do paragrafu 12 regulaminu pracy, wersja z marca 2026. W pierwszym przypadku masz liczbę. W drugim masz liczbę i dowód.

Jak to zmienia codzienną pracę

Weź prawnika z historii powyżej. Z cytowaniami sprawdziłby orzeczenie w dwóch kliknięciach, zanim wstawiłby je do pisma. Fałszywa sprawa wyszłaby na jaw w minutę, a nie w sądzie. To samo dotyczy innych ról. Analityk widzi, z którego raportu pochodzi liczba w podsumowaniu, i wie, czy może na niej oprzeć rekomendację. Pracownik działu HR nie przegląda czterdziestostronicowego regulaminu, tylko klika cytowanie i w pięć sekund widzi, czy odpowiedź o urlopie stoi w aktualnej wersji, czy w tej sprzed dwóch lat. Specjalista od zamówień potwierdza zapis o karach umownych, zanim zadzwoni do dostawcy. Sprawdzenie źródła zajmuje sekundy. Naprawienie decyzji opartej na zmyślonej odpowiedzi potrafi zająć tygodnie. W każdym z tych przypadków zmienia się jedno. „Wierzę, bo AI tak powiedziało" zamienia się w „wiem, bo widzę, skąd to pochodzi". To różnica między używaniem AI a poleganiem na nim.

Czego szukać w narzędziu AI

Kilka pytań pozwala szybko odróżnić AI, które pokazuje dowody, od takiego, które prosi o wiarę:

• Czy do każdej odpowiedzi dołącza źródło — i czy da się je otworzyć jednym kliknięciem?

• Czy wskazuje konkretny fragment, czy tylko ogólną nazwę dokumentu?

• Czy mówi „nie wiem", gdy informacji brakuje — czy zawsze coś wymyśli?

• Czy odpowiada na podstawie twoich dokumentów, czy „wiedzy ogólnej" z internetu?

Jeśli na pierwsze trzy pytania słyszysz „tak“, masz narzędzie, które można kontrolować. Jeśli „nie”, to masz narzędzie, któremu musisz ufać w ciemno. A ufanie w ciemno raz na jakiś czas kończy się grzywną 5000 dolarów.

Pokaż, nie obiecuj

Żadne AI nie jest bezbłędne. Człowiek też nie. Nie o to chodzi, żeby AI nigdy się nie myliło, bo to nierealne. Chodzi o to, żeby dało ci złapać błąd, zanim trafi on do pisma procesowego, umowy albo zarządu. AI, któremu można zaufać, nie zaczyna od „zaufaj mi". Podaje ci źródło i mówi: sprawdź. Reszta należy do ciebie.