1,2 mln osób tygodniowo pisze z ChatGPT o planach samobójstwa lub samookaleczenia
Co tydzień, w oceanie około 17,5 miliarda wiadomości i blisko 800 milionów użytkowników ChatGPT, pojawia się alarmowy wskaźnik: mniej więcej 1,2 miliona osób prowadzi rozmowy z jawnymi wskaźnikami planowania samobójstwa lub zamiaru samouszkodzenia, a około 8,7 miliona wiadomości niesie ślady ideacji samobójczej. To wciąż ułamki procenta, ale w liczbach bezwzględnych brzmią jak syrena — i właśnie ta skala skłoniła OpenAI do największej dotąd przebudowy robotycznych reakcji ChatGPT: więcej empatii, mniej błędów, szybciej podana droga do realnej pomocy.
OpenAI ogłosiło pakiet zmian, który ma sprawić, że domyślny ChatGPT lepiej wychwyci sygnały kryzysu psychicznego, będzie łagodniej prowadził rozmowę i skuteczniej zachęci do skorzystania z realnej pomocy. Firma mówi wprost o bardziej czułym rozpoznawaniu psychozy i manii, o lepszym reagowaniu na treści dotyczące samouszkodzeń i samobójstwa oraz o ograniczaniu sytuacji, w których użytkownicy zastępują relacje z ludźmi emocjonalnym przywiązaniem do modelu. Równolegle rozszerzono widoczność infolinii kryzysowych, dołożono delikatne przypomnienia o przerwie przy długich sesjach oraz uruchomiono mechanizmy kierujące wrażliwe wątki do bezpieczniejszych wariantów modelu.
OpenAI podaje, że w świeżych pomiarach produkcyjnych zredukowało odsetek niepożądanych odpowiedzi w rozmowach dotyczących zdrowia psychicznego o około dwie trzecie. W tych samych metrykach dla samouszkodzeń i samobójstwa odnotowano podobnej skali spadki, natomiast w domenie emocjonalnej zależności od AI spadek był jeszcze większy i sięgnął w przybliżeniu czterech piątych. W testach porównawczych na trudnych, ręcznie dobranych scenariuszach eksperci kliniczni ocenili nową wersję domyślnego modelu jako istotnie bezpieczniejszą od wcześniejszej, co potwierdziły także automatyczne ewaluacje. W jednej z nich zgodność zachowań z docelowymi wytycznymi sięgnęła ponad dziewięćdziesięciu procent, podczas gdy wcześniejsza iteracja tego samego modelu znacząco zostawała w tyle. W obszarze rozmów o samouszkodzeniu i samobójstwie automatyczne testy wykazały zgodność na poziomie dziewięćdziesięciu jeden procent, co także stanowi wyraźną poprawę w stosunku do poprzedniej wersji.
W praktyce warto podać wielkości bezwzględne. Przy około 800 milionach aktywnych użytkowników tygodniowo, odsetek 0,15% przekłada się na blisko 1,2 miliona osób tygodniowo, które w rozmowach z chatbotem wykazują jawne wskaźniki planowania samobójstwa lub zamiaru samouszkodzenia. Z kolei w odniesieniu do ruchu wiadomości: przy średnio ~2,5 miliarda promptów dziennie (około 17,5 miliarda tygodniowo), udział 0,05% wiadomości z eksplicytnymi lub implicytnymi wskaźnikami ideacji samobójczej daje rząd wielkości ~8,7 miliona wiadomości tygodniowo. To wstępne szacunki oparte na metodologii OpenAI i będą korygowane wraz z udoskonalaniem pomiarów. $3Co dokładnie się zmieniło w zachowaniu modelu Nowy domyślny model jest szkolony tak, aby odpowiadać empatycznie, ale zarazem nie wzmacniać przekonań oderwanych od rzeczywistości, które mogą być elementem urojeń. W praktyce oznacza to uziemianie rozmowy w faktach, nazywanie trudnych emocji i zachęcanie do kontaktu z bliskimi lub specjalistami, a nie próbę prowadzenia diagnozy czy terapii. W kontekstach jednoznacznie ryzykownych model priorytetowo podsuwa ścieżki natychmiastowego wsparcia, a przy długich wymianach delikatnie przypomina o przerwie, żeby zmniejszyć obciążenie emocjonalne i uniknąć zbyt długiego „zawieszenia” w rozmowie z AI. W scenariuszach, które mogą eskalować, zastosowano dodatkowe zabezpieczenia produktowe, w tym przekierowanie wątku do bezpieczniejszego wariantu modelu.
OpenAI opisuje pięciostopniowy cykl pracy: najpierw zdefiniowano kategorie ryzyka i niepożądanych zachowań, następnie opracowano sposoby ich wykrywania i pomiaru, zweryfikowano założenia z ekspertami klinicznymi, wdrożono mitygacje poprzez trening i zmiany produktowe, a na końcu utrzymuje się stały nadzór metryczny po wdrożeniu. Sednem są tzw. taksonomie — szczegółowe przewodniki po tym, jak rozpoznawać cechy wrażliwych rozmów i jak wygląda odpowiedź zgodna z najlepszą praktyką. Ponieważ rozmowy wyzwalające najwyższe poziomy alarmu są rzadkie, OpenAI nie polega wyłącznie na ruchu produkcyjnym. Prowadzi też wymagające testy offline, celowo dobierane tak, by były trudne dla modeli i nie nasycały się blisko perfekcji, co pozwala wykrywać przestrzenie do dalszej poprawy.
Do prac zaangażowano szeroką sieć lekarzy i psychologów z różnych krajów, którzy współtworzyli wzorcowe odpowiedzi, projektowali analizy i oceniali zachowanie modeli na setkach trudnych przykładów. W raportach podkreślono, że eksperci nie zawsze są jednomyślni co do ideału odpowiedzi, ale mimo tej naturalnej rozbieżności zgodność ocen wahała się w górnych granicach siedemdziesięciu procent, co uznano za wystarczające, by mówić o spójnej poprawie zachowania nowego modelu na tle starszych.
W codziennym użyciu użytkownik częściej spotka się z odpowiedzią, która nazywa to, co przeżywa, proponuje bezpieczne, proporcjonalne kroki i nie wzmacnia nieuzasadnionych przekonań. Zmiany nie próbują zastąpić kontaktu z człowiekiem ani opieki specjalistycznej; mają sprawić, by rozmowa z chatbotem była miejscem chwilowego wsparcia i porządkowania myśli, a nie źródłem diagnoz. Dla organizacji wdrażających asystentów AI oznacza to podniesienie poprzeczki: nowe standardy testów bezpieczeństwa obejmują już nie tylko zapobieganie treściom samobójczym, lecz także rozpoznawanie nie‑samobójczych nagłych kryzysów psychicznych i sygnałów nadmiernego przywiązania do modelu.
Jedną z wcześniejszych bolączek była podatność modeli na „zmęczenie” w długich sesjach. OpenAI twierdzi, że najnowsze wydanie utrzymuje stabilność odpowiedzi na wysokim poziomie przez dłuższy czas, co ma zmniejszać ryzyko błędów w rozmowach, które same w sobie są obciążające. Równocześnie firma zastrzega, że ewaluacje są projektowane tak, by stale podnosić poprzeczkę i nie zawsze da się je porównać jeden do jednego między wydaniami.