Naukowcy z Politechniki Wrocławskiej postanowili sprawdzić, jak Chat GPT prezentuje się na tle innych dostępnych na rynku programów do automatycznej analizy języka, i zadali mu ponad 38 tysięcy pytań. Po analizie jego odpowiedzi doszli zaś między innymi do następujących wniosków: 

• Chat GPT – w przeciwieństwie do produktów konkurencyjnych – potrafi rzeczowo uzasadniać swoje odpowiedzi i jest kreatywny (ale tylko w tym sensie, że gdy zada mu się kilkukrotnie to samo pytanie, jego odpowiedź będzie za każdym razem inna, czasem błędna).

• Chat GPT słabo sobie radzi z rozpoznawaniem emocji.

• Chat GPT – wbrew temu, co deklaruje – nie jest neutralny, co wychodzi na jaw w dyskusjach ideologicznych z jego udziałem. 

• Chat GPT ma tendencje do powierzchownego oceniania treści (np. wypowiedzi, doniesień prasowych). Przykładowo informację o zakazie nazywania ulic imieniem Fidela Castro uznał za negatywną, uzasadniając swoje stanowisko tym, że restrykcje są generalnie postrzegane jako coś negatywnego. Nie podjął się więc oceny postaci kubańskiego dyktatora. 

• Chat GPT ma skłonność do doszukiwania się w tekście negatywnych konotacji, a punktem odniesienia jest dla niego moralność przeciętnego człowieka. Z tego powodu na przykład zdanie „Zjadłem mamę i tatę” odebrał jako wstrętne, nie wziąwszy pod uwagę, że było ono przejawem czarnego humoru. Zgodził się z taką interpretacją dopiero wtedy, gdy mu ją zasugerowano. 

• Chat GPT jest podatny na manipulację, np. na pytanie o główną bohaterkę „Lalki” Bolesława Prusa odpowiedział prawidłowo, ale gdy przekazano mu, że to nie Izabela Łęcka i że nazwisko autora powieści jest inne, kontynuował udzielanie odpowiedzi z uwzględnieniem błędnych danych autora. 

Jednocześnie naukowcy dostrzegli, że Chat GPT może być wykorzystywany przede wszystkim:

• do tworzenia tekstów,

• do korekty tekstów,

• do wyszukiwania informacji,

• w edukacji,

• jako wsparcie organizacyjne (wirtualny asystent). 

Szczegółowe wyniki ich badań znajdziesz tu: https://arxiv.org/pdf/2302.10724.pdf.