Uruchomiony w grudniu ChatGPT bije rekordy popularności, znajdując zastosowanie w edukacji, biznesie i życiu codziennym. Badacze z naszego wydziału postanowili sprawdzić, czy rzeczywiście nowy chatbot jest w stanie odpowiadać na każde pytanie.

ChatGPT to generatywny transformer językowy stworzony przez firmę OpenAI, który teoretycznie jest w stanie odpowiedzieć na każde zadane mu pytanie, zachowując przy tym wysoką poprawność językową.

Grupa naukowców z WIT w ramach projektu CLARIN postanowiła sprawdzić, czy sztuczna inteligencja rzeczywiście jest tak wszechstronna. W swoim eksperymencie zadali blisko 40 tys. pytań w 25 kategoriach. Wyniki swoich obserwacji opublikowali w artykule naukowym:

„ChatGPT: Jack of all trades, master of none” Jan Kocoń, Igor Cichecki, Oliwier Kaszyca, Mateusz Kochanek, Dominika Szydło, Joanna Baran, Julita Bielaniewicz, Marcin Gruza, Arkadiusz Janz, Kamil Kanclerz, Anna Kocoń, Bartłomiej Koptyra, Wiktoria Mieleszczenko-Kowszewicz, Piotr Miłkowski, Marcin Oleksy, Maciej Piasecki, Łukasz Radliński, Konrad Wojtasik, Stanisław Woźniak, Przemysław Kazienko.

Michał CiepielskI: Świat zachwycił się nowym chatbotem, a wiele osób mówi o przełomie w rozwoju sztucznej inteligencji oraz nowych możliwościach w jej zastosowaniu. Czy rzeczywiście w grudniu 2022 r. zaczęła się nowa rewolucja cyfrowa?

prof. Przemysław Kazienko (Katedra Sztucznej Inteligencji): Z technologicznego punktu widzenia to nie jest nowość. Badania nad sztuczną inteligencją prowadzone są od kilkudziesięciu lat. Ze sztucznej inteligencji korzystamy też od dłuższego czasu, choćby używając systemu rozpoznawania twarzy w smartfonie czy zaawansowanych systemów adaptacyjnych w naszych samochodach. ChatGPT opiera swoje działanie na wielkim modelu językowym GPT-3, który został opublikowany w 2020 r., a jego pierwsza wersja powstała w roku 2018. Te daty są ważne, bo pokazują niesamowicie dużą dynamikę rozwoju tego typu modeli. Nowe rozwiązania będą się pojawiały coraz szybciej i w tym względzie uważam, że zaczęła się właśnie rewolucja sztucznej inteligencji.

Taka na miarę rewolucji przemysłowej?

Tak, będzie na pewno równie duża i przyniesie równie wielkie zmiany. Przełomowy jest choćby fakt, że zaledwie w ciągu miesiąca od udostępnienia z modelu ChatGPT korzystało już ok. 100 mln użytkowników, a teraz jest ich z pewnością ponad 200 mln. Spotkał się on także z ogromnym zainteresowaniem ze strony firm, które również już zaczęły go wykorzystywać w swoich działaniach.

Wspomniał Pan o modelu GPT-3, na którym opiera się ChatGPT. Co to takiego?

To wielki model językowy, który składa się ze 175 mld parametrów. Był on wykorzystywany do różnych celów np. generowania treści czy wnioskowania o treściach tekstowych, ale otrzymywane wyniki nie były wystarczająco przystępne. Dlatego właśnie firma OpenAI zdecydowała się na stworzenie nowego rozwiązania, którym jest właśnie ChatGPT. Jego baza parametrów wynosi ok. 3,5 mld, ale robi duże wrażenie, jeśli chodzi o poprawność językową i brzmienie otrzymywanych treści. Choć oczywiście zdarzają mu się błędy językowe, zwłaszcza w języku polskim, który jest jednym z trudniejszych.

A jak udało się dojść do takiego poziomu?

Model wykorzystuje wiedzę człowieka. Firma OpenAI zatrudniła mnóstwo osób, których zadaniem było ocenianie i wybieranie najlepszej wersji odpowiedzi generowanych przez sztuczną inteligencję. Na tej podstawie program uczył się, przygotowując coraz bardziej poprawne odpowiedzi. Obecnie  miliony osób, korzystając z ChatGPT, zadając mu pytania, poprawiając i wchodząc z nim w konwersacje dostarczają firmie ludzkie sprzężenie zwrotne (tzw. Human in the Loop) i również pomagają go rozwijać. Tym razem za darmo.

Z jakich źródeł korzystają te modele, przygotowując odpowiedzi?

Modele GPT zaindeksowały m.in. Wikipedię, publiczne serwisy internetowe, całe dostępne bazy tekstów i książek, także naukowych, blogi oraz serwisy newsowe. W sumie to ok. 45 TB danych. Warto jednak podkreślić, że dane nie są zaciągane na bieżąco, więc nie dostaniemy odpowiedzi na temat aktualnych wydarzeń, dopóki nie zostaną one na nowo przetworzone. ChatGPT nie potrafi bowiem sam tworzyć wiedzy z niczego – choć takie modele również już istnieją – wykorzystuje do tego wyłącznie dostępne dane. Przygotowując odpowiedź na pytania, wyszukuje związki pomiędzy słowami, zwrotami i wyrażeniami, wykorzystując do tego głęboką sieć neuronową, która działa na podobnej zasadzie jak nasz mózg.

Czego chcą się Państwo dowiedzieć w swoich badaniach?

ChatGPT zainspirował nas do badań przede wszystkim tym, że stał się popularny społecznie i ogólnie można powiedzieć, że rzeczywiście dobrze działa. W sumie zadaliśmy sztucznej inteligencji ponad 38 000 zapytań w 25 różnych kategoriach. Sprawdziliśmy m.in. jak reaguje na sarkazm, czy rozumie żarty i umie wychwycić szerszy kontekst wypowiedzi. Jakość odpowiedzi porównywaliśmy z wynikami osiąganymi przez inne, aktualnie najlepsze, wyspecjalizowane modele przetwarzania języka naturalnego (tzw. SOTA:  state-of-the-art). Warto bowiem pamiętać, że ChatGPT nie skupia się na jednej dziedzinie, lecz generuje odpowiedzi na niemal wszystkie tematy. Idzie on więc w kierunku ogólnej sztucznej inteligencji (artificial general intelligence) imitującej posiadanie szerokich zdolności poznawczych.

I jakie były efekty?

W porównaniu do innych rozwiązań językowych był gorszy, ale nie beznadziejny. Okazuje się, że jest to dobre narzędzie do szybkiego znalezienia odpowiedzi, ale jeśli komuś zależy na wysokiej jakości wnioskowania, to jego wyniki mogą nie być wystarczająco dobre. Mocną stroną ChatGPT okazała się świadomość kontekstu i możliwość personalizacji wypowiedzi, ale z drugiej strony nie był sobie w stanie poradzić na przykład przy szybkiej zmianie tematu. Już zaczęliśmy dalsze badania, w których mocniej skupimy się na temacie emocji. To dużo trudniejsze zagadnienie, które sprawia problemy nawet wyspecjalizowanym modelom językowym.

Skoro ChatGPT nie jest aż tak dobry, to czy słuszne są wobec tego obawy dotyczące wykorzystywania go przez uczniów np. do odrabiania zadań domowych?

To jedna z kwestii, z którą będziemy musieli się zmierzyć. Wydaje mi się, że musimy nauczyć się wykorzystywać rozwiązania tego typu, a nie je ograniczać. Można je oczywiście zablokować na poziomie egzaminów czy innej formy sprawdzania wiedzy, podobnie jak smartfony, ale z drugiej strony chyba warto je wpleść w proces dydaktyczny. Pytanie tylko, czy przedstawiana nam wiedza jest obecnie nieomylna? W trakcie naszych badań ChatGPT mylił np. królów Polski. Być może będą więc musiały powstać specjalizowane rozwiązania dla poszczególnych dziedzin nauki w tym przypadku historii Polski.

Czy widzi Pan jakieś inne zagrożenia?

Bardzo poważne. Skoro ChatGPT dostarcza nam wiedzy i informacji, to po co sięgać do źródeł? Teraz szukając informacji, korzystamy z wyszukiwarki, wchodzimy na interesującą nas stronę i dzięki temu jej autor może na tym zarabiać poprzez reklamy czy konieczność wykupienia dostępu. Skoro ChatGPT wszystko zaindeksował i daje nam odpowiedź od razu, to po co wchodzić na inne strony? Twórcy przestają zarabiać i cały model biznesowy się rozsypuje. Pozostaje więc pytanie, co i jak bardzo trzeba będzie zmienić.

Wydaje się, że zmiany dotkną też sfery społecznej.

Oczywiście. Już teraz jesteśmy coraz bardziej otoczeni przez systemy, które za nas decydują, ale co najważniejsze robią to dobrze i ich sugestie nam się podobają. Przykładem jest choćby system GPS wskazujący nam drogę czy sklep internetowy, w którym wyświetlają nam się podpowiedzi produktów odpowiadające naszym potrzebom. Od pewnego momentu podejmowane przez nas decyzje nie są już nasze. Pojawia się więc pytanie o wolność wyboru. Warto też pamiętać, że nie używając jakiejś umiejętności, zatracamy ją. Dobrym przykładem jest tutaj wspomniana wcześniej nawigacja GPS, przez którą coraz gorzej orientujemy się w przestrzeni.

Przed nami wiele nowych problemów i wyzwań, a biorąc pod uwagę tempo rozwoju technologii, to czasu na zmierzenie się z nimi nie będziemy mieli aż tak wiele.

Musimy przebudować swoją rolę we współczesnym świecie. Rewolucja zawsze burzyła wiele na swojej drodze, zjadając przy okazji własne dzieci. Nasza refleksja społeczna nigdy nie nadążała za postępem, a jednak ludzkość zawsze jakoś sobie z tym radziła. Podejrzewam, że tym razem będzie tak samo. Rewolucja sztucznej inteligencji to także wielka, nowa szansa.