Dzięki opracowaniu nowatorskiej metody analizowania sympatii politycznych dr Fabio Motoki z Norwich Business School na University of East Anglia wraz z naukowcami z Brazylii wykazali, że odpowiedzi ChatGPT faworyzowały Partię Demokratyczną w USA, Partię Pracy w Wielkiej Brytanii, a w Brazylii prezydenta Lulę da Silvę z Partii Pracujących.

„Ponieważ coraz powszechniejsze staje się korzystanie z systemów wspomaganych przez sztuczną inteligencję (AI) do wyszukiwania danych i kreowania nowych treści, ważne jest, by to, co generują popularne platformy, takie jak ChatGPT, było tak bezstronne, jak to tylko możliwe” - skomentował dr Motoki.

W jego opinii fakt, że chatbot ma skłonności do faworyzowania jakiejś politycznej opcji może oddziaływać na poglądy użytkowników i mieć potencjalny wpływ na procesy polityczne i na polityczne wybory.

„Nasze wyniki potwierdzają słuszność obaw, że systemy oparte na AI mogą powielać, a nawet nasilać istniejące już wyzwania stworzone przez Internet i media społecznościowe” - dodał dr Motoki.

Naukowcy wykorzystali opracowany przez siebie system oceny neutralności politycznej chatbota ChatGPT wersja 3,5. Testy prowadzili wiosną 2023 r. Pytania zaczerpnięto z testu Political Compass, służącego do badania poglądów politycznych.

Platforma miała wcielać się w różne postaci ze sceny politycznej i jednocześnie odpowiadać na serię ponad 60 pytań dotyczących różnych idei. Następnie porównano je z odpowiedziami, jakich chatbot udzielił wyłącznie na bazie ustawień domyślnych. To pozwoliło badaczom ocenić, w jakim stopniu odpowiedzi chatbota były powiązane ze stanowiskiem politycznym konkretnych partii.

Aby uniknąć błędów związanych z losowymi odpowiedziami dużych modeli językowych opartych na sztucznej inteligencji, każde pytanie było zadawane po 100 razy, a odmienne odpowiedzi były zapisywane. Następnie z oryginalnych próbek danych wyciągnięto próbki powtarzające się (tzw. resampling danych). Dzięki temu wiarygodność wyciągniętych wniosków wzrosła.

„Stworzyliśmy tę procedurę, ponieważ przeprowadzenie pojedynczej rundy testów nie jest wystarczające” - wyjaśnił współautor badania Victor Rodrigues z Nova Educacao (Brazylia).

Badacze wykonali też kolejne liczne testy, aby upewnić się, że ich metoda była tak dokładna, jak to tylko możliwe, w tym testy neutralne politycznie.

„Mamy nadzieję, że nasza metoda pomoże w badaniach i w tworzeniu regulacji dotyczących tych szybko rozwijających się technologii. Umożliwiając wykrywanie i naprawianie tendencyjności dużych modeli językowych (LLM) chcemy dążyć do promowania transparentności, odpowiedzialności oraz zaufania publicznego do tej technologii” - podkreślił dr Valdemar Pinho Neto z Escola Brasileira de Economia e Financas.

Nowe narzędzie będzie dostępne publicznie za darmo i stosunkowo proste w użyciu. Poza sprawdzaniem sympatii politycznych ChatGPT, może też być wykorzystane do oceny innych tendencji w jego odpowiedziach.

Choć badania nie pozwalają stwierdzić, jakie są przyczyny politycznych upodobań chatbota, wyniki wskazują na dwa ich źródła. Jednym z nich może być sama baza danych wykorzystana do tworzenia ChatGPT, albo treści dodane przez ludzi opracowujących model, które później nie zostały skutecznie usunięte. Drugim potencjalnym źródłem może być algorytm sam w sobie, który wzmacnia istniejące tendencje zawarte w bazie danych.(PAP)

Joanna Morga

jjj/ bar/