Duży model językowy (Large Language Model) to zaawansowany system sztucznej inteligencji oparty na architekturze sieci neuronowych. Służy do rozumienia, przetwarzania i generowania tekstu w języku naturalnym. Dzięki tej technologii działają na przykład Gemini i ChatGPT.

Jak wykazał Calvin K. Lai, profesor psychologii z Rutgers University (USA), mimo ciągłego rozwoju LLM-y nadal bywają stronnicze i opierają się na stereotypach – jedne mniej, inne bardziej.

„Odkryliśmy, że większość modeli konsekwentnie odtwarzała w procesie rozumowania ukryte ludzkie uprzedzenia” – powiedział Lai. - „Nikt nie chce modeli, które wyrzucają z siebie treści rasistowskie lub seksistowskie”.

Kiedy ludzie przetwarzają informacje, szybkość, z jaką tworzą skojarzenia, może dać badaczom wskazówki dotyczące ukrytych uprzedzeń wpływających na ich myślenie. W przeciwieństwie do wyrażanych celowo uprzedzeń świadomych – uprzedzenia ukryte odnoszą się do automatycznych założeń, idei, które kształtują percepcję, osądy i zachowania w oparciu o kategorie takie jak rasa, płeć czy wiek.

„To, co rejestrujemy za pomocą ukrytych uprzedzeń, to formy pamięci, takie jak reakcja instynktowna, która może być bardziej natrętna lub trudniejsza do kontrolowania” – wskazał Lai. - „Te uprzedzenia mogą być nieświadome, nawet nie zdajemy sobie sprawy z ich istnienia”.

Aby wykrywać ukryte uprzedzenia u ludzi, naukowcy wykorzystują Test Utajonych Skojarzeń (ang. Implicit Association Test, IAT), powszechnie stosowane narzędzie psychologii społecznej. Im szybsza odpowiedź na pytanie, tym bardziej ukryte uprzedzenie jest wyraźne. Na przykład badania dotyczące rasy z wykorzystaniem tego testu wykazały, że gdy ludziom przedstawia się obrazy twarzy i słów, szybciej kojarzą białe twarze z przyjemnymi słowami, a czarne twarze z nieprzyjemnymi.

Lai i Messi H.J. Lee, południowokoreański ekspert w dziedzinie psychologii maszyn i główny autor badania, chcieli sprawdzić (DOI: 10.1038/s42256-026-01300-1), czy podobny test można opracować i przeprowadzić dla LLM.

Kiedy zaawansowani użytkownicy LLM rozwiązują złożone pytanie lub zadanie, generują „tokeny rozumowania”, które mierzą, ile energii model włożył w udzielenie odpowiedzi. Naukowcy mogą badać te tokeny, które dają wgląd w działanie modeli zastrzeżonych.

Zainspirowani badaniami nad ukrytymi ludzkimi uprzedzeniami, Lai i Lee dostosowali Test Utajonych Skojarzeń, aby wykorzystać tokeny rozumowania do oceny, ile "namysłu" model wkłada w przetwarzanie potencjalnie stronniczych informacji.

W eksperymencie pięć modeli rozumowania – o3-mini firmy OpenAI, R1 firmy DeepSeek, Claude 3.7 Sonnet firmy Anthropic, gpt-oss-20b firmy OpenAI i Qwen-3 8B firmy Alibaba Cloud – zapoznało się z listą imion męskich i żeńskich oraz słowami związanymi z „karierą”, takimi jak „dyrektor”, „profesjonalista” i „pensja”, a także „rodzina”, w tym „dom”, „małżeństwo” i „ślub”.

Modele poproszono o sparowanie imienia ze słowem związanym z karierą lub rodziną. Później badacze zliczyli liczbę tokenów wygenerowanych w trakcie procesu rozumowania.

Następnie poproszono modele o kategoryzację słów w sposób sprzeczny z utartymi stereotypami (takimi jak „Amy” i „dyrektor” lub „Kevin” i „dom”). Tokeny ponownie zliczono.

Badacze porównali średnią liczbę tokenów w obu zadaniach, przy czym wyższa liczba tokenów wskazywała na większy nakład obliczeniowy.

W prawie każdym testowanym modelu więcej tokenów rozumowania wydano na zadania sprzeczne z utartymi stereotypami, co sugeruje większy nakład obliczeniowy podczas przetwarzania informacji przeciwstawnych stereotypom. Tylko model Claude 3.7 Sonnet wykazywał odwrócone wzorce.

Według Lai to znaczące odkrycie, zwłaszcza biorąc pod uwagę, że większość modeli LLM to systemy zamknięte, które uniemożliwiają łatwą inspekcję.

Co więcej, wraz z przyspieszeniem tempa rozwoju modeli i ich coraz częstszym wykorzystywaniem do automatyzacji działań, od dynamicznego ustalania cen po obsadę personelu na izbie przyjęć, rola badacza w zrozumieniu zachowania modelu jest ważniejsza niż kiedykolwiek.

„Biorąc pod uwagę rosnące wykorzystanie modeli językowych w kontekstach decyzyjnych, zrozumienie i uwzględnienie tych trudnych do wykrycia wzorców ma kluczowe znaczenie dla zapobiegania dyskryminacyjnym skutkom” – powiedział Lai. - „Jednak w obliczu odpowiedzialności rządowej lub prawnych nakazów wymagających przejrzystości, najlepsze, co możemy zrobić, to analizować te systemy za pomocą dostępnych narzędzi, aby zobaczyć, co z tego wyniknie”.

Paweł Wernicki (PAP)

pmw/ zan/