Pozostawanie na bieżąco z najnowszymi wynikami badań jest dla naukowców kluczowe, jednak przy milionach publikacji ukazujących się każdego roku to wyzwanie często przekraczające możliwości.

Systemy sztucznej inteligencji dają nadzieję na szybką syntezę ogromnych ilości informacji, ale wciąż wykazują skłonność do zmyślania faktów, czyli do tak zwanych halucynacji – zwracają uwagę autorzy nowej pracy opublikowanej w piśmie „Nature”, eksperci z University of Washington (USA).

Kiedy w ramach testów takich systemów przeanalizowali model GPT-4o OpenAi, zauważyli, że fabrykował on od 78 do 90 proc. cytowań naukowych.

Ponadto – podkreślają naukowcy – modele ogólnego przeznaczenia, takie jak ChatGPT, często nie mają dostępu do prac opublikowanych po zakończeniu gromadzenia ich danych treningowych.

Badacze opracowali więc nowy model typu open source, który nazwali OpenScholar. Zaprojektowali go specjalnie do syntetyzowania aktualnych badań naukowych.

Zespół ten stworzył również program ScholarQABench - pierwszy duży, wielodomenowy system służący do oceny tego, jak skutecznie modele potrafią streszczać i cytować literaturę naukową.

W dotychczasowych testach OpenScholar cytował źródła równie dokładnie, jak eksperci, a grupa 16 naukowców w 51 proc. przypadków wyżej oceniła jego odpowiedzi, niż te przygotowane przez specjalistów w danej dziedzinie.

Kiedy nowy system współpracował z GPT-4o, odsetek ten wzrósł do 70 proc., podczas gdy dla samego GPT-4o wyniósł on tylko 32 proc.

„Po rozpoczęciu tych prac udostępniliśmy wersję demonstracyjną online i szybko zaczęliśmy otrzymywać mnóstwo zapytań – znacznie więcej, niż się spodziewaliśmy” – mówi prof. Hannaneh Hajishirzi, główna autorka badania.

„Kiedy zaczęliśmy analizować te reakcje, zdaliśmy sobie sprawę, że nasi koledzy oraz inni naukowcy aktywnie korzystają z OpenScholar. To dobitnie świadczy o zapotrzebowaniu na tego rodzaju otwarte i przejrzyste systemy, które potrafią syntetyzować wyniki badań” – podkreśla.

Naukowcy porównali także OpenScholar z innymi najnowocześniejszymi modelami SI, takimi jak GPT-4o OpenAI czy modele firmy Meta.

System ScholarQABench automatycznie oceniał odpowiedzi modeli pod kątem takich parametrów jak dokładność, jakość stylu oraz trafność. OpenScholar zawsze wygrywał.

„Naukowcy widzą tak ogromną liczbę prac publikowanych każdego dnia, że nadążenie za nimi staje się niemożliwe” – mówi Akari Asai, współtwórczyni systemu.

„Istniejące systemy SI nie zostały jednak zaprojektowane z myślą o specyficznych potrzebach środowiska naukowego. Widzimy już wielu naukowców korzystających z OpenScholar, a dzięki temu, że jest to projekt open source, inni mogą bazować na tych badaniach i już teraz poprawiać nasze wyniki. Pracujemy nad kolejnym modelem, DR Tulu, który opiera się na wnioskach z OpenScholar i realizuje wieloetapowe wyszukiwanie oraz gromadzenie informacji, aby dostarczać jeszcze bardziej wyczerpujących odpowiedzi” – dodaje.

Marek Matacz (PAP)

mat/ agt/