Wykrywanie treści AI w artykułach naukowych jest bardzo trudne

Fot. Adobe Stock
Fot. Adobe Stock

Modele językowe sztucznej inteligencji mogą generować abstrakty naukowe, które są bardzo trudne do odróżnienia od prac przygotowanych przez ludzi. Nie ma na razie narzędzi pozwalających wydajnie wykrywać niedozwolone użycie AI w literaturze naukowej - informuje pismo „Journal of Clinical Oncology Clinical Cancer Informatics”.

Obserwowany od pewnego czasu wzrost popularności narzędzi AI takich jak ChatGPT dotyczy także społeczności naukowej oraz przygotowywanych przez jej członków publikacji. Ponieważ sztuczna inteligencja jest coraz bardziej zaawansowana w naśladowaniu ludzkiego języka, redaktorzy czasopism naukowych mają coraz większe problemy z odróżnieniem prac przygotowanych przez ludzi i tych, które wygenerowano przy użyciu AI.

Prestiżowe wydawnictwa, takie jak „Science” czy „Nature”, próbowały ograniczyć lub zakazać stosowania sztucznej inteligencji w nadsyłanych do swoich redakcji artykułach, jednak okazało się to niemożliwe do wyegzekwowania ze względu na duże trudności w wykrywaniu języka generowanego maszynowo.

Badacze z Uniwersytetu w Chicago (USA) postanowili określić skalę tego problemu (https://doi.org/10.1200/CCI.24.00077). Sprawdzili, jak często autorzy korzystają ze sztucznej inteligencji i jak efektywnie może ona tworzyć przekonujące artykuły naukowe. Za pomocą kilku komercyjnych detektorów treści AI ocenili teksty z ponad 15 tys. abstraktów przygotowanych na doroczne spotkania Amerykańskiego Towarzystwa Onkologii Klinicznej odbywające się w latach 2021–2023.

Okazało się, że w 2023 r. było około dwukrotnie więcej abstraktów zawierających treści wygenerowane przez sztuczną inteligencję niż w latach 2021 i 2022, co - zdaniem autorów - stanowi bardzo wyraźny sygnał, że naukowcy coraz chętnie wykorzystują narzędzia AI w swoich publikacjach.

Co znamienne, użyte w badaniu detektory treści znacznie lepiej odróżniały teksty generowane przez starsze wersje chatbotów od tekstów ludzkich; zdecydowanie gorzej radziły sobie z artykułami przygotowanymi przez nowsze modele językowe lub z takimi, które zwierały zarówno fragmenty napisane przez człowieka, jak i te wygenerowane przez AI.

Ponieważ w nadchodzących latach wykorzystanie sztucznej inteligencji w pismach naukowych prawdopodobnie wzrośnie, a modele językowe będą coraz doskonalsze, autorzy omawianej publikacji ostrzegają, że kluczowe i pilne staje się wprowadzenie odpowiednich zabezpieczeń. Powinny one chronić nie tylko przed niedozwolonymi praktykami, ale także gwarantować, że w pracach naukowych będą uwzględniane wyłącznie informacje zgodne z faktami. Jest to szczególnie istotne, ponieważ modele AI mają skłonność do używania brzmiących wiarygodnie, choć niepoprawnych stwierdzeń.

Naukowcy z Chicago doszli również do wniosku, że chociaż detektory treści AI nigdy nie osiągną idealnej dokładności, można je wykorzystać jako narzędzie przesiewowe wskazujące, które treści wymagają dodatkowej kontroli ze strony recenzentów. Jednak ich zdaniem narzędzia takie nie powinny być wykorzystywane jako jedyny sposób oceny treści AI w czasopismach naukowych.(PAP)

Katarzyna Czechowicz

kap/ agt/

Fundacja PAP zezwala na bezpłatny przedruk artykułów z Serwisu Nauka w Polsce pod warunkiem mailowego poinformowania nas raz w miesiącu o fakcie korzystania z serwisu oraz podania źródła artykułu. W portalach i serwisach internetowych prosimy o zamieszczenie podlinkowanego adresu: Źródło: naukawpolsce.pl, a w czasopismach adnotacji: Źródło: Serwis Nauka w Polsce - naukawpolsce.pl. Powyższe zezwolenie nie dotyczy: informacji z kategorii "Świat" oraz wszelkich fotografii i materiałów wideo.

Czytaj także

  • Fot. Adobe Stock

    Sonda Ramses zbada nadlatującą do Ziemi asteroidę

  • Fot. Adobe Stock

    Naukowcy: widać oznaki kolejnego cyklu Słońca

Przed dodaniem komentarza prosimy o zapoznanie z Regulaminem forum serwisu Nauka w Polsce.

newsletter

Zapraszamy do zapisania się do naszego newslettera