W ubiegłym tygodniu resort nauki przedstawił wyniki ewaluacji działalności naukowej za lata 2022–2025.

W zeszłej ewaluacji odwołało się około 40 proc. jednostek – prawie 500 podmiotów. - Jednostki odwołują się, chociaż czasem wiedzą, że nie mają szans na zmianę kategorii. Często to kwestia ambicjonalna, bo środowisko wciąż traktuje ewaluację jak ranking. Tymczasem to nie jest żaden ranking. Ocena to po prostu certyfikat jakości – powiedział w rozmowie z PAP prof. Zbigniew Kąkol.

Wśród jednostek, które poddały się ewaluacji – czyli powszechnej ocenie jakości badań naukowych pod kątem konkretnych dyscyplin – znalazły się nie tylko uczelnie, ale również instytuty badawcze, instytuty Polskiej Akademii Nauk, instytuty międzynarodowe oraz firmy prowadzące działalność naukową. Wszystkie dane numeryczne potrzebne do oceny pochodzą z Polskiej Bibliografii Naukowej (PBN) oraz z systemu POL-on.

W ramach systemu ewaluacji przyznano w tym roku ponad 1240 ocen. Jak poinformował prof. Kąkol, najwyższą kategorię A+ uzyskało około 8,5 proc. podmiotów, kategorię A przyznano 31,5 proc., natomiast kategoria B+ (warunek, aby nadawać stopnie naukowe doktora i doktora habilitowanego) objęła 49 proc. ocenianych jednostek. Niskie kategorie – B oraz C – stanowią łącznie 11 proc. wyników.

Ocena opiera się na trzech głównych wskaźnikach. Kryterium pierwsze (publikacje naukowe, monografie i patenty) oraz kryterium drugie (efekty współpracy z otoczeniem, finanse i komercjalizacja) mają charakter parametryczny i wyliczane są przez algorytm. Trzecie kryterium dotyczy wpływu nauki na społeczeństwo oraz gospodarkę i jest oceniane przez ekspertów.

– Najtrudniejsze jest wypracowanie spójnej procedury postępowania przy ocenie bardzo różnych jednostek. Jeden algorytm ma przecież rozdzielać kategorie pomiędzy wszystkich – one size fits all (z ang. jeden rozmiar pasuje na wszystkich). Mamy więc jeden rozmiar „czapeczki”, który ma pasować na głowę fizyka, socjologa i archeologa. Do tego dochodzi olbrzymi rozstrzał wielkości jednostek: są takie, które mają po 600–700 pracowników, i takie, które mają ich zaledwie pięciu czy sześciu. A wszystkie oceniamy tym samym systemem, co oczywiście jest wyzwaniem – zaznaczył szef KEN.

Wyjaśnił, że aby ustalić ramy ewaluacji potrzebne są symulacje, dane referencyjne, przeliczenia numeryczne, a potem - oglądanie wyników i korygowanie ich, aby sztywny algorytm nie doprowadził do absurdów.

Zdaniem prof. Zbigniewa Kąkola trudną częścią ewaluacji jest też pozbycie się własnych sympatii i uprzedzeń, ponieważ polscy eksperci są częścią środowiska, które oceniają.

Szef KEN zwrócił uwagę, że proporcje ocen przyznanych przez KEN w poprzedniej i obecnej ewaluacji są zbliżone. – Przetasowania kategorii są naturalne, ale to nie są zwykle gwałtowne skoki. Pozycję naukową buduje się latami – zauważył.

Profesor zwrócił uwagę, że w przypadku poprzedniej ewaluacji za lata 2017–2020 ministerstwo nauki znacznie ingerowało w oceny ekspertów i arbitralnie zmieniało kategorie naukowe. W tej edycji zaś kategorie ogłoszone przez ministra pokryły się prawie w całości z rekomendacjami ekspertów z KEN.

Odwołania od pierwotnych rozstrzygnięć jednostki będą mogły składać drogą elektroniczną od początku sierpnia.

– Co ważne dla jednostek: w wyniku odwołania kategoria się nie pogorszy. Zgodnie z przepisami nie można uzyskać gorszej kategorii niż w procesie pierwotnym. Na początku listopada powinny być ogłoszone wyniki po odwołaniach – poinformował szef KEN.

Rozpatrywanie odwołań obejmie m.in. weryfikację ewentualnych błędów w ocenie osiągnięć. W przypadku wszystkich odwołań powołani zostaną nowi eksperci, którzy nie znali wcześniej wystawionych ocen.

Prof. Kąkol dodał, że trudności w obecnej ewaluacji wynikają z mnogości zdarzeń oraz krótkiego terminu na ocenę jednostek. – W systemie było ponad 400 tysięcy osiągnięć, z czego eksperci i my jako KEN ocenialiśmy ręcznie 74 tysiące. – To sytuacje, w których system wygenerował wątpliwości, tzw. flagi. Wszystko musimy zrobić w rygorystycznym reżimie czasowym. To niebotyczna praca i ogromna odpowiedzialność przed środowiskiem – podkreślił.

Pytany o to, czy w pełni ekspercki system ewaluacji nie byłby lepszy niż ten stawiający na zbieranie sztywno określonych punktów, szef KEN zaznaczył, że taki system musiałby być prowadzony w sposób ciągły. Eksperci musieliby wizytować jednostki, co generowałoby potężne koszty honorariów, transportu i zakwaterowania dla specjalistów z Polski i zagranicy. A przy obecnym poziomie finansowania nauki kraj zapewne nie mógłby sobie na to pozwolić.

Na pytanie, czy opublikowane zostaną szczegółowe wyniki ewaluacji oraz dane o punktach uzyskanych w poszczególnych kategoriach, prof. Kąkol poinformował, że to zależy od decyzji resortu nauki. Przypomniał, że w poprzedniej edycji resort udostępnił cząstkowe wyniki (kryterium pierwsze i trzecie, ale nie kryterium drugie dotyczące wyników finansowych).

Jeżeli ministerstwo opublikuje całość wyników - a to nie jest wykluczone - to każdy będzie widział rzeczywisty rozkład wyników w danej dyscyplinie. Z punktu widzenia KEN taka transparentność byłaby pożądana, bo widać by było, że przy ewaluacji nie doszło do wypaczeń. - Często jednostki dziwią się, że uzyskały słabszą ocenę, chociaż miały dobre wyniki. A trzeba pamiętać, że wynik ewaluacji to nie jest wynik bezwzględny, lecz wynik w porównaniu z „konkurencją” – podsumował badacz.

Nauka w Polsce, Ludwika Tomala

lt/ agt/