Ewaluacja – wczoraj narzędzie władzy i korupcji, a dziś?

Z zainteresowaniem przeczytałem artykuł Macieja Górnego i Antoniego Grabowskiego, dwóch historyków związanych z Polską Akademią Nauk, poświęcony dyskusji nad ministerialną oceną jakości badań naukowych. Szczególnie doceniam próbę przybliżenia czytelnikom spoza środowiska akademickiego zawikłanego mechanizmu, którego część – listy czasopism punktowanych – przejściowo wykorzystano w okołowyborczych rozgrywkach politycznych. I choć zgadzam się z niektórymi tezami – o głębszych niż tylko ostatnie 3 lata korzeniach systemu oceny czy o współodpowiedzialności środowiska akademickiego za dewaluację tego systemu – to trudno mi się pogodzić z tytułem artykułu. Wreszcie, uważam, że Autorzy dostrzegając zasadniczy problem – cel całej procedury – unikają narzucających się wniosków.

Czy zatem „uczciwe jest obarczanie winą ministra Czarnka za chory system oceny naukowców”? Absolutnie tak, choć to prawda, że nie jest on jego twórcą. Jednak to on doprowadził do dramatycznych zmian w ramach tego systemu. Autorzy skoncentrowali się na zmianach w punktacji czasopism. Słusznie wskazali, że punktacja wartości publikacji ustalona za czasów ministra Gowina była daleka od doskonałości. Ale przeszli do porządku dziennego nad faktem, że zmiany wprowadzane przez ministra Czarnka pogrzebały zaufanie do sensu funkcjonowania systemu. I nie chodzi tu o wielokrotne zmiany punktacji konkretnych czasopism, monografii i rozdziałów. Problematyczna stała się przede wszystkim celowość systemu punktacji.

W założeniu, w czasach ministra Gowina, miał on premiować umiędzynarodowienie polskiej nauki i kłaść nacisk na zwiększenie obecności wyników badań Polaków w światowym dyskursie naukowym. Stąd nacisk na wyższe punktowanie publikacji ukazujących się zagranicą. Zmiany z czasów ministra Czarnka nie tylko ten cel pogrzebały kładąc nacisk na podnoszenie systemowej wartości publikacji ukazujących się w Polsce. To można byłoby zrozumieć, jeśli Minister uznał, że poprzedni cel został spełniony, a należy wskazać polskim akademikom inny. Jednak zmiany wprowadzone przez ministra Czarnka wynikały z przesłanek ideowych (polska nauka powinna być silna swoją siłą w Polsce) i lobbystycznych (należy wspierać konkretne uczelnie i środowiska). Minister nie zaproponował żadnego szerszego celu dla aktywności naukowej polskich badaczy. Śmiem twierdzić, że z sukcesem skupił się na podporządkowaniu Partii tego sektora życia publicznego. Wszystko inne miało znaczenie drugorzędne.

Ocena jakości badań naukowych posłużyła ministrowi Czarnkowi do utrzymania status quo w finansowaniu jednostek naukowych i posiadaniu uprawnień do przeprowadzania doktoratów i habilitacji. Takie znaczenie ma też i dziś zgodnie z obowiązującą Ustawą Prawo o Szkolnictwie Wyższym i Nauce. Myślę, że Czytelnicy i cała opinia publiczna powinna mieć tego świadomość – cała skomplikowana i kosztowna procedura nie służy niczemu innemu, niż tylko przesuwaniu drobnych kwot dofinansowania jednostek naukowych i utrzymywaniu systemu powszechnego dostępu do nadawania stopni doktora i doktora habilitowanego. Może jeszcze służyć do budowania sztucznego – bo ograniczonego do polskiego środowiska naukowego – prestiżu drobnych grup pracowników naszego sektora. Tyle z tego mają Polacy.

Autorzy skupili się na mechanizmach oceny, unikali jednak pytania o przebieg samej procedury oceny i ustalenia wyników, to jest kategorii jakości badań przypisanych konkretnym uczelniom. Tymczasem te zostały po pierwsze ustalone w duchu promowanej przez Ministerstwo sprawiedliwości społecznej. Duża liczba niskich ocen przypadających w ośrodkach pozametropolitalnych byłaby źle widziana przez władze Partii propagującej wsparcie dla Polaków żyjących poza wielkimi miastami. Wprost na jednym ze spotkań Konferencji Rektorów Akademickich Szkół Polskich mówił o tym przed ostatnią ewaluacją jeden z wiceministrów. Była to odpowiedź na zadane wówczas pytanie o wykorzystanie wprowadzonego do mechanizmu oceny przez ministra Czarnka zapisu o możliwości ustalenia przez ministra kategorii jednostek niezależnie od zaleceń Komisji Ewaluacji Jakości Naukowej. Minister skorzystał z tych uprawnień w trakcie ewaluacji przyznając zwłaszcza w wyniku odwołań kategorie „z ważnych powodów społecznych”.

Analizy zmian w systemie oceny czekają na swoje opracowanie. Popieram myśl Autorów, że materiały powstałe w trakcie ewaluacji – zestawienia danych, omówienia wpływu badaczy na otoczenie społeczne, ich zaangażowania w aktywność patentową i pozyskiwanie środków na badania – czekają na analizę. Jednak nie tyle pod kątem technik przystosowawczych promowanych przez jednostki. Ważniejsze wydaje się uchwycenie zmian, jakie w nauce w Polsce wprowadziły konkretne zapisy rozporządzeń ministerialnych. Do czego i z jakim skutkiem przystosowywało się polskie środowisko akademickie? Czy przeprowadzona pod nadzorem i naciskiem ideowym ministra Czarnka ewaluacja przyniosła świadectwo pozytywnych, jakościowych zmian działalności akademickiej w Polsce?

Mam co do tego sporo wątpliwości. Zgadzam się z Autorami, że stosowanie mocno wątpliwych moralnie mechanizmów podnoszenia wyniku algorytmu ewaluacyjnego dla konkretnych dyscyplin w jednostkach naukowych było powszechne. I to zarówno na uczelniach, jak w PAN. Smutne jest, że ta aktywność w całości nie spotkała się z potępieniem żadnego z głównych organów przedstawicielskich naszego środowiska. Ale stało się tak, ponieważ cały system zachęcał do takich działań. Do manipulowania danymi tak, by osiągnąć pożądane rezultaty. Bo przecież ostatecznie jakość badań i wpływ na otoczenie nie miały w tym stale zmieniającym się i woluntarystycznie kształtowanym przez Ministerstwo systemie znaczenia. Liczyło się trafienie w oczekiwania algorytmu.

Z żalem można stwierdzić, że nie wyciągnięto z tego żadnego wniosku. Tak, rację mają Autorzy – dane zalegają na dyskach, analiz nie przeprowadza się nie tylko w Ministerstwie, ale też na uczelniach. Bo w gruncie rzeczy takie analizy nie powiedzą niczego pewnego. System został pozbawiony celu, zmącony częstymi zmianami. Ogrom pracy ekspertów analizujących w czasie ewaluacji dane przełożył się na miałki obraz, z którego kompletnie nic nie wynika.

Dlaczego zatem ta praktyka jest dziś kontynuowana? Absolutnie zgadzam się z Autorami – cofnięcie przez ministra Wieczorka jednych zmian do listy czasopism i pozostawienie wcześniejszych, ba!, utrzymanie wpływu cofniętych zmian na ocenę jakości badań dla 2023 r. – to działania urągające logice. Można zrozumieć dobrą wolę Ministra, który nie ma wiedzy o zarządzanym sektorze. Ale współudział w tych działaniach uczonych – wiceministrów budzi najwyższe zdziwienie. Co gorsza, kolejna ocena jakości badań przebiegnie z grubsza według tego samego algorytmu i tych samych zasad, co ocena przeprowadzona przez ministra Czarnka. Zatem jej wynik ponownie pochłonie ogrom energii i nie przyniesie żadnej odpowiedzi, nie skieruje też sektor do pracy w jakimś konkretnym kierunku. Z wypowiedzi władz ministerialnych wynika zresztą, że szumnie zapowiadana zmiana sposobu oceny jakości badań będzie miała charakter szczegółowych korekt, ale nie samej filozofii oceny. Środowisko nadal będzie więc przystosowywać się do mało zrozumiałych zasad, bez refleksji nad tym, po co właściwie funkcjonuje nauka w naszym kraju?

Inaczej niż Autorzy, nie widzę żadnej korzyści w powszechnej ocenie jakości badań naukowych wszystkich badaczy państwowych jednostek sektora szkolnictwa wyższego i nauki. Minione trzy lata dowiodły, że nasze środowisko uważa oportunizm za kluczowa zaletę w relacjach z każdą władzą. Wszelkie powszechne procedury oceny będą systematycznie korumpowane, by ostatecznie wspierać status quo. Przy ogromie niechęci środowiska do reform ministra Gowina warto być uczciwym – miał on odwagę mieć jasny cel dla naszego sektora i wspierać tych, którzy chcieli pracować nad udziałem Polaków w międzynarodowym dyskursie naukowym. Dziś jest to przeszłość.

Jeśli minister Wieczorek i jego ekipa ma jakiś pomysł na wykorzystanie sektora nauki dla pożytku naszego kraju, to powinni się pośpieszyć z jego ukazaniem. I do niego dostosować mechanizmy finansowania i premiowania prestiżem jednostek naukowych. Chyba, że ich zdaniem najważniejsze jest utrzymanie porządku w Warszawie i spokoju w akademickiej Polsce. Wtedy wszystko może pozostać, jak jest, choć inaczej. Dla uczciwości warto by tylko zmienić nazwę procedur z „oceny jakości badań naukowych” na „ocenę stopnia oportunizmu”.

Tym, którzy chcą prowadzić rzetelne badania lub popularyzację ich wyników – a nie jest ich bardzo wielu w naszym środowisku! – wystarczy zapewnić odpowiednio szeroki i merytoryczny system grantowy. Tych, którzy chcą się skupić na dydaktyce, wystarczy motywować do ulepszania metod i tematyki kształcenia. Do tego wszystkiego kosztochłonna ewaluacja nie jest potrzebna.

Chyba, że Ministerstwo potrzebuje jej do zarządzania prestiżem i obdarzania poczuciem władzy poszczególnych  osób i fakcji naszego małego światka akademickiego. Wtedy tak, wtedy system ministra Czarnka sprawdzi się znakomicie.

4 komentarze do “Ewaluacja – wczoraj narzędzie władzy i korupcji, a dziś?”

  1. Pomimo wszelki oporów, to jednak trzeba podkreślić, że zmiany Czarnka były raczej wygodnym pretekstem do pogrzebania zaufania w system. Dzięki nim można było udawać, że coś się dramatycznie zmieniło i potem selektywnie oceniać ewaluacje. Zaznaczę, że będę pisać o historii, bo każda dyscyplina miała inne problemy.
    Założenia ministra Gowina były jednym, a rzeczywistość czymś drugim. Przez błędy systemowe wprowadzone na samym początku nijak nie był to system promujący światowość. Jeżeli uczelnia odkryła te błędy, to szybko mogła sobie zagwarantować nawet i A+ bez realnego umiędzynarodowienia. Otóż publikacje w czasopismach nie miały większego znaczenia. Wiara w to, że naukowiec się namęczy i opublikuje coś w wysoko punktowanym periodyku (dobrym, a nie predatory, czy dziwnym pisemku przez kogoś wypromowanym) i uczelnia będzie miała coś z tego była naiwnością. W ewaluacji liczyły się w rzeczywistości tylko wydawnictwa z poziomu II. Reszta była ładnym dodatkiem. Zmiany Czarnka nijak tego problemu nie dotknęły.
    Co to oznacza? Umiędzynarodowieniem nie jest kupienie przez uczelnie serię wydawniczej w wydawnictwie z poziomu II, gdzie drukuje potem książki na tych samych zasadach, co w „wydawnictwie garażowym”. To jest tylko pozorowane działanie, które kosztuje niemałe pieniądze. Gowin nie wspierał tych, którzy chcieli pracować nad umiędzynarodowieniem polskiej nauki, tylko rozwinął system Kudryckiej, w ramach którego można to świetnie pozorować. Rozwiązaniem tego byłoby wywrócenie całej ewaluacji do góry nogami, ale na to nikt się nie odważył i raczej nie odważy.
    Stąd też, ewaluacja na zasadach Gowinowych byłaby tak samo problematyczna, a gdyby zachować wszystkie obostrzenia, byłaby zwyczajnie skandaliczna. Jeżeli przeglądamy listę publikacji np. Uniwersytetu Wrocławskiego, to jeżeli odrzucimy książki z poziomu II, to okazuje się, że jest to uczelnia z dolnego środka stawki. Czy publikowanie w lokalnej Sobótce jest lepsze niż Viator? Bo umiędzynarodowienie „Gowinowe” właściwie sprowadza się do tego, że Sobótka i Viator są tak samo dobre, bo to i tak przykryje książka z „garażu poziomu II”. Nim ktoś zaprotestuje, że przecież poziom II to renomowane wydawnictwa, to trzeba jednak zaznaczyć, że na poziomie I są czasem i bardziej renomowane, a wiele z poziomu II różni się od Petera Langa tylko stawką, jaką trzeba zapłacić.
    Zmiany Czarnka rzeczywiście nie miały głębszego planu, ponieważ w dużej mierze były reakcją na problemy, które zaczęły się pojawiać w systemie, który został źle zaprojektowany. Tutaj zresztą w kontekście zachowania „status quo” trzeba sobie jasno powiedzieć, że nie było innej opcji. Ewaluacja Gowina była na tyle skrzywiona, że nie wygrywała w niej dobra międzynarodowa nauka, tylko zmysł biznesowy. To nie Czarnek sprawił, że „ewaluacja” nie przyniosła świadectwa jakościowych zmian, a sam system u zarania wykluczył coś takiego.
    Beneficjentami działań ministra, jak też i samego KEN, który dostosował progi do uczelni, nie były tylko uczelnie regionalne, ale też takie „firmy” jak SGH, czy UJ. Ten ostatni bez progów KEN straciłby prawo nadawania doktoratu z historii. Tutaj, to działania KEN „rozmydliły” kategorię, bo trzeba było wiele uczelni objąć „dobrymi” kategoriami, aby UJot zachował doktoraty. Zresztą, relatywnie, na zmianach Czarnka straciły bardzo dużo między innymi Siedlce. Są „regiony” i „regiony”.
    W tym kontekście trzeba też zaprotestować, dane z ministerstwa powiedzą bardzo wiele i zmiany w ewaluacji wprowadzane przez Czarnka nie wpływają negatywnie na tę „skarbnicę wiedzy”. Korzystając z tych materiałów można chociażby jednoznacznie pokazać czy i jaki wpływ poszczególne działania miały na ostateczny wynik. Dlaczego tych danych się nie ujawnia i nikt się do tego nie pali? Bo być może są one niewygodne dla każdego. Przecież wiele ośrodków roszczących sobie prawo do „międzynarodowości” okaże się prowincjonalnymi, a póki jest to tajemnicą, to zawsze można mówić o złym ministrze.
    Zmiany Czarnka nie wywróciły ewaluacji, bo ona od początku była z wadami. To jest pytanie, co zresztą jest w tekście w Wyborczej, jaki jest cel ewaluacji (akapity od „Zanim tęgie mózgi opracują nowe listy albo nowy system slotów…”). Poprzedni reformatorzy liczyli, wydaje się, że dzięki Gowinowi wykoszą „słabą prowincję”, a w zamian przejmą pieniądze, które szły do mniejszych ośrodków. Rzeczywistość jest taka, że wykosili UJot i SGH. Może w związku z tym zamiast „koszenia” próbować diagnozować, jaka właściwie jest sytuacja nauki, uczelni i instytutów.

    Odpowiedz
    • Dziękuję za komentarz. Mój tekst nie dotyczył wartości artykułów i monografii o różnych punktacjach, a widzę od dłuższego czasu, że to najbardziej boli Autora. Tak, uważam, że to dwa różne kanały przekazu informacji – w jednym (artykuły) publikuje się ciekawe rozwiązania cząstkowych problemów, w drugim – szerszych zagadnień. Które są warte więcej zależy od tego, co się chce osiągnąć. Atak na historię na UWr uważam za ciekawy, ale śpieszę donieść, że Brepols, w którym publikowałem w ramach poziomu II monografii nie jest garażowym wydawnictwem w którym kupuje się serię i drukuje, co chce. Intrygująca sugestia, ale nietrafiona. Czy inne są takie? Nie wiem. Tym niemniej to minister Czarnek odpowiada za taki format ewaluacji, bo to on ją zatwierdził i przeprowadził. To, wraz ze wszystkimi ideologicznymi i lobbystycznymi manipulacjami obciąża jego i tylko jego. Reakcja na nie środowiska? Wielokrotnie na ten temat się wypowiadałem, nie będę się powtarzał. Twierdzenie, że ewaluacja była w porządku, bo dokonanej w niej manipulacje wsparły UJ i SGH jest zadziwiające – czyli gdyby okazało się, że jednak poziom badań niektórych dyscyplin na UJ nie jest wybitny, bo to dobry uniwersytet, to ewaluacja byłaby zła? A może właśnie wtedy byłaby obiektywna? Wiara Autora w szeroko zakrojone działania 'optymalizujące’ wynik uważam za bardzo pochlebne dla naszych kolegów na różnych szczeblach zarządzania. Ale moje doświadczenie mówi mi, że czasami tak jest, że część osób publikuje tam, gdzie uważa za słuszne, co przynosi akurat w danym momencie dobry wynik. Część podążą za wskazaniami swoich władz, co czasami przynosi wynik dobry, czasami komiczny. Autor uważa, że historia na UWr jest przeciętna i daleko jej od umiędzynarodowienia? Mógłbym powiedzieć o każdej jednostce zajmującej się historią w PAN i na uczelniach, że daleko nam od umiędzynarodowienia. A przeciętność zależy od przyjętych mierników i celu. Stąd ewaluowanie według tych samych kryteriów z niejasnym celem nie ma żadnego sensu. A w wydaniu ministra Czarnka było korupcjogenne i szkodliwe na długie lata.

      Odpowiedz
      • Nie podałem nazw wydawnictw z tak zwanej ostrożności procesowej, ale wiadomo, że takie są, albo też mają takie serie (pewne wydawnictwo, które w większości serii recenzuje tylko propozycje itp., itd.). Wiele starych i uznanych wydawnictw w pogoni za pieniędzmi mocno obniżyło standardy. Nie jest to sugestia do Pana Profesora.
        Problem z monografiami nie polega na tym, że to inny kanał publikacyjny, ale na tym, że przez stworzone mechanizmy dla dyscypliny historia książki przyjęły rolę czasopism drapieżnych. Za pieniądze można kupić dużo punktów. Co więcej, nie ma aż takiej różnicy między AUP, czy Brillem, aby uzasadnić różnice punktową w naszej ewaluacji między tymi wydawnictwami.
        Nie wiem, jak Panu Profesorowi udało się wyczytać stwierdzenie, że ewaluacja była w porządku. W tekście, jak też i w komentarzu jest wyraźnie stwierdzone, że nie była i nie mogła być, ale nie z winy Czarnka, a z winy grzechu pierworodnego ewaluacji. Ponadto, sprowadzanie działań Czarnka i KEN do bronienia „regionalnych” uczelni jest błędne. Mówienie o efektach działań Czarnka i KEN bez spojrzenia do danych zafałszowuje obraz ich efektów. Stąd wskazanie na UJ, czy SGH – uczelnie, których nie można nazwać regionalnymi. Dla wielu osób po prostu opłacalne było skłócanie akademii i robienie podziału „światłe centrum” i „złe peryferia”, a tak zwyczajnie nie było.
        Jeżeli chodzi o „optymalizujące działania”, to znowu, polecam zajrzeć do danych. Wiele rzeczy można tam zobaczyć.
        Natomiast, w kwestii umiędzynarodowienia nie twierdzę, że UWr jest przeciętne. Piszę tylko o tym, co zostało zgłoszone w ramach kryterium 1. Chodziło mi o wskazanie, że wbrew twierdzeniom Pana Profesora, zasady Gowina nie promowały umiędzynarodowienia. W tym względzie nie ma żadnej różnicy między Gowinem, czy Czarnkiem. Przeciętność (lub wybitność) jednej, czy drugiej jednostki naukowej nie ma tutaj nic do rzeczy. Podkreślam, ja odwołuje się do konkretnych danych, które były podstawą oceny jednostek naukowych i piszę, co z nich wynika. Nie wnikam, czy obiektywnie (tzn., nie w ramach mechanizmu ewaluacji) jakaś uczelnia jest dobra, przeciętna, czy słaba. Stwierdzam tylko, że mechanizm Gowina sprawił, że nie warto było starać się pisać i publikować w dobrych międzynarodowych czasopismach. To nie było umiędzynarodowienie.
        W końcu, ewaluacja Czarnka nie była bardziej korupcjogenna niż Gowinowa, czy Kudrycka. Skupianie się na personaliach pozwala ignorować problemy. A co do ewaluowania i kryteriów, to odsyłam do tekstu, tam jest konkretna propozycja wyjścia z „patu” i stworzenia rozwiązań, które pozwolą skończyć z tym problemem.

        Odpowiedz
        • Nie sądzę, żebyśmy mogli uzyskać konsensus. Dla Pana – jeśli dobrze rozumiem – umiędzynarodowienie oznacza publikowanie w czasopismach, które uważa Pan za wartościowe. Dla mnie umiędzynarodowienie oznacza branie udziału w dyskursie naukowym bez granic i transfer rezultatów tego dyskursu w środowiska narodowe i regionalne. Tak, uważam, że z tego powodu warto docenić próby ministra Gowina, który wskazał pewien cel, dość racjonalny z punktu widzenia nauki jako struktury z definicji przekraczającej granice państw. Nie wiem, czy ktokolwiek poza ministrem Czarnkiem chciał skłócać środowisko. Ja obserwowałem aktywność ministra Czarnka i jego wmawianie wszystkim dookoła, że IDUB to właśnie zaborcze centrum, które chce poniżyć peryferia. Nigdy natomiast nie widziałem tego w środowisku rektorów 20 uczelni IDUB. No, ale może byłem idealistą. No i jest zasadnicza różnica między aktywnością ministra Gowina i ministra Czarnka. Ten pierwszy o tyle nie jest bez winy, że ufał środowisku i promował ideologicznie skrajnie wyznaniowe środowiska. Ten drugi miał jednak konkretny cel – uzależnienie akademii od rządu w swojej osobie, osłabienie przez skłócenie i pokazanie jako środowiska pozbawionego moralnego, etycznego kośćca. Wypromował jako wiodących akademików – oportunistów. Oni byli zawsze, ale dziś stali się grupą wiodącą na wielu uczelniach jako 'sprawczy’. Kult mierności, kolesiostwa, wpływów w gremiach centralnych – zawsze gdzieś obecny ale jednak wstydliwy – dziś stał się nie tylko pełnoprawny, ale wiodący w życiu akademickim. I za to odpowiada minister Czarnek – także poprzez wolicjonalne przeprowadzenie ewaluacji.

          Odpowiedz

Dodaj komentarz