Podobnie, jak w poprzednim roku, tak i obecnie pewne wzmożenie wywołało opublikowanie wskaźników bibliometrycznych dla członków Rady Doskonałości Naukowej w dziedzinie nauk społecznych. Opublikowany przez Jana Hauke artykuł w Forum Akademickim zawiera tabelę z liczba cytowań i wskaźnikiem H poszczególnych członków RDN na podstawie bazy Scopus oraz kończy się konkluzją:
Poniższe zestawienie pokazuje duże zróżnicowanie w międzynarodowej działalności publikacyjnej członków Rady, reprezentujących odmienne dyscypliny w dziedzinie nauk społecznych. Zastanawiające jest to, że w tak ważnej dla rozwoju nauki dyscyplinie jak pedagogika wybrano dwóch członków, którzy nie istnieją dla międzynarodowej nauki. Obserwacja ta nie odnosi się w żadnym stopniu do działalności naukowej i organizacyjnej tych profesorów i nie podważa ich uznania w lokalnym – polskim środowisku naukowym.
Swój krytyczny pogląd na temat sposobu i sensu wyborów do RDN przedstawiłem na tym blogu w czasie ich trwania. Jednak Autor cytowanej frazy postawił tezę, której waga przekracza w gruncie rzeczy ograniczonej wagi problem skutków wyborów członków RDN. Postawiona przez niego teza, iż na podstawie bazy Scopus można wyciągać szersze wnioski wartościujące aktywność naukową badaczy z zakresu konkretnej dziedziny jest przecież wspólny w wielu dyskusjach dotyczących kondycji nauki, w tym w Polsce. A do takiej praktyki mam zasadnicze zastrzeżenie. Bo wyniki przedstawione na podstawie danych zaczerpniętych z tej bazy pokazują, w jakim zakresie publikacje badacza X zawarte w czasopismach z bazy Scopus wywarły wpływ na publikacje innych autorów ujęte w bazie Scopus. Zatem wszelkie analizy mają sens tylko wówczas, jeśli dana społeczność najważniejsze – pod jakimś względem, który warto także przybliżyć – publikacje umieszcza wyłącznie lub co najmniej przede wszystkim w czasopismach indeksowanych w bazie Scopus.
A jeśli tak nie jest? Wówczas wszystkie wyliczenia obrazują tylko tyle – jaki jest wpływ publikacji badacza X ujętych w bazie Scopus na publikacje w bazie Scopus. Dalsze wnioskowanie na tej podstawie nie wydaje się zasadne.
I coś z tej refleksji możemy wyczytać także w artykule prof. Hauke:
Ewaluacja umiędzynarodowienia aktywności naukowej poprzez notowania w bazie Scopus nie obejmuje wszystkich aspektów tej działalności i zapewne nie jest idealna [podkr. P.W.] (dla porównywania wszystkich dyscyplin). Ma jednak tę zaletę, że przy powtórnym sprawdzeniu, np. po miesiącu, można zaobserwować dynamikę zmian liczby indywidualnych cytowań (wskaźniki mogą rosnąć lub pozostawać na niezmienionym poziomie, ale zdarzają się też przypadki, iż wskaźniki te zmniejszają się ze względu na fakt, że pewne czasopisma przestają być uznawane za znaczące i artykuły w nich publikowane oraz ich cytowania są usuwane z bazy).
Wprowadzone przez Autora artykułu wtrącenie ma osłaniać przed zarzutami o wykorzystywanie nieadekwatnego źródła, ale czyni to w sposób niewystarczający. Bo rzecz w tym, że wyniki z bazy Scopus nie zostały przez niego w ogóle przeanalizowane pod kątem adekwatności jako narzędzie do mierzenia czegokolwiek w odniesieniu do dyscyplin, którymi się zajął. Zatem ewaluacja poprzez notowania w bazie Scopus może być zarówno nieidealna, jak i zupełnie poprawna lub zupełnie błędna w odniesieniu do umiędzynarodowienia publikacji autorstwa badanych osób. Należałoby najpierw określić, z którą z tych sytuacji mamy do czynienia. Niestety, użyty przez Autora ciąg zdań uzasadniający przyjętą metodologię budzi dalsze wątpliwości.
Jednym z istotnych elementów aktywności naukowej w świetle przyjętych strategii rozwojowych polskich uczelni jest jej internacjonalizacja. Za najważniejsze wskaźniki mierzące skalę umiędzynarodowienia badań naukowych przyjmuje się często liczbę cytowań publikacji pracowników naukowych oraz indywidualny wskaźnik cytowań – indeks Hirscha (IH), notowanych np. w powszechnie uznawanej bazie Scopus.
Zdanie pierwsze jest prawdziwe. Zdanie drugie to seria uogólnień, które można dowolnie zmienić. Jak zakwalifikować zwrot 'przyjmuje się często’? Kto, kiedy, w jakim kontekście przyjmuje? Przyjmuje się często dane 'w powszechnie uznawanej bazie Scopus’ – uznawanej przez kogo? Uznawanej za co? Pod jakim względem? W jakim kontekście? Np. w humanistyce nie jest to baza powszechnie uznawana, bo nie obejmuje kluczowego dla humanistyki – wciąż i z metodologicznego punktu widzenie bez cienia wątpliwości słusznie – obiegu informacji naukowej w monografiach. Także jeśli chodzi o czasopisma Scopus ujmuje ich wiele, ale czy dla cytowanych dyscyplin rzeczywiście wszystkie najważniejsze? Nie mam pojęcia, należałoby to sprawdzić i zacytować jakieś odwołanie. Opierając się na doświadczeniu wyniesionym z jednej dyscypliny jest wielce ryzykowne przeprowadzać ocenę aktywności naukowej osób pracujących w innych dyscyplinach. Ba, przy dzisiejszej specjalizacji oceny praktyk publikacyjnych w obrębie jednej dyscypliny są kłopotliwe.
Oczywiście, mamy do czynienia z artykułem popularnym, trudno wymagać serii odnośników. Ale to nie jest wystarczające uzasadnienie wobec wagi wniosków, które prezentuje i ich personalnego powiązania. Cytowany tu artykuł ma też ogromne znaczenie, bo wpisuje się w próbę wypracowania bibliometrycznych wskaźników opisujących aktywność naukową. Ale jednocześnie pokazuje ograniczenia podejścia wypracowywanego na podstawie doświadczeń jednej dyscypliny czy dziedziny wiedzy. Jestem wielkim zwolennikiem miar obiektywnych, bo one łączą, podczas gdy te subiektywne dzielą i powodują konflikty. Ale ustalenie tych miar musi być dobrze uzasadnione i musi jasno określać cel przyjętej metody. Inaczej uzyskujemy raczej punkt wyjścia do kolejnego emocjonalnie nacechowanego przerzucania się epitetami, sarkania na 'humanistów i nauki społeczne’ vs 'arogancja science’. To może i wzmoże klikalność, ale czy pomoże nam zrozumieć jakieś zjawisko – poza faktem istnienia konfliktu?
Aha, nie wiem, jaki mam H w bazie Scopus. Pewnie w okolicy 0. Nie martwi mnie to. Bardziej martwi mnie, że dalej nie wiem, dlaczego miałbym mieć wyższy w swojej dyscyplinie (historia) z perspektywy korzyści mojego benefaktora (państwo polskie) i nauki (bo jest tylko jedna, nie ma nauki polskiej i międzynarodowej. Chyba, że coś mi umknęło).