Hodnocení VaV
Reforma přístupu v hodnocení vědy a výzkumu na UP
V červenci roku 2023 podepsalo vedení Univerzity Palackého (UP) dokument CoARA (Coalition for Advancing Research Assessment), čímž univerzita oficiálně deklarovala svůj záměr reformovat přístup k hodnocení vědy a výzkumu na UP.
UP se tak přidala mezi desítky, v současnosti už stovky dalších institucí z celého světa, které jsou odhodlány implementovat závazky CoARA. Ve fungování instituce by měly být postupně prováděny kroky, které povedou k zodpovědnému hodnocení vědy a výzkumu, takovému, které se nesoustředí pouze na počet publikačních výstupů a jejich IF, ani na pouhý h-index výzkumných pracovníků, ale uznává nejširší oborovou diverzitu a také význam a diverzitu různých rolí akademických a vědeckých pracovníků v procesu výzkumu.
Z deseti závazků CoARA jsou nejdůležitější první čtyři – tzv. základní: 1) uznání rozmanitosti příspěvků a postupů ve vědě a výzkumu, 2) založení hodnocení především na kvalitativním přístupu, jehož centrální roli hraje peer review, podpořené odpovědným používáním kvantitativních ukazatelů, 3) opuštění nevhodného používání publikačních metrik (zejména Journal Impact Factor, Article Influence Score a h-indexu) v hodnocení a 4) vyhnout se využívání mezinárodních žebříčků pro hodnocení organizací.
Do jednoho roku od podepsání dokumentu bylo nutné vytvořit Akční plán, jehož cílem je představit, jakým způsobem má dojít k implementaci závazků CoARA během následujících pěti let. Akční plán vznikl v rámci nově vzniklé Pracovní skupiny, kterou tvoří zástupci z Oddělení koncepce a podpory výzkumu (RUP), proděkani pro VaV a zástupce CATRIN. Dokument je zcela veřejný a je určen ke čtení také všem zaměstnancům UP, protože změna v přístupu k hodnocení VaV by měla proběhnou nejen shora, ale i zespodu, tedy u každého jednotlivce.
Chcete se dozvědět podrobněji, jak musíme změnit náš přístup? Čtěte dál.
1. závazek: Rozmanitost
Změny v hodnotících postupech by měly umožnit uznání široké rozmanitosti:
- cenných příspěvků, které výzkumní pracovníci přinášejí vědě a ve prospěch společnosti, včetně rozmanitých výstupů nad rámec časopiseckých publikací a bez ohledu na jazyk, v němž jsou sdělovány;
- postupy, které přispívají k robustnosti, otevřenosti, transparentnosti a inkluzivitě výzkumu a výzkumného procesu, včetně: vzájemného hodnocení, týmové práce a spolupráce;
- činnosti zahrnující výuku, vedení, dohled, školení a mentoring.
Je také důležité, aby hodnocení usnadnilo uznání a zhodnocení různých rolí a kariér ve výzkumu, včetně například: rolí správců dat, softwarových inženýrů a vědců v oblasti dat, technických rolí, práce s veřejností, vědecké diplomacie, vědeckého poradenství a vědeckých komunikátorů. Uznává se, že současná praxe je často příliš úzká a omezující, takže cílem nemůže být nahradit úzká kritéria, od kterých se chceme odpoutat, jinými, ale stejně úzkými kritérii. Naopak, cílem je umožnit organizacím rozšířit spektrum toho, čeho si ve výzkumu cení, a zároveň uznat, že se to může v různých oborech lišit a že by se od každého jednotlivého výzkumného pracovníka nemělo očekávat, že se bude podílet na všech činnostech najednou.
2. závazek: Kvalita
Tento závazek umožní posun směrem ke kritériím hodnocení výzkumu, která se zaměřují především na kvalitu, přičemž se uznává, že zodpovědné využívání kvantitativních ukazatelů může podpořit hodnocení, pokud je smysluplné a relevantní, což závisí na kontextu.
Peer-review hodnocení je nejrobustnější známou metodou hodnocení kvality a jeho výhodou je, že je v rukou výzkumné komunity. Je důležité, aby procesy peer-review hodnocení byly navrženy tak, aby splňovaly základní zásady přísnosti a transparentnosti: odborné hodnocení, transparentnost, nestrannost, přiměřenost, důvěrnost, integrita a etické aspekty, rovnost pohlaví, rovnost a rozmanitost. Aby se řešila zkreslení a nedokonalosti, ke kterým je náchylná každá metoda, výzkumná komunita přehodnocuje a postupně zlepšuje peer-review hodnocení. Vedle toho by se mohla zkoumat revidovaná nebo případně nová kritéria, nástroje a postupy vhodné pro hodnocení kvality. Přechod na postupy hodnocení, které se více opírají o kvalitativní metody, může vyžadovat další úsilí výzkumných pracovníků. Výzkumní pracovníci by měli být za toto úsilí oceněni a jejich příspěvky k recenzování prací kolegů by měly být oceňovány jako součást jejich kariérního postupu.
3. závazek: Indexy
Tento závazek omezí dominanci úzkého souboru kvantitativních metrik založených na časopisech a publikacích při hodnocení výzkumu. Znamená to zejména odklon od používání metrik, jako je Journal Impact Factor (JIF), Article Influence Score (AIS) a h-index, jako zástupných ukazatelů kvality a dopadu.
Mezi "nevhodná použití" patří:
- spoléhání se při hodnocení kvality a/nebo dopadu výhradně na metriky založené na autorech - (např. počítání článků, patentů, citací, grantů atd.);
- hodnocení výstupů na základě ukazatelů týkajících se místa publikování, formátu nebo jazyka;
- spoléhání se na jakékoli jiné metriky, které řádně nezachycují kvalitu a/nebo dopad.
4. závazek: Mezinárodní žebříčky
Uznáváme, že mezinárodní žebříčky, na které se výzkumné organizace nejčastěji odvolávají, nejsou v současné době "spravedlivé a odpovědné". Tento závazek pomůže zabránit tomu, aby se metriky používané v mezinárodních žebříčcích, které jsou pro hodnocení výzkumných pracovníků nevhodné, přenášely do hodnocení výzkumu a výzkumných pracovníků. Pomůže výzkumné komunitě a výzkumným organizacím znovu získat autonomii při utváření postupů hodnocení, místo aby se musely řídit kritérii a metodikami stanovenými externími komerčními společnostmi.
V případech, kdy jsou přístupy k hodnocení podle žebříčku považovány za nevyhnutelné, což může být případ forem hodnocení nad rámec této dohody, jako je srovnávací hodnocení a hodnocení výkonnosti zemí nebo institucí, je třeba si uvědomit metodologická omezení takových přístupů a instituce by se měly vyvarovat efektu "trickle-down" na hodnocení výzkumu a výzkumných pracovníků.