Hodnocení VaV

Reforma přístupu v hodnocení vědy a výzkumu na UP

V červenci roku 2023 podepsalo vedení Univerzity Palackého (UP) dokument ARRA (The Agreement on Reforming Research Assessment), čímž univerzita oficiálně deklarovala svůj záměr reformovat přístup k hodnocení vědy a výzkumu na UP. 

UP se tak přidala mezi desítky, v současnosti už stovky dalších institucí z celého světa, které jsou odhodlány implementovat závazky ARRA. Ve fungování instituce by měly být postupně prováděny kroky, které povedou k zodpovědnému hodnocení vědy a výzkumu, takovému, které se nesoustředí pouze na počet publikačních výstupů a jejich IF, ani na pouhý h-index výzkumných pracovníků, ale uznává nejširší oborovou diverzitu a také význam a diverzitu různých rolí akademických a vědeckých pracovníků v procesu výzkumu.

Z deseti závazků ARRA jsou nejdůležitější první čtyři – tzv. základní: 1) uznání rozmanitosti příspěvků a postupů ve vědě a výzkumu, 2) založení hodnocení především na kvalitativním přístupu, jehož centrální roli hraje peer review, podpořené odpovědným používáním kvantitativních ukazatelů, 3) opuštění nevhodného používání publikačních metrik (zejména Journal Impact Factor, Article Influence Score a h-indexu) v hodnocení a 4) vyhnout se využívání mezinárodních žebříčků pro hodnocení organizací.

Do jednoho roku od podepsání dokumentu bylo nutné vytvořit Akční plán, jehož cílem je představit, jakým způsobem má dojít k implementaci závazků ARRA během následujících pěti let. Akční plán vznikl v rámci nově vzniklé Pracovní skupiny, kterou tvoří zástupci z Oddělení koncepce a podpory výzkumu (RUP), proděkani pro VaV a zástupce CATRIN. Dokument je zcela veřejný a je určen ke čtení také všem zaměstnancům UP, protože změna v přístupu k hodnocení VaV by měla proběhnou nejen shora, ale i zespodu, tedy u každého jednotlivce.

Chcete se dozvědět podrobněji, jak musíme změnit náš přístup? Čtěte dál.

1. závazek: Rozmanitost

Změny v hodnotících postupech by měly umožnit uznání široké rozmanitosti:

  • cenných příspěvků, které výzkumní pracovníci přinášejí vědě a ve prospěch společnosti, včetně rozmanitých výstupů nad rámec časopiseckých publikací a bez ohledu na jazyk, v němž jsou sdělovány;
  • postupy, které přispívají k robustnosti, otevřenosti, transparentnosti a inkluzivitě výzkumu a výzkumného procesu, včetně: vzájemného hodnocení, týmové práce a spolupráce;
  • činnosti zahrnující výuku, vedení, dohled, školení a mentoring.

Je také důležité, aby hodnocení usnadnilo uznání a zhodnocení různých rolí a kariér ve výzkumu, včetně například: rolí správců dat, softwarových inženýrů a vědců v oblasti dat, technických rolí, práce s veřejností, vědecké diplomacie, vědeckého poradenství a vědeckých komunikátorů. Uznává se, že současná praxe je často příliš úzká a omezující, takže cílem nemůže být nahradit úzká kritéria, od kterých se chceme odpoutat, jinými, ale stejně úzkými kritérii. Naopak, cílem je umožnit organizacím rozšířit spektrum toho, čeho si ve výzkumu cení, a zároveň uznat, že se to může v různých oborech lišit a že by se od každého jednotlivého výzkumného pracovníka nemělo očekávat, že se bude podílet na všech činnostech najednou.

2. závazek: Kvalita

Tento závazek umožní posun směrem ke kritériím hodnocení výzkumu, která se zaměřují především na kvalitu, přičemž se uznává, že zodpovědné využívání kvantitativních ukazatelů může podpořit hodnocení, pokud je smysluplné a relevantní, což závisí na kontextu.

Peer-review hodnocení je nejrobustnější známou metodou hodnocení kvality a jeho výhodou je, že je v rukou výzkumné komunity. Je důležité, aby procesy peer-review hodnocení byly navrženy tak, aby splňovaly základní zásady přísnosti a transparentnosti: odborné hodnocení, transparentnost, nestrannost, přiměřenost, důvěrnost, integrita a etické aspekty, rovnost pohlaví, rovnost a rozmanitost. Aby se řešila zkreslení a nedokonalosti, ke kterým je náchylná každá metoda, výzkumná komunita přehodnocuje a postupně zlepšuje peer-review hodnocení. Vedle toho by se mohla zkoumat revidovaná nebo případně nová kritéria, nástroje a postupy vhodné pro hodnocení kvality. Přechod na postupy hodnocení, které se více opírají o kvalitativní metody, může vyžadovat další úsilí výzkumných pracovníků. Výzkumní pracovníci by měli být za toto úsilí oceněni a jejich příspěvky k recenzování prací kolegů by měly být oceňovány jako součást jejich kariérního postupu.

3. závazek: Indexy

Tento závazek omezí dominanci úzkého souboru kvantitativních metrik založených na časopisech a publikacích při hodnocení výzkumu. Znamená to zejména odklon od používání metrik, jako je Journal Impact Factor (JIF), Article Influence Score (AIS) a h-index, jako zástupných ukazatelů kvality a dopadu.

Mezi "nevhodná použití" patří:

  • spoléhání se při hodnocení kvality a/nebo dopadu výhradně na metriky založené na autorech - (např. počítání článků, patentů, citací, grantů atd.);
  • hodnocení výstupů na základě ukazatelů týkajících se místa publikování, formátu nebo jazyka;
  • spoléhání se na jakékoli jiné metriky, které řádně nezachycují kvalitu a/nebo dopad.

4. závazek: Mezinárodní žebříčky

Uznáváme, že mezinárodní žebříčky, na které se výzkumné organizace nejčastěji odvolávají, nejsou v současné době "spravedlivé a odpovědné". Tento závazek pomůže zabránit tomu, aby se metriky používané v mezinárodních žebříčcích, které jsou pro hodnocení výzkumných pracovníků nevhodné, přenášely do hodnocení výzkumu a výzkumných pracovníků. Pomůže výzkumné komunitě a výzkumným organizacím znovu získat autonomii při utváření postupů hodnocení, místo aby se musely řídit kritérii a metodikami stanovenými externími komerčními společnostmi.

V případech, kdy jsou přístupy k hodnocení podle žebříčku považovány za nevyhnutelné, což může být případ forem hodnocení nad rámec této dohody, jako je srovnávací hodnocení a hodnocení výkonnosti zemí nebo institucí, je třeba si uvědomit metodologická omezení takových přístupů a instituce by se měly vyvarovat efektu "trickle-down" na hodnocení výzkumu a výzkumných pracovníků.

Nastavení cookies a ochrany soukromí

Na našich webových stránkách používáme soubory cookies a případné další síťové identifikátory, které mohou obsahovat osobní údaje (např. jak procházíte naše stránky). My a někteří poskytovatelé námi využívaných služeb, máme k těmto údajům ve Vašem zařízení přístup nebo je ukládáme. Tyto údaje nám pomáhají provozovat a zlepšovat naše služby. Pro některé účely zpracování takto získaných údajů je vyžadován Váš souhlas. Svůj souhlas můžete kdykoliv změnit nebo odvolat (odkaz najdete v patě stránek).

(Technické cookies nezbytné pro fungování stránek. Neobsahují žádné identifikační údaje.)
(Slouží ke statistickým účelům - měření a analýze návštěvnosti. Sbírají pouze anonymní data.)
(Jsou určeny pro propagační účely, měření úspěšnosti propagačních kampaní apod.)