Zpráva o činnosti Komise pro hodnocení výsledků výzkumných organizací a ukončených programů za rok 2014

Komise pro hodnocení výsledků výzkumných organizací a ukončených programů (dále jen „KHV“) v roce 2014 pracovala ve složení:

Předseda: prof. Ing. Jiří Málek, DrSc.

Místopředseda: prof. RNDr. Zdeněk Němeček, DrSc.

Členové: PhDr. Pavel Baran, CSc. (do června 2014), RNDr. Miloslav Frýzek, PhDr. Martina Hábová, doc. Ing. Michal Hocek, CSc., prof. RNDr. Pavel Hozák, DrSc. (do června 2014), prof. Ing. Petr Moos, CSc. (do června 2014), doc. Ing. Daniel Münich (do června 2014), Ph.D., prof. RNDr. Tomáš Opatrný, Dr., prof. Ing. Josef Psutka, CSc., prof. PhDr. Lenka Rovná, CSc., Ing. Jaroslav Doležal, CSc. (do září 2014), dr.h.c., prof. MUDr. Cyril Höschl. DrSc., FRCPsych (do září 2014), doc. RNDr. Karel Oliva, Dr. (do září 2014).

Činnost KHV:

KHV v roce 2014 měla celkem 10 řádných zasedání. Mezi řádnými zasedáními se podle potřeby uskutečňovala jednání mezi předsedou a členy KHV - garanty jednotlivých částí „Metodika hodnocení výsledků výzkumných organizací a hodnocení výsledků ukončených programů (platná pro léta 2013 až 2015)“ schváleném vládou České republiky usnesením ze dne 19. 6. 2013 č. 475, ve smyslu usnesení vlády České republiky ze dne 16. dubna 2014 č. 250, (dále jen „Metodika“). Dále probíhala jednání a konzultace se zástupci projektu IPn Metodika a s dalšími odborníky, kteří se zabývají problematikou hodnocení výstupů VaVaI. Náplň práce KHV se odvíjela od jejího schváleného plánu činnosti. Zápisy z jednání KHV jsou zveřejněny na www.vyzkum.cz.

Zásadním úkolem, kterým se KHV zabývala od úvodního lednového zasedání po celý rok 2014, byla realizace Metodiky platné pro roky 2013 až 2015.

V této souvislosti KHV:

  • dostala od Rady uložen základní úkol, a to přípravu některých opatření k realizaci Metodiky v roce 2014. KHV Radě navrhla a doporučila způsob nominací a způsob sestavení „Oborových verifikačních a hodnotících panelů“ a „Expertních panelů“ a to na základě principů definovaných Metodikou;
  • zaměřila se zejména na kontrolu vyváženého sestavení Oborových verifikačních a hodnotících panelů a Expertních panelů, na práci s jejich předsedy při vysvětlování Metodikou jim stanovených úkolů a při průběžných konzultacích týkajících se specifických problémů jednotlivých panelů; součástí průběžných doporučení KHV bylo i zpřesnění odborných kritérií sloužících právě pro vymezení jednotlivých kroků v rámci hodnotících postupů prováděných panely;
  • posuzovala, kontrolovala a celkově vyhodnocovala práci Oborových verifikačních a hodnotících panelů a Expertních panelů;
  • pro jednotlivé oborové skupiny analyzovala, do jaké míry v rámci Pilíře II. Metodiky, vyhovuje zvolený mechanismus oborového hodnocení výsledků VaVaI;
  • diskutovala správnost výše bodové alokace pro 11 hlavních skupin oborů a posoudila, zda nedochází k vzájemné mezioborové konkurenci, či zda nebyly tyto oborové skupiny omezeny ve své dynamice rozvoje.
  • na základě analýzy sebraných dat posoudila Metodikou navržené alokace týkající se procentního zastoupení jednotlivých druhů výsledků v 11 hlavních oborových skupinách.

KHV na svém říjnovém zasedání konstatovala, že v roce 2013 nově navržený ucelený systém hodnocení výsledků výzkumných organizací, který byl v roce 2014 v celém rozsahu plně realizovaný, se osvědčil ve všech jeho třech pilířích definovaných Metodikou. Tento závěr podpořila i řada předsedů Oborových verifikačních a hodnotících panelů i Expertních panelů.

KHV předložila Radě rámcový návrh na úpravu znění některých bodů Metodiky, který vychází z praktických zkušeností realizace jednotlivých pilířů a z doporučení formulovaných předsedy Oborových verifikačních a hodnotících panelů a předsedy Expertních panelů. Tyto nové principy hodnocení, obsažené v jednotlivých pilířích, sice odstranily základní a často kritizované nedostatky minulých metodik a správně rozlišily postupy hodnocení pro dobře verifikovatelné publikační výsledky a postupy pro hodnocení kvality výzkumných organizací na základě výběru výsledků samotnými výzkumnými organizacemi. Na druhou stranu prakticky ukázaly náročnost a složitost použitých procedur s tím, že rozsah takových postupů musí být v budoucnosti přesněji vymezen. Například ve společenských a humanitních vědách lze uvažovat o nahrazení podpilíře I. pilířem II., kde by expertnímu posouzení podléhalo menší množství výsledků. V tomto případě by však limit pro předložení jednoho výsledku byl snížen z 10 mil. Kč na nižší částku.

KHV konstatovala, že zavedení nového způsobu hodnocení výsledků aplikovaného VaVaI měřením objemu finančních prostředků projektů přidělených v rámci soutěží týkajících se projektů aplikovaného VaVaI prostřednictvím pilíře III je reálná a schůdná cesta.

Neméně důležitým „vedlejším výsledkem“ práce Oborových verifikačních a hodnotících panelů byla celková detailní kontrola všech výsledků nově dodaných do databáze Rejstříku informací o výsledcích (RIV), které nemohou být podrobeny strojovým verifikacím. Tyto zkušenosti budou použity pro zpřesnění mechanismu provádění kontrol výsledků periodicky zařazovaných do RIV.

KHV se na svých závěrečných jednáních shodla, že hodnocení provedené v plném rozsahu v roce 2014 potvrdilo, že v Metodice nově formulované principy a kritéria pro hodnocení publikačních výsledků lépe reflektují nejen aktuální požadavky vědecké obce, ale zohledňují i některá doporučení Mezinárodního auditu VaVaI v ČR. Jako podstatně lepší se jeví především nový způsob hodnocení odborných publikací formou panelů, tj. postupem podle peer-review hodnocení. Stejně tak se plně osvědčilo, že Metodika hodnotí (dle oborových zvyklostí) pouze typické publikační výstupy tak, aby byly hodnoceny pouze skutečné výzkumné výsledky daného oboru, nikoliv např. učebnice, příručky či popularizace výsledků. KHV prověřovala správnost oborových alokací bodových hodnot, tedy zda podíly jsou navrženy tak, aby jejich aplikace nevedly k nepříznivým mezioborovým dopadům.

Další úkoly, které plnila KHV:

  1. Předseda KHV průběžně informoval odbornou veřejnost (kolegia děkanů fakult, ČKR, RVŠ, GAČR, TAČR, AVO, ČZA, AVČR atd.) o základních principech a změnách realizované Metodiky.
  2. Členové KHV se aktivně podíleli osvětlování a výkladu textu Metodiky při spolupráci s předsedy Oborových verifikačních a hodnotících panelů a Expertních panelů.
  3. Členové KHV se aktivně podíleli na zpracování připomínek a doporučení vzešlých z praktické činnosti panelů v roce 2014.
  4. KHV se vyjadřovala k průběhu aktualizace tzv. Seznamu recenzovaných periodik.
  5. KHV se vyjadřovala k procesu posuzování výzkumných organizací, které mohou být příjemci institucionálních financí na dlouhodobý koncepční rozvoj výzkumné organizace (nutnost překročit v hodnocení předem definovanou bodovou hranici).
  6. KHV se vyjadřovala k průběhu Hodnocení 2013, zejména ke stížnostem příjemců na vyřazení jejich výsledků z procesu hodnocení.
  7. Předseda i členové KHV aktivně vedli opakovaná osobní jednání s představiteli Individuálního projektu národního „Efektivní systém hodnocení a financování výzkumu, vývoje a inovací“ (IPn Metodika).
  8. KHV na některých svých jednáních průběžně konzultovala se zástupci MŠMT postup řešení zmíněného IPn.
  9. Někteří členové KHV se osobně aktivně podíleli na přímých konzultacích v rámci verifikace publikačních výsledků prováděné členy jednotlivých panelů.
  10. KHV při realizaci Metodiky spolupracovala s ostatními odbornými a poradními orgány Rady, předsedové všech tří komisí po celý rok zprostředkovávali obousměrný přenos informací.
  11. KHV se věnovala též porovnání systémů hodnocení výsledků ve vybraných evropských zemích.
  12. KHV průběžně soustavně apelovala na sekretariát Rady, aby včas a komplexně zajistil podmínky pro práci hodnotících panelů.
  13. KHV podrobně analyzovala zápisy z jednání a výstupy práce Oborových verifikačních a hodnotících panelů a Expertních panelů s cílem implementovat doporučení v příštích letech při hodnocení výsledků výzkumných organizací.

 

prof. Ing. Jiří Málek, DrSc.
předseda KHV

Sdílejte na: