Zpráva o činnosti Komise pro hodnocení výsledků výzkumných organizací a ukončených programů za rok 2016

Komise pro hodnocení výsledků výzkumných organizací a ukončených programů (dále jen „KHV“) v roce 2016 pracovala ve složení: 

Předsedkyně:

prof. Ing. Jitka Moravcová, CSc.

Místopředseda:

prof. RNDr. Zdeněk Němeček, DrSc.

Členové:

prof. Ing. Petr Dvořák, CSc.
RNDr. Miloslav Frýzek
prof. Ing. Michal Hocek, CSc.
prof. PhDr. Pavel Janoušek, CSc.
prof. Ing. Štěpán Jurajda, Ph.D.
doc. Ing. Jaroslav Machan, CSc.
prof. RNDr. Tomáš Opatrný, Dr.
prof. Ing. Josef Psutka, CSc.
Ing. Martin Srholec, Ph.D.
prof. MUDr. Josef Syka, DrSc. 
Ing. Karel Vejražka, Ph.D.
prof. RNDr. Eva Zažímalová, CSc.

Tajemník:

Ing. Martin Matějka

Činnost KHV:

Hlavními úkoly, kterými se KHV zabývala od úvodního lednového zasedání po celý rok 2016, byla příprava Metodiky 2017+, realizace hodnocení za rok 2014 a 2015 a dále hodnocení, které by mělo být realizováno v roce 2016.

KHV měla v roce 2016 celkem 10 řádných jednání, 4 jednání per rollam a 2 mimořádná jednání. Mezi jednotlivými jednáními se podle potřeby uskutečňovala komunikace mezi předsedkyní a členy KHV.

V průběhu celého roku probíhala úzká spolupráce mezi Radou pro výzkum, vývoj a inovace (dále jen „Rada“) a KHV, neboť 4 členové Rady jsou zároveň i členy KHV. Na předsednictvo Rady přenášel informace z KHV místopředseda Rady prof. Dvořák.

Náplň práce KHV se odvíjela od jejího plánu činnosti. Zápisy z jednání KHV byly zveřejněny na www.vyzkum.cz. Členové KHV se aktivně účastnili dalších akcí včetně diskusí se zahraničními odborníky, kteří se zabývají problematikou hodnocení výstupů VaVaI jak v ČR, tak ve světě.

Ve vztahu k Hodnocení 2014 KHV:

• jednoznačně doporučila Radě uplatnit záporné body z Hodnocení 2014 v plném rozsahu, a to dle zaslaného návrhu, který členové KHV vytvořili ve spolupráci s předsedy Oborových verifikačních a hodnotících panelů (dále jen „OVHP“),
• stanovila, že záporné body budou uplatněny v rozsahu - 40 b., resp. - 20 b. pro druhy výsledku „B“, resp. „C“ a – 4 b. pro druh výsledku „Jrec“, pokud se na výsledku podílí více předkladatelů, bude záporná hodnota předkladateli nárokujícímu daný výsledek započtena příslušným podílem, neboť nelze překročit omezení dané zákonem č. 130/2002 Sb., kdy postih může dosáhnout výše maximálně 100 % případného bodového zisku daného výsledku,
• stanovila, že nebudou na rozdělení záporných bodů aplikovány další postupy popsané v Metodice 2013, jako je stanovení faktoru kapitoly či přepočet na domácí či zahraniční spoluautory,
• doporučila Radě ve vztahu k připravovanému Hodnocení 2015 a Hodnocení 2016 dodržet plánovaný harmonogram tak, aby záporné body dle Hodnocení 2015 a Hodnocení 2016 mohly být promítnuty přímo do návrhu výdajů státního rozpočtu na oblast VaVaI na roky 2017 a 2018,
• opakovaně se zabývala zdržením jak průběhu Hodnocení 2014, tak Hodnocení 2015 a konstatovala, že nikdy nebyla vysvětlena příčina, 
  analyzovala výstupy práce OVHP a Expertních panelů (dále jen „EP“) a implementovala doporučení pro hodnocení výsledků výzkumných organizací, které by se mělo týkat údajů z let 2010-2014, tj. tzv. Hodnocení 2015. 

Ve vztahu k Hodnocení 2015 KHV:

• doporučila Sekci VaVaI, aby všem členům všech panelů, kteří již ukončili svou činnost, bylo adresně poděkováno a zároveň, aby novým členům panelů bylo zasláno jejich jmenování,
• posoudila a jednomyslně odsouhlasila návrhy na předsedy OVHP a EP,
• posoudila a jednomyslně odsouhlasila návrhy na nominace členů OVHP a EP a tento návrh následně předložila Radě ke schválení,
• průběžně projednávala a následně odsouhlasila změny ve složení OVHP a EP dle aktuálních potřeb předsedů panelů,
• aktivně se podílela na zpracování připomínek, podnětů a doporučení vzešlých z praktické činnosti panelů a na přímých konzultacích s předsedy panelů v rámci verifikace publikačních výsledků prováděné členy jednotlivých panelů v roce 2016,
• vydala doporučení předsedům panelů, aby věnovali zvýšenou pozornost tzv. „predátorským časopisům“ v rámci probíhajících hodnocení,
• upřesnila postup EP, kdy musí být zohledněny ty výsledky, které v minulém hodnocení obdržely „A“ a v letošním hodnocení se k podílu na těchto výsledcích přihlásí další výzkumná organizace, jejichž pracovníci byli spoluautory těchto výsledků, ale v minulém hodnocení je do druhého pilíře nepřihlásili. Takové výsledky už EP znovu nehodnotí, ale přihlášené podíly za dříve udělená „A“, (tedy všechna další nárokovatelná předložení tohoto výsledku v daném oboru), se automaticky započítávají do povolené kvóty 20 %, ale pouze tomu panelu, v němž byl výsledek jako „A“ dříve ohodnocen,
• ve vztahu k předchozímu tvrzení vyslovila nesouhlas s tím, aby se přenášela excelence mezi panely, kdy výsledek byl vybrán jako excelentní v jednom hodnocení např. panelem 2 a v následujícím hodnocení, kdy ho spolupracující instituce nominuje třeba do panelu 3, byl pak automaticky označen jako excelentní,
• definovala formu pro zveřejnění výstupů EP – vybraných výsledků v rámci II. Pilíře Hodnocení 2015, na www.vyzkum.cz, 
  upřesnila výklad Metodiky 2013, kdy konkrétní oborové zařazení výsledků je na autorovi daného výsledku, který jej předkládá do RIV a kdy se následně předmětný výsledek dle tohoto oboru zařadí do příslušného OVHP, čímž mají autoři konkrétní možnost určit panel, ve kterém bude jejich výsledek hodnocen,
• ocenila ochotu a vůli všech předsedů panelů (OVHP i EP) se aktivně podílet na celém průběhu Hodnocení 2015, což rozhodnou měrou přispělo k úspěšné práci panelů.

Ve vztahu k oběma hodnocením (2015 a 2016) KHV: 

• jednomyslně konstatovala, že nejsou plněny a dodržovány termíny dané usnesením vlády č. 605 z července 2015 k Metodice 2013 a opětovně apelovala na urychlené dokončení hodnocení 2015,
• řešila otázku postupu a realizace Hodnocení 2015 a Hodnocení 2016, jako reakci na zpoždění v realizaci Hodnocení 2014, a navrhla Radě procesně spojit Hodnocení 2015 s Hodnocením 2016 s tím, že pětileté datové řady zůstanou zachovány a obě hodnocení budou spočtena nezávisle,
• žádala opakovaně Sekci VaVaI o aktualizaci a zveřejnění harmonogramu týkajícího se Hodnocení 2015 a Hodnocení 2016,
• žádala Sekci VaVaI, aby věnovala maximální péči detailnímu zajištění spolupráce s Národní knihovnou, která je pro zdárný průběh Hodnocení 2015 a Hodnocení 2016 klíčová,
• apelovala na Sekci VaVaI, aby byla výzkumným organizacím neprodleně poskytnuta plná součinnost při předávání údajů o kvalitních výsledcích pro Pilíř II týkající se Hodnocení 2015,
• jednomyslně schválila silný apel na Sekci VaVaI, aby účinně zamezila dalšímu zpoždění v realizaci Hodnocení 2015 a Hodnocení 2016, neboť takové zpoždění snižuje kredit Rady a Sekce VaVaI na Úřadu vlády ČR a komplikuje práci všech organizací VaVaI,
• konstatovala, že na mimořádně špatnou situaci týkající se zpožďování Hodnocení 2015 a Hodnocení 2016 opakovaně Radu a Sekci VaVaI upozorňuje, ale a že přitom nemůže tento stav ze své pozice poradního orgánu Rady napravit,
• žádala Sekci VaVaI, aby průběžně zajišťovala přesné informování předsedů panelů o všech faktech a opatřeních týkajících se probíhajícího Hodnocení 2015 a připravovaného Hodnocení 2016, včetně operativního předávání aktuálních podkladových materiálů, kalibrace práce panelů po stránce věcné i koordinace po stránce administrativní,
• doporučila Sekci VaVaI, aby komunikace se zahraničními členy  EP byla vedena v anglickém jazyce,
• upozornila Sekci VaVaI na skutečnost, jak je důležitá správná a profesionálně korektní komunikace s jednotlivými experty panelů, což bude rozhodující i při novém hodnocení dle Metodiky 2017+,
• nedoporučila automatické zahrnutí databáze ERIH PLUS do Hodnocení 2015 a Hodnocení 2016, neboť zahrnutí by se negativně promítlo zejména do oborů SHVc. Toto rozhodnutí je plně v souladu s dikcí Metodiky 2013, která výslovně uvádí pouze databázi ERIH,
• nedoporučila Radě provádět v roce 2016 aktualizaci Seznamu českých recenzovaných neimpaktovaných vědeckých periodik, neboť pro rok 2017 a dále se připravuje zcela nová Metodika, která nebude se Seznamem, v jeho dnešní podobě, pracovat,
• doporučila zahrnout do Hodnocení 2015 i Hodnocení 2016 všechny programy 7. RP i evropské programy 2020, neboť Metodika 2013 stanovuje další podmínku, kdy pro úspěšné započítání daného projektu do Pilíře III. Metodiky 2013, je nutný příznak „projekt aplikovaného VaVaI“, který musí být takto uveden v CEP a tento příznak zdaleka nemají všechny projekty zmiňovaných programů,
• v září 2016 upozornila na skutečnost, že dosud neprobíhá práce panelů v rámci Hodnocení 2016, což ve svém důsledku znamená porušování zákona ze strany Úřadu vlády ČR a neplnění termínů dle Metodiky 2013, která je stále platná,
• upozornila na další příklady porušování zákona, kdy díky nefunkčnosti databáze CEP nemohou poskytovatelé uvolňovat účelovou podporu na VaV, neboť nemohou naplnit zákonnou povinnost, která je podmínkou uvolnění této podpory, a to předat údaje do IS VaVaI.

Ve vztahu k Metodice 2017+ KHV:

• stanovila východiska Metodiky 2017+, kterými jsou: (i) výstupy z projektu IPN Metodika, (ii) zkušenosti z průběhu hodnocení výsledků výzkumu a vývoje v roce 2013 a 2014 dle Metodiky 2013, (iii) zkušenosti a doporučení z průběhu hodnocení výzkumných organizací prováděném v AV ČR, 
  založila pracovní skupinu pro přípravu Metodiky 2017+, která se scházela na pravidelných pracovních schůzkách a o svých výsledcích informovala členy KHV na jejích pravidelných jednáních,
• jednomyslně se usnesla na klíčových bodech, na kterých je přímo závislá úspěšnost celého připravovaného hodnocení: (i) ustanovení instituce zajišťující hodnocení, (ii) vznik informačního systému určeného na podporu průběhu celého hodnocení, (iii) kvalitní výběr panelistů, (iv) finanční zajištění celého hodnocení,
• průběžně projednávala a připomínkovala pracovní verze Metodiky 2017+ nebo některé z jejích částí předkládané k projednání na Radě:

​

• doporučila Radě, aby věnovala velkou pozornost organizačnímu zajištění hodnocení, aby bylo zajištěno dlouhodobé stabilní řešení této problematiky,
• požádala Radu o zajištění finančního zabezpečení vzniku informačního systému pro potřeby hodnocení, iniciace, rozběhu a realizace celého hodnocení, kdy formu financování prostřednictvím strukturálních fondů považuje za krajní řešení,
• doporučila Radě zaměřit se prioritně na prosazení Metodiky 2017+ a nereformovat Metodiku 2013,
• doporučila Radě nepřerušovat sběr údajů do Informačního systému výzkumu, experimentálního vývoje a inovací (dále jen „IS VaVaI“), neboť by měl pokračovat i do budoucna,
• upozornila, že časový plán přípravy Metodiky 2017+ nedává dostatečný prostor ani pro kvalitní práci KHV ani pro vytvoření souvisejících analýz a modelů, na kterých je nutné ověřit funkčnost připravované Metodiky 2017+,
• upozornila na fakt, že fixace výsledků Hodnocení 2016 v Metodice 2017+ je nepřijatelná pro obory společenských a humanitních věd, kde mechanizmy Metodiky 2013 fungují špatně a tento stav by tak byl de facto dlouhodobě stabilizován, tzn., při nastavování počátečních finančních prostředků se nesmí v těchto oborech vycházet z podpory přidělené na rozvoj výzkumných organizací v minulých letech. KHV za řešení navrhla, aby peer review hodnocení začalo právě u těchto oborů a tedy navrhovaná fixace u nich nebyla realizována,
• analyzovala v návrhu Metodiky 2017+ míru podrobnosti nového hodnocení, podchycení velikosti hodnocené jednotky, strukturu zdrojů dané výzkumné organizace (dále jen „VO“), prioritní kategorii, ke které by se VO měla hlásit, problém odvození počtu výsledků, oborového zatřídění, délky hodnotícího období i jemnost navržených kategorií a význam samohodnotící zprávy,
• upozornila Radu, aby věnovala pozornost výsledkům Pilíře II (dle Metodiky 2013), neboť brzy by měly být k dispozici výsledky za 3 vlny hodnocení a analýza těchto výsledků může být dobrým ukazatelem pro predikci chování výzkumných organizací, a proto by se tento ukazatel měl v Metodice 2017+ určitě využít,
• upozornila na nebezpečí likvidace malých výzkumných organizací v modelu nového hodnocení, pokud se dobře modelově neodladí nově nastavená kritéria Metodiky 2017+, neboť tyto malé výzkumné organizace nedisponují takovou „pufrační“ kapacitou, jako velké univerzity, aby tak mohly korigovat neodhalené nedostatky Metodiky 2017+,
• doporučila jemnost hodnocení na úroveň fakult a ústavů s tím, že celkové hodnocení bude vyjádřeno za danou VO (tedy za IČO), 
  diskutovala periodicitu hodnocení jako 5-ti či 6-ti letou s tím, že hodnocení by mělo být celorepublikové a oborové tak, aby jedna komise zhodnotila daný obor přes celou ČR,
• doporučila, aby byla věnována velká pozornost sebehodnotící zprávě, kterou každá VO v rámci hodnocení předloží, neboť tato zpráva bude jedním z výchozích podkladů pro zahraniční hodnotící komisi a měla by být v angličtině,
• apelovala, aby hodnocení dle Metodiky 2017+ nezrušilo motivační složku vzniklou na základě Metodiky 2013, která v některých oborech významně přispěla k diferenciaci kvalitního výzkumu od zbývajícího,
• upozornila, že by bylo vhodné harmonizovat metodiky a náležitosti nutné pro akreditaci VŠ s Metodiky 2017+, tj. s procesy hodnocení VaVaI na VŠ.

Ve vztahu k hodnocení programů a skupin grantových projektů VaVaI KHV:

• založila pracovní skupinu pro přípravu Metodiky hodnocení programů a skupin grantových projektů VaVaI, kdy členové KHV schválili návrh složení této pracovní skupiny s tím, že skupina zahájí svou činnost, jakmile bude uzavřen smluvní vztah mezi Úřadem vlády ČR a jejími externími členy,
• v červnu 2016 se vyjádřila k aktuálnímu stavu v přípravě hodnocení programů a skupin grantových projektů VaVaI s tím, že konstatovala, že od ledna 2016 nedošlo ze strany Sekce VaVaI v této věci k žádnému posunu a proto je nereálné, aby KHV v daném časovém prostoru splnila úkol uložený jí Radou,
• v září 2016 se opětovně vyjádřila k aktuálnímu stavu v přípravě hodnocení programů a skupin grantových projektů VaVaI s tím, že znovu konstatovala, že od ledna 2016 nedošlo ze strany Sekce VaVaI v této věci k  posunu a proto, že je nereálné, aby KHV v daném časovém prostoru splnila úkol uložený jí Radou,
• navrhla Radě, aby provedla nové nastartování celého procesu přípravy nové metodiky hodnocení programů a skupin grantových projektů VaVaI s tím, že budou stanoveny nové reálně splnitelné cíle a termíny,
• upozornila Radu, že od 1. 1. 2017, tj. po ukončení platnosti Metodiky 2013, přestane platit i metodika pro hodnocení programů a skupin grantových projektů VaVaI, která je její součástí, a Rada tak nebude plnit úkol daný jí zákonem č. 130/2002 Sb.

KHV děkuje děkanovi Matematicko-fyzikální fakulty UK Praha za laskavé celoroční poskytnutí prostor fakulty.

Zároveň KHV děkuje pracovníkům Národní knihovny a zejména všem členům panelů, kteří se i přes zjevné technické a organizační nedostatky dokázali přičinit o zdárný průběh hodnocení 2015.

prof. Ing. Jitka Moravcová, CSc. V Praze 27. září 2016
předsedkyně KHV