Zápis z 96. jednání KHV

Jednání se zúčastnili: prof. Ing. Jitka Moravcová, CSc. (předsedkyně), RNDr. Miloslav Frýzek, prof. Ing. Štěpán Jurajda, Ph.D., doc. Ing. Jaroslav Machan, CSc., prof. RNDr. Tomáš Opatrný, Dr., prof. Ing. Josef Psutka, CSc., Ing. Karel Vejražka, Ph.D., Mgr. Lucie Mališová (host) a Ing. Martin Matějka (tajemník Komise).

Omluveni:       prof. Ing. Petr Dvořák, CSc., prof. Ing. Michal Hocek. CSc. DSc., prof. PhDr. Pavel Janoušek, CSc., prof. RNDr. Zdeněk Němeček, DrSc. (místopředseda), Ing. Martin Srholec Ph.D., prof. MUDr. Josef Syka DrSc.,

Komise byla usnášeníschopná.

Pro jednání Komise byl předem navržen program, podklady pro jednání Komise byly rozeslány via e-mail dne 11. 5. 2017.

Projednávané body:

1. Zahájení, schválení návrhu programu, kontrola úkolů[96-1 - předsedkyně]
2. Informace
   1. z 325. řádného zasedání Rady dne 27. 4. 2017 [ústní informace - předsedkyně]
   2. výňatek z usnesení 325. RVVI[96-2b]
3. Realizace Metodiky 2013 [ ústní informace předsedkyně]
   1. info k průběhu Hodnocení 2016
   2. schválení záporných bodů Hodnocení 2015[96-3b1, 96-3b2, 96-3b3, ]
   3. Stanovení korekčních koeficientů při výpočtu Hodnocení 2016[96-3c - předsedkyně]
4. Realizace Metodiky 2017+[ústní informace předsedkyně]
   1. další postup
   2. definice výsledků[96-4b, 96-4b2– Mgr. Miholová, prof. Opatrný]
   3. způsob ustavení hodnotících panelů
5. Různé
6. Závěr

ad 1)   Zahájení, schválení programu, kontrola úkolů

Jednání zahájila předsedkyně, omluvila z jednání nepřítomné členy a seznámila přítomné členy Komise s návrhem programu jednání. Program byl následně odsouhlasen. Předsedkyně konstatovala, že Komise je usnášeníschopná.

Předsedkyně provedla kontrolu úkolů z minulého jednání Komise a konstatovala, že všechny úkoly byly splněny.

Závěr:       Členové Komise vzali informaci na vědomí.

ad 2) Informace z 325. řádného zasedání Rady dne 27. 4. 2017

K informaci o průběhu výjezdního řádného zasedání Rady dne 27. 4. 2017 předsedkyně mezi hlavními body uvedla, že Rada schválila vypořádání meziresortních připomínek k návrhu výdajů státního rozpočtu ČR na VaVaI na rok 2018 se střednědobým výhledem na léta 2019 a 2020 a dlouhodobým výhledem do roku 2024.

Dále předsedkyně uvedla, že Rada schválila materiály předložené k Implementaci Metodiky 2017+, tj. postup při hodnocení výsledků dle Metodiky 2017+ v roce 2017, návrh nominačního postupu na členy resp. členky odborných panelů a vzdálených hodnotitelů, druhy výstupů a výsledků a Harmonogram Metodiky 2017+. Rada pověřila KHV spoluprací při ověřování odbornosti nominovaných kandidátů do odborných panelů a databáze hodnotitelů a doporučila předsedovi Rady, aby po vypořádání připomínek MŠMT, MO a MV předložil „Harmonogram dopracování Metodiky hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje pro kompletní hodnocení segmentu vysokých škol“ na jednání vlády.

Předsedkyně uvedla, že téma Metodiky 2017+ je samostatným bodem jednání.

Pro další informace předsedkyně odkázala členy Komise na zápis z jednání Rady zveřejněný na www.

Závěr:       Členové Komise vzali informaci na vědomí.

ad 3) Realizace Metodiky 2013

ad 3a) Info k průběhu výpočtu Hodnocení 2015 a 2016

V současné době Sekce pro VaVaI zpracovává 2 sady připomínek ze strany UK a ČVUT, které byly na Sekci pro VaVaI zaslány na základě zveřejnění Konečných výsledků výpočtu Hodnocení 2015, které Rada schválila. Prof. Opatrný upozornil, že ve výpočtu Hodnocení 2015 stále přetrvávají chyby a že by bylo vhodné jejich odstranění tak, aby tyto chyby nebyly přeneseny do podkladů určených pro Hodnocení 2016.

Prof. Jurajda navrhnul, aby na příští jednání Komise byl pozván Pavel Šmerk z IF MU, který se stará o data RIV na MU, a přednesl Komisi svoji presentaci, co vše je v Hodnocení 2015 špatně spočítáno. Členové Komise s návrhem souhlasili a doporučili Sekci pro VaVaI, aby pro toto setkání připravila krátkou analýzu změn výstupů v Hodnocení 2014 a v Hodnocení 2015 týkajících se MU a TUL Liberec a to všech jejich fakult. Toto srovnání doporučují členové Komise provést samostatně pro každou oborovou skupinu.

Předsedkyně dále zmínila problematiku databáze ERIH PLUS, která se stala nástupkyní dřívější databáze ERIH. Tajemník členy Komise upozornil, že Komise se již k tomuto tématu vyjádřila svým usnesením pod bodem 85-3d (viz 85. jednání Komise dne 11. 4. 2016), kdy „Komise nedoporučila automatické zahrnutí databáze ERIH PLUS do Hodnocení 2015 a Hodnocení 2016“.

Prof. Opatrný dále upozornil na skutečnost, že na stránkách www.vyzkum.cz byl zveřejněn dokument „Řešení rozporů a nesrovnalostí v datech vstupujících do Hodnocení 2016“ s tabulkami s výsledky obsahujícími nesrovnalosti a výzva k jejich opravám do 12. 6. 2017. Zmínil, že v některých případech jde o neshodu oboru RIV uvedeného v údajích od různých předkladatelů téhož výsledku, což se doposud řešilo automatickými konsolidacemi podle Metodiky 2013. Jedná se například o mezioborové publikace, které různé instituce přiřadily k různým oborům. Uvedl, že na některých institucích nyní propukla panika, že budou muset u všech takovýchto výsledků shánět autory a organizovat nalezení shody.

Mgr. Mališová ze Sekce VaVaI vysvětlila, že v takovýchto případech je výzva míněna pouze jako možnost pro předkladatele, aby uvedli věci na pravou míru, pokud budou chtít, jinak proběhnou automatické konsolidace podle Metodiky 2013. Prof. Opatrný byl ujištěn, že v případech, kdy výsledky splňující definiční podmínky Metodiky 2013, zůstanou tyto v hodnocení a to i když předkladatelé na výzvu reagovat nebudou. Prof. Opatrný navrhl, aby na www stránce s výzvou byla umístěna stručná informace o této skutečnosti, neboť jinak tato nejistota nutí řadu předkladatelů k administrativně náročným úkonům spojeným s dohledáváním informací od tvůrců výsledků. Mgr. Mališová přislíbila zveřejnění takové informace.

Závěr:       Členové Komise se shodli, že na základě připomínek k výpočtu Hodnocení 2015 by měly být analyzovány příčiny vzniklých chyb tak, aby se ve výpočtu Hodnocení 2016 tyto chyby již neuplatnily.

Dále členové Komise žádají svoji předsedkyni, aby na příští jednání Komise pozvala Pavla Šmerka z IF MU a požádala jej o presentaci na téma „Chyby v Hodnocení 2015“.

ad 3b) Udělení záporných bodů

K tomuto bodu členové Komise obdrželi od Sekce pro VaVaI podkladové tabulky s předmětnými výsledky na které by měly být uplatněny záporné body. V diskuzi bylo vzneseno upozornění, že tabulky obsahují vysoké množství duplicitně uvedených výsledků. Mgr. Mališová vysvětlila, že násobný výskyt je způsoben formou výpisu, kdy každé hodnocení každým hodnotitelem OVHP je uvedeno na samostatném řádku. Pro zveřejnění bude forma výpisu upravena tak, aby každý výsledek byl na seznamu právě na jednom řádku.

Závěr:       Členové Komise odsouhlasili seznam výsledků pro uplatnění záporných bodů a doporučují Radě jejich udělení.

ad 3c) Stanovení korekčních koeficientů při výpočtu Hodnocení 2016

Tímto tématem se členové Komise zabývali již na svém minulém jednání. Diskutovali dvě možné formy postupu při stanovení korekčních koeficientů jednotlivých druhů výsledků v rámci daných oborových skupin. Výsledkem je potom různý korekční faktor týkající se Jimp, kdy v jednom případě dochází k redukci bodů Jimp ve prospěch bodů výsledků druhu B, C, D případně Jrec, ve druhém nikoliv. Bylo konstatováno, že pro oba dva postupy však lze najít oporu v Metodice 2013.

Na základě proběhlé diskuze se členové Komise shodli na závěru, že výpočet pro Hodnocení 2016 by se měl vrátit k postupu, který byl použit při výpočtu Hodnocení 2014 a který preferuje druh výsledku Jimp.

Prof. Jurajda uvedl, že tím dojde ke zprůměrování obou přístupů v posledních dvou letech platnosti Metodiky 2013 a to může být podstatná výhoda. Je totiž možné, že se rozpočty položky „RVO“ z konce období platnosti Metodiky 2013 stanou dlouhodobou základnou pro přidělování RVO v budoucích letech. Zprůměrování obou postupů (tj. postupu použitého v Hodnocení 2014 a v Hodnocení 2015), které oba mají svou logiku, může být dobrým východiskem pro takové zamknutí hodnoty RVO.

Závěr:       Členové Komise návrh odsouhlasili a doporučuji Radě, aby pro výpočet Hodnocení 2016 byl použit postup, který byl použit při výpočtu Hodnocení 2014.

ad 4)         Realizace Metodiky 2017+

ad 4a) další postup

Jak předsedkyně sdělila členům Komise pod bodem 2, Rada schválila harmonogram dopracování Metodiky 2017+ a další související materiály. Předsedkyně upozornila členy Komise, že některé termíny uvedené v tomto harmonogramu nepovažuje za reálné, jiné jsou formulovány velmi vágně. Doc. Machan požádal, aby v uvedeném harmonogramu byly jednotlivé úkoly konkretizovány a aby byl doplněn jejich zpracovatel. Tím by vzniknul potřebný termínový plán s jasně uvedenými milníky určujícími, kdy má být konkrétní výstup realizován. Díky tomu by potom i KHV měla jasnou představu, jaké konkrétní úkoly a v jakých termínech má tyto úkoly pro Radu zpracovat.

Dále předsedkyně uvedla, že zatím nemá žádné informace o výsledku práce interní pracovní skupiny k Metodice 2017+, kterou založila Česká konference rektorů. Zástupci této pracovní skupiny měli dne 10. 5. 2017 za účastí zástupců Sekce pro VaVaI pracovní schůzku s náměstkem Plagou na MŠMT.

Prof. Jurajda konstatoval, že zatímco příprava Metodiky 2013 probíhala v ročním předstihu za využití množství modelových studií a dílčích analýz, pro implementaci Metodiky 2017+ je vyhrazen pouze krátký časový úsek, ve kterém se s modelováním a kalibrováním na reálných datech nepočítá.

V diskuzi členové Komise opakovaně konstatovali, že stále není v Metodice 2017+ zřetelně uvedeno dělení mezi národní a rezortní úrovní hodnocení. Toto je potřebné vyjasnit zejména v ohledu na připravovanou metodiku hodnocení VŠ, za kterou odpovídá MŠMT.

Ke stávajícímu harmonogramu implementace Metodiky 2017+ prof. Jurajda uvedl, že SHV obory, které nový způsob hodnocení intenzivně potřebují, jsou zařazeny až na konec implementačního období, tj. potřebnou odezvu s dopadem do státního rozpočtu budou mít až za cca 8-10 let.

Závěr:       Členové Komise žádají Sekci pro VaVaI, aby v harmonogramu implementace Metodiky 2017+ byly jednotlivé úkoly konkretizovány a aby byl stanoven termínový plán s milníky a zároveň, aby byl vždy doplněn zpracovatel každého úkolu.

Dále členové Komise doporučují Radě a Sekci pro VaVaI, aby možné dopady Metodiky 2017+ byly modelovány na reálných datech roku 2016 s tím, že výsledkem bude potřebná kalibrace parametrů Metodiky 2017+.

Zároveň členové Komise konstatují, že v rámci implementace Metodiky 2017+ je nezbytné, aby Rada resp. Sekce pro VaVaI zřetelně vyjasnila dělení mezi národní a rezortní úrovní hodnocení.

ad 4b) definice výsledků

K tomuto bodu členové Komise obdrželi od Sekce pro VaVaI podkladový materiál, který však neobsahoval předmětné definice výsledků, na které by měly být uplatněny změny. V diskuzi bylo konstatováno, že zaslaný materiál je velmi neúplný a že na jeho základě nemůže Komise učinit žádná odborná rozhodnutí. U nově navrhovaných druhů výsledků chybí popis jejich definic a dále chybí popis kritérií, dle kterých bude poskytovatel kontrolovat splnění definice daného druhu výsledku.

Prof. Opatrný k tomuto bodu dodal členům Komise připomínky Prof. RNDr. Víta Voženílka, CSc., z UP Olomouc. Připomínky se týkají definice druhu výsledku N_map - Specializovaná mapa s odborným obsahem.

Závěr:       Členové Komise konstatují, že Sekcí pro VaVaI dodaný podkladový materiál je neúplný a Komise se k němu nemůže odborně vyjádřit. Členové Komise doporučují Radě, aby tento materiál v této podobě neschválila.

ad 4c) způsob ustavení hodnotících panelů

K tomuto bodu měla Rada na svém zasedání podkladový materiál 325/A2-b, který však členové Komise od Sekce pro VaVaI neobdrželi a neměli jej proto k dispozici. Z tohoto důvodu se k materiálu Komise nemůže vyjádřit.

Závěr:       Členové Komise se usnáší, že pokud bude Sekcí pro VaVaI navržena množina hodnotitelů pro panely v rámci Metodiky 2017+, Komise tyto jednotlivé návrhy projde, posoudí a následně doporučí Radě konečné složení panelů.

ad 5) Různé

Pod bodem různé nebyl přednesen žádný příspěvek.

ad 6) Závěr

Předsedkyně poděkovala všem přítomným za jejich aktivní účast na jednání.

Příští řádné 97. jednání Komise se uskuteční dne 5. 6. 2017. od 14.00 hod. v zasedací místnosti č. 1 ve 2. patře budovy NHÚ (CERGE-EI), Politických vězňů 7, Praha 1.

V Praze dne 18. 5. 2017

Zapsal: Ing. M. Matějka                                      Schválila: prof. Ing. Jitka Moravcová, CSc.