Zápis ze 79. jednání KHV konaného dne 12. 10. 2015 od 14:00 hod. v zasedací místnosti Ministerstva dopravy, nábřeží L. Svobody 12, Praha 1.
Jednání se zúčastnili: prof. Ing. Jiří Málek, DrSc. (předseda), prof. Ing. Petr Dvořák, CSc., RNDr. Miloslav Frýzek, prof. Ing. Michal Hocek. CSc., prof. Ing. Štěpán Jurajda, Ph.D., doc. Ing. Jaroslav Machan, CSc., DrSc. prof. Ing. Jitka Moravcová, CSc., prof. RNDr. Zdeněk Němeček, DrSc. (místopředseda), prof. RNDr. Tomáš Opatrný, Dr., prof. Ing. Josef Psutka, CSc., Ing. Martin Srholec, Ph.D., prof. MUDr. Josef Syka, DrSc., Ing. Karel Vejražka, Ph.D., prof. RNDr. Eva Zažímalová, CSc., Dr. Ing. Luboš Sychra (host), PhDr. Jiřina Nováková, Ph.D. (host), Mgr. Ing. Kateřina Miholová, Ph.D. (host), Mgr. Arnošt Marks, Ph.D. (host) a Ing. Martin Matějka (tajemník komise).
Komise byla usnášeníschopná.
Z jednání byli omluveni: prof. PhDr. Pavel Janoušek, CSc.,
Pro jednání komise byl předem navržen program, podklady pro jednání komise byly rozeslány via e-mail dne 9. 10 2015.
Projednávané body:
1.Zahájení, schválení návrhu programu [79-1 - předseda]
2.Informace z 308. zasedání Rady [ústní informace - předseda]
3.Diskuse nad Principy Metodiky 2017+
a.Výzvy před novou metodikou [79-3a - 20 min. prezentace – prof. Opatrný]
b.Studie proveditelnosti - IPN Metodika [79-3b - 10 min. prezentace – prof. Moravcová]
c.Principy Metodiky 2017+ [diskuse – moderuje předseda]
4.Realizace Metodiky 2013
a.Aktuální stav výpočtu Hodnocení 2014 [ústní informace – tajemník]
b.Výsledek nominací do OVHP a Expertních panelů [ústní informace – tajemník]
5.Diskuse ohledně přípravy Metodiky hodnocení programů účelové podpory VaVaI pro období 2017+ [79-5 – Ing. Srholec]
6.Návrh výroční zprávy komise [79-6 - předseda]
7.Různé
8.Závěr
ad 1) Zahájení
Jednání zahájil předseda, který omluvil nepřítomného člena komise. Následně předseda seznámil členy komise s návrhem programu jednání. Program jednání byl členy komise odsouhlasen. Předseda konstatoval, že komise je usnášeníschopná.
ad 2) Informace z 308. zasedání Rady
Stručnou informaci o průběhu zasedání Rady, které se konalo 2. 9. 2015, podal předseda. Informoval, že Rada schválila statuty a jednací řády OVHP a EP panelů ve znění navrženém KHV.
Dále předseda zmínil, že Rada schválila návrh Koncepce Informačního systému výzkumu, experimentálního vývoje a inovací na období 2016 až 2020 a uvolnila jej do meziresortního připomínkového řízení.
Dále uvedl, že byl schválen návrh Komise neprovádět žádný zásah do textu Metodiky 2013 formou její revize. Uvedl, že diskuse v Radě o parametrech, jejichž nastavení je v kompetenci Rady (především koeficient beta v Pilíři III.) však nebyla prozatím uzavřena a bude pokračovat na příštím zasedání Rady. Rada uložila Sekci VaVaI připravit materiál o revizi Metodiky 2013 a předložit jej pro informaci na jednání vlády a dále uložila Sekci VaVaI a KHV vyhodnotit možnosti pro změnu parametrů hodnocení, které jsou Radě dány Metodikou, zejména u smluvního výzkumu.
Celou informaci předseda doplnil krátkou presentací, v jejímž závěru navázal na bod „Principy Metodiky 2017+“, který Komise na svém minulém jednání přerušila.
ad 3) Diskuse nad Principy Metodiky 2017+
Tento bod uvedl předseda s tím, že počítá, že Komise bude pokračovat v diskusi k principům Metodiky 2017+. Konstatoval však, že neví, zda diskusi Komise dokončí, protože v tuto chvíli zatím není k disposici implementační doporučení týmu IPN. Uvedl, že na základě informací od prof. Moravcové a doc. Münicha, by doporučení měla být v písemné podobě k dispozici koncem měsíce. To by znamenalo, že by mohla být součástí podkladů na listopadové zasedání Komise, kdy by mohla být následně dokončena diskuse k principům Metodiky 20017+.
ad 3a) Výzvy před novou metodikou
K tomuto bodu prof. Opatrný přednesl svou presentaci "Výzvy pro novou metodiku hodnocení VaV", ve které se zaměřil na hlavní problémy především z pohledu vysokých škol. Za zásadní problém považuje otázku jak postihnout fungování VŠ ve všech jejich rolích. Má-li se nová metodika zaměřit na hodnocení výzkumných organizací a ne pouze jejich výsledků, je třeba vzít v potaz, že vysoké školy hrají roli výzkumnou, vzdělávací a další tzv. "třetí role". Hodnota vysokých škol přitom spočívá především v synergii, s níž tyto role hrají. Je přitom chybou snažit se tyto role vysokých škol od sebe násilně oddělovat. To, že tak fungovaly dosavadní systémy hodnocení, považuje za jejich hlavní chybu, špatné by ovšem bylo v tom pokračovat v nově připravovaném systému hodnocení.
Prof. Opatrný zmínil hlavní námitky Rady vysokých škol vůči poslednímu návrhu z projektu IPN Metodika:
(1) Není jasné, jak zajistit dostatečný počet kvalitních nestranných zahraničních hodnotitelů.
(2) Tzv. Registr výzkumníků a evidence FTE výzkumníků VŠ považují za nadbytečnou byrokratickou zátěž, přičemž je nejasné, jak na VŠ u jednotlivých pracovníků stanovit rozdělení činnosti mezi výuku, výzkum a další aktivity.
(3) Perioda hodnocení 5-6 let je příliš dlouhá na poskytnutí efektivní zpětné vazby v dynamickém prostředí ČR.
(4) VŠ a AVČR jsou v jednom „hrnci“ ("pot") jako „Scientific Research Organizations“ bez ohledu na značnou variabilitu škol i fakult a různost jejich poslání (některé mají blíže k „Public Service RO“, jiné k „Industry & Business Service RO“. Jde o krok proti diverzifikaci VŠ.
(5) Nepřesvědčivé je řešení problematiky hodnocení aplikovaného výzkumu (vše „peer review“, ale absence výsledků typu „prototyp“, „poloprovoz“, „software“). Jak vůbec bude panel hodnotit význam aplikovaných výsledků?
Dále se prof. Opatrný ve své prezentaci věnoval některým aspektům předchozího systému hodnocení do roku 2012 (paušální hodnocení aplikovaných výsledků, které vedlo k inflaci formálně správných, ale fakticky bezcenných výsledků) a dále poslednímu hodnocení AV ČR za roky 2005-2009.
K tomuto hodnocení AV ČR prof. Opatrný zmínil, že třebaže v původním metodickém pokynu z května 2010 stálo, že protokol o hodnocení, stanovisko ředitele pracoviště, případně vypořádání připomínek celo-akademickou hodnotící komisí budou zveřejněny na veřejných internetových stránkách AV ČR, po proběhlém hodnocení žádný z těchto dokumentů zveřejněn nebyl. Prof. Opatrný si tyto informace musel vyžádat na základě zákona o svobodném přístupu k informacím. Ze získaných materiálů jsou pak zřejmé problémy spojené se zahraničními hodnotiteli a s přehodnocováním jejich stanovisek ze strany orgánů AV.
Prof. Opatrný uvedl, že ze všech těchto historických zkušeností se bude nutné poučit při přípravě nové metodiky. Za zásadní nyní prof. Opatrný považuje zajistit kvalitní sběr relevantních dat pro hodnocení.
V reakci na vystoupeni prof. Opatrného prof. Jurajda argumentoval tím, ze hodnocení výuky (a dalších rolí VŠ) není a nemůže být součástí úkolu, který Komisi zadala Rada. Uvedl, že Komise není komisí pro hodnocení vzdělávání, že takovou řídící roli nemá ani Rada a snaha o pokrytí všech rolí VŠ v rámci hodnoceni VaVaI je mimo kompetenci Komise.
ad 3b) Studie proveditelnosti - IPN Metodika
K tomuto bodu přednesla svou presentaci prof. Moravcová. Seznámila členy Komise s výsledky pracovního jednání členů týmu IPN v Liblicích a nastínila předběžný implementační rámec:
•v polovině roku 2016 by měl být znám soubor institucí, termíny plnění jednotlivých etap, měly by být zajištěny finanční a lidské zdroje a zakotveno základní pojetí hodnocení, nejlépe usnesením vlády;
•vlastní NERO by mělo začít v roce 2018, případně 2019, do té doby bude platit (upravená?) Metodika 2013+;
•1. etapa NERO (tzv. „učící se fáze“) bude zahrnovat pouze VO a VŠ bez VO AV ČR a bez dopadu na návrh výdajů státního rozpočtu na oblast VaVaI;
•2. etapa NERO cca od roku 2024 už bude s dopadem na institucionální financování;
Dále uvedla, že je nutná optimalizace hodnotících kritérií na základě zkušeností s Metodikou 2013+ a s hodnocením AV ČR. K presentaci prof. Opatrného prof. Moravcová uvedla, že NERO musí být založeno na FTE, neboť jedině tak je zohledněna velikost instituce a tento parametr nelze pominout. v závěru své presentace zmínila některé dosud nedořešené otázky, jakou je např. forma peer review (návštěva na místě či „hearing“).
ad 3c) Principy Metodiky 2017+ -diskuse
Po proběhlých presentacích předseda otevřel diskusi. Prof. Jurajda shrnul, že zadání Rady „implementovat IPN“ je pro Komisi jasně dané a doporučil ihned tuto práci zahájit. Předpokládá, že v roce 2016 by mělo být nové usnesení vlády k hodnocení a v letech 2017 až 2020 už bude toto hodnocení realizováno. Předmětem hodnocení nebudou výsledky jako doposud, ale samotné výzkumné organizace.
Náměstek Marks vymezil časový nástup nových změn v rámci nového systému hodnocení. Uvedl, že předpokládá 3 až 5-ti leté přechodné období a upozornil na tři oblasti, kde je způsob hodnocení kritický:
◦oblast společenských a humanitních věd;
◦oblast výzkumu pro státní správu;
◦oblast aplikovaného výzkumu.
Dále uvedl, že Rada očekává od Komise 2-3 varianty způsobu, jak implementovat IPN. Zmínil velký odborný mandát Komise a připomněl členům jejich velkou společenskou odpovědnost, kdy na výsledek práce Komise čeká Rada, vláda ČR i odborná veřejnost.
Doc. Machan upozornil, že se nejprve musí rozhodnout, co bude základním principem nového hodnocení, zda IPN Metodika (doplněná zkušenostmi z Metodiky 2013 a hodnocení AV ČR), či hodnocení výsledků dle Metodiky 2013 (doplněné zkušenostmi z IPN Metodiky a hodnocení AV ČR). Teprve po stanovení tohoto základního principu lze modelovat jednotlivé varianty.
Prof. Dvořák uvedl, že problém nevidí tak konfrontačně jako doc. Machan a formuloval svůj návrh řešení použít všechny 3 východiska (IPN, Metodiku 2013 a hodnocení AV ČR) s tím, že bude nutné řešit a eliminovat technické problémy. Tento návrh podpořili prof. Jurajda i náměstek Marks.
Prof. Hocek navrhnul, aby se neprovádělo „superhodnocení“ přes celou republiku, ale postupovalo se po částech s tím, že by se postupně testovalo, které části Metodiky 2013 je vhodné použít.
K otázce „jak stávající zákon omezuje přechod na nový systém hodnocení“ uvedl Dr. Sychra, že stávající zákon nelze chápat tak striktně, že se musí hodnotit „pouze výsledky“. Lze hodnotit jak metodou peer review tak i výzkumné organizace, to zákon nezakazuje.
Stejný názor zastává prof. Jurajda i prof. Moravcová, která zopakovala, že hodnotit se budou výzkumné organizace a celý proces začne nejspíše v roce 2018.
Prof. Opatrný je názoru, že podle stávajícího zákona je nutné zajistit zhodnocení výsledků. Kromě toho je možné hodnotit i další aspekty výzkumných organizací, což lze očekávat i v případě přijetí nového zákona o podpoře výzkumu. U vysokých škol by přitom mělo jít o vyhodnocení všech jejich rolí. V opačném případě by to vedlo k dalšímu pokřivování fungování vysokých škol.
V závěru diskuze se členové shodli na následujícím stanovisku:
Členové Komise doporučují Radě jednoznačně definovat principy Metodiky 2017+ takto:
1. Pro efektivní fungování systému vědy výzkumu a inovací je nezbytné přejít na nový systém hodnocení odpovídající nastalým potřebám a mezinárodní dobré praxi s využitím všech dosud získaných zkušeností.
2. Metodika 2017+ bude hodnotit organizace jako takové s cílem vytvořit prostředí korektně oceňující, podporující a stimulující kvalitní vědu, výzkum a inovace.
3. Metodika 2017+ bude vycházet z výsledků projektu IPN Metodika, včetně pilotního ověření, s tím, že pro její jednotlivé složky bude využito zkušeností a dobré praxe ze systému hodnocení výsledků výzkumných organizací do roku 2012, Metodiky 2013-2016 a současně probíhajícího hodnocení ústavů AV ČR.
4. V součástech hodnocení navrženého v rámci projektu IPN Metodika, které nebyly dosud v ČR plošně realizovány (zejména tzv. performance-based components, tj. procesy, kvalita, výkon) bude pozornost věnována technickým detailům a proveditelnosti s identickým cílem, jako je definován v bodě 2.
ad 4) Realizace Metodiky 2013
ad 4a) Aktuální stav výpočtu Hodnocení 2014
K tomuto bodu podal ústní informaci tajemník komise, který uvedl, že práce probíhají a je předpoklad, že 1. verze výpočtu bude rozeslána k připomínkám poskytovatelů v pátek 16. 10. 2015, tj. v termínu smluvně stanoveném. Zároveň budou tyto výsledky k disposici i členům Komise.
ad 4b) Výsledek nominací do OVHP a Expertních panelů
Tajemník komise shrnul, že v současné době probíhá zpracování došlých registrací a vyhodnocování souhlasů statutárních zástupců. Jakmile budou tyto práce dokončeny, budou seznamy kandidátů postoupeny členům Komise k návrhu na složení členů jednotlivých panelů.
Prof. Opatrný apeloval, aby byly podklady rozeslány co nejdříve a členové KHV tak mohli pracovat na sestavení návrhů na složení panelů. Tato činnost zabere poměrně dost času a úsilí a je třeba to řešit bezodkladně.
Předseda na svůj dotaz, zda jsou součástí podkladových dat i bibliografické údaje, jak požadoval, obdržel odpověď, že nikoliv. K dotazu Dr. Frýzka, zda by ze strany Sekce nemohly být tyto údaje doplněny, sdělil Dr. Sychra, že v daném personálním složení oddělení informačních systémů, kam tato problematika spadá a které v současnosti čítá 3 pracovníky včetně vedoucího odd., toto není možné.
Pro lepší koordinaci členů Komise při sestavování složení panelů tajemník navrhnut založení „doodle“ hlasování, aby si členové Komise rovnoměrně rozdělili jednotlivé oborové skupiny.
ad 5) Diskuse ohledně přípravy Metodiky hodnocení programů účelové podpory VaVaI pro období 2017+.
K tomuto bodu předal předseda slovo Ing. Srholci, který seznámil členy Komise s předloženým materiálem a nastínil návrh dalšího postupu:
a.zmapovat, co se událo od termínu schválení usnesení vlády č. 351 ze dne 13. května 2015;
b.Metodiku hodnocení programů účelové podpory VaVaI formulovat jako samostatný a nezávislý dokument, ve finále tedy budou existovat 2 platné metodiky a 2 realizační týmy;
c.Komise by měla vznést dotaz na Sekci, jak bude personálně zajištěna příprava Metodiky hodnocení programů účelové podpory VaVaI.
Prof. Opatrný velice ocenil zpracovanou agendu, kterou vnímá jako určitý dluh KHV. Ta měla vypracovat metodiku hodnocení ukončených programů už dávno, bohužel se však kvůli naléhavějším úkolům a nedostatku kapacit k této problematice nikdy pořádně nedostala. Ocenil, že materiál byl zaslán k připomínkování i Radě vysokých škol, která vznesla řadu připomínek.
Prof. Dvořák doporučil vznik profesionálního týmu či organizace, která bude obě metodiky technicky zajišťovat. Tím bude zajištěno, že realizace nepoběží proti sobě a některé zdroje bude možné sdílet. Tento názor podpořila prof. Moravcová s tím, že tým realizující NERO by určitě zvládl i Metodiku hodnocení programů.
V závěru diskuse Komise schválila předložený dokument a doporučila jeho doplnění ve smyslu diskuse.
ad 6) Návrh výroční zprávy komise
Předseda stručně uvedl dokument popisující činnost Komise v roce 2015. V diskuzi členové Komise doporučili některé formální úpravy a zprávu jednomyslně schválili.
ad 7) Různé
Pod bodem různé Ing. Srholec tlumočil dotaz již nepřítomného prof. Jurajdy na problematiku certifikovaných metodik. Tajemník přislíbil do příštího jednání Komise získat informace.
Prof. Opatrný se dotázal, zda by bylo možné organizovat jednání Komise v prostorách MFF UK jako dříve. Jako přespolní musí kvůli možným zpožděním vlaků přijíždět s více jak hodinovým předstihem. Zatímco v prostorách MFF UK je k disposici jak bufet, tak připojení na wifi, což umožňuje volný čas plně využít k práci, v prostorách Ministerstva dopravy si připadá jako nezvaný host, kde ho nechají čekat hodinu na vrátnici bez jakéhokoliv zázemí.
Předseda v reakci na vystoupení prof. Opatrného nechal hlasovat o pravidelném místu jednání Komise. S jednou výjimkou se všichni přítomní členové Komise souhlasně vyjádřili pro MFF UK.
Ing. Vejražka požádal tajemníka, zda by Komise mohla do příštího jednání obdržet celkový přehled návrhu na udělení záporných bodů.
ad 8) Závěr
Předseda poděkoval všem přítomným za jejich aktivní účast na jednání.
Příští řádné 80. jednání komise se uskuteční dne 9. 11. 2015. Místo konání bude v předstihu členům oznámeno.
V Praze dne 22. 10. 2015
Zapsal: Ing. M. Matějka Schválil: prof. Ing. Jiří Málek, DrSc., v.r.
