Zápis z 90. jednání KHV

 Zápis z 90. jednání KHV konaného dne 7. 11. 2016 od 14:00 hod. v zasedací místnosti č. 1 ve 2. patře budovy NHÚ (CERGE-EI), Politických vězňů 7, Praha 1

Jednání se zúčastnili: prof. Ing. Jitka Moravcová, CSc. (předsedkyně), prof. Ing. Petr Dvořák, CSc., RNDr. Miloslav Frýzek, prof. PhDr. Pavel Janoušek, CSc., prof. Ing. Štěpán Jurajda, Ph.D., doc. Ing. Jaroslav Machan, CSc., prof. RNDr. Tomáš Opatrný, Dr., prof. Ing. Josef Psutka, CSc., Ing. Martin Srholec, Ph.D., prof. MUDr. Josef Syka DrSc., Ing. Karel Vejražka, Ph.D., prof. RNDr. Eva Zažímalová, CSc., Ing. Jan Marek, CSc. (host) a Ing. Martin Matějka (tajemník Komise).

Omluveni: prof. RNDr. Zdeněk Němeček, DrSc. (místopředseda), prof. Ing. Michal Hocek. CSc.

Komise byla usnášeníschopná.

Pro jednání Komise byl předem navržen program, podklady pro jednání Komise byly rozeslány via e-mail dne 4. a 7. 11. 2016.

Projednávané body:

  1. Zahájení, schválení návrhu programu, kontrola úkolů[90-1 - předsedkyně]
  2. Informace z pracovního zasedání Rady dne 14. 10. 2016 a z 319. řádného zasedání Rady dne 27. 10. 2016[ústní informace - předsedkyně] [90-2 výňatek z usnesení 319 RVVI]
  3. Termíny jednání Komise v roce 2017 [90-3 - tajemník]
  4. Rámcový plán práce Komise na rok 2017 [90-4 - předsedkyně]
  5. Realizace Metodiky 2013 [předsedkyně]
    1. info k průběhu výpočtu Hodnocení 2015 a 2016[ústní informace – Ing. Marek]
    2. výsledky Pilíře II - Hodnocení 2015 [90-5b]
    3. změny v OVHP a EP ve vztahu k hodnocení 2016 [90-5c]
  6. Postup přípravy Metodiky 2017+[předsedkyně]

    Předsedkyně seznámí členy s aktuálními výsledky práce pracovní skupiny k M17+.

    1. Metodika 2017+ (verze projednávaná na pracovním jednání Rady dne 14. 10. 2016) [90-6a]
    2. vypořádání připomínek členů Rady k Metodice 2017+ (verze z pracovního jednání Rady dne 14. 10. 2016)[90-6b]
    3. Metodika 2017+ (verze projednávaná na 319. RVVI)[90-6c]
    4. vypořádání připomínek členů Rady k Metodice 2017+ (verze projednávaná na 319. RVVI)[90-6d]
    5. vypořádání připomínek členů Komise k Metodice 2017+ (verzi projednávané na 88. KHV)[90-6e]
  7. Zprava o činnosti KHV v roce 2016 (definitivní verze)[90-7 - předsedkyně]
  8. Aktuální stav v přípravě hodnocení programů a skupin grantových projektů VaVaI[ústní informace – Dr. Srholec]
  9. Různé
  10. Závěr

 

ad 1)   Zahájení, schválení programu, kontrola úkolů

Jednání zahájil tajemník Komise a omluvil předsedkyni, která z pracovních důvodů dorazí s malým zpožděním. Tajemník seznámil členy Komise s návrhem programu jednání, který byl následně členy Komise odsouhlasen. Tajemník konstatoval, že Komise je usnášeníschopná.

Dále tajemník provedl kontrolu úkolů z minulého jednání Komise. Konstatoval, že stále není splněn úkol Sekce VVI týkající se uzavření dohod s externími členy pracovní skupiny pro přípravu hodnocení programů a skupin grantových projektů VaVaI.

Dalším průběžným úkolem je příprava Metodiky 2017+, tajemník konstatoval, že úkol je plněn průběžně a že mu je věnován samostatný bod jednání.

Nesplněným úkolem je slib náměstka Markse odpovědět písemně na 2 otázky prof. Opatrnému (viz zápis z 88. jednání Komise).

Ostatní úkoly z minulého jednání Komise byly splněny.

Závěr:       Členové Komise vzali informaci na vědomí.

 

ad 2) Informace z pracovního zasedání Rady dne 14. 10. 2016 a z 319. řádného zasedání Rady dne 27. 10. 2016

Informaci o průběhu pracovního zasedání Rady dne 14. 10. 2016 a o průběhu 319. řádného zasedání Rady dne 27. 10. 2016 podal prof. Dvořák. Uvedl, že Rada pod bodem 319/A3 vzala na vědomí materiál Metodika 17+ včetně připomínek členů Rady z jednání konaného dne 27. října 2016 a dále, že ustavila pracovní skupinu ve složení prof. Ing. Jitka Moravcová, CSc., doc. RNDr. Jan Konvalinka, CSc., PhDr. Pavel Baran, CSc., prof. Ing. Štěpán Jurajda, Ph.D., doc. Ing. Jaroslav Machan, CSc. Tato pracovní skupina, která též zahrnuje pracovníky Sekce VaVaI, má za úkol zapracovat připomínky Komise a Rady k Metodice 2017+ s termínem do 4. listopadu 2016.

Dále uvedl, že Rada uložila této pracovní skupině, aby souslednost a technické provedení modulů 1 a 2 projednala zejména s reprezentacemi vysokých škol, kdy důraz bude kladen na sjednocení systému ve všech segmentech hodnocení.

Rada též schválila pro jednotlivé poskytovatele na roky 2017, 2018 a 2019 fixaci prostředků dlouhodobého koncepčního rozvoje výzkumných organizací ve výši zákonem schváleného rozpočtu VaVaI pro rok 2016. Dále Rada schválila princip využití Metodiky 17+ (po jejím schválení) pro přerozdělení nárůstu prostředků dlouhodobého koncepčního rozvoje výzkumných organizací. Výchozí stav je rok 2016, postup dle tabulky 1 kapitoly 1.1.2 materiálu Metodika 17+. Rada uložila Sekci VaVaI dále jednat ve věci specifikace standardů pro provádění hodnocení v modulech 2 až 5 v souladu se specifiky a potřebami příslušných segmentů,

Na závěr k tomuto tématu prof. Dvořák zmínil, že Rada požádala svého předsedu o projednání materiálu Metodika 2017+ s reprezentacemi vysokých škol a dále mu uložila předložit materiál na mimořádné zasedání Rady dne 8. listopadu 2016.

K dalším bodům jednání Rady prof. Dvořák uvedl, že Rada schválila vytvoření nového poradního orgánu pro oblast společenských a humanitních věd, bez rozpravy schválila zprávu o činnosti Rady za rok 2016 a zprávy o činnosti poradních orgánů Rady za rok 2016, schválila uspořádání setkání sekretariátů zahraničních Rad pro VaVaI ve dnech 4. - 5. května 2017 v Praze, a že schválila konání výjezdního zasedání Rady ve dnech 10 – 11. listopadu 2016.

Na závěr tohoto bodu prof. Dvořák sdělil členům Komise, že informace o aktuálním stavu IS VaVaI a průběhu Hodnocení 2015 a Hodnocení 2016 jsou samostatné body jednání.

Závěr:       Členové Komise vzali informaci na vědomí.

 

ad 3) Termíny jednání Komise v roce 2017

Tajemník uvedl, že v souladu s Článkem 5 platného Statutu Komise je nutné stanovit termíny jednání pro rok 2017 a navrhnul členům Komise, aby na základě dosavadní praxe se Komise scházela vždy druhé pondělí po zasedání Rady.

Začátek jednání bude stanoven vždy na 14,00 hodin a za přednostně navrhované místo jednání po krátké diskuzi Komise přijala nabídku zasedací místnosti v budově NHÚ (CERGE-EI), Politických vězňů 7, Praha 1.

Závěr:       Členové Komise schválili termíny a přednostně navrhované místo jednání v roce 2017.

 

ad 4) Rámcový plán práce Komise na rok 2017

K tomuto bodu tajemník uvedl, že v souladu s článkem 2, bod 3 Statutu zpracovává Komise rámcový roční plán své činnosti a předkládá jej Radě ke schválení. K předloženému návrhu neměl žádný člen Komise připomínky.

Závěr:       Členové Komise schválili rámcový plán práce Komise na rok 2017.

 

ad 5) Realizace Metodiky 2015

ad 5a) Info k průběhu výpočtu Hodnocení 2015 a 2016

Informaci podal Ing. Marek, ředitel odboru. Uvedl, že pro výpočet Hodnocení 2015 jsou k dispozici všechny potřebné podklady a že probíhá úprava vstupních údajů, která je podmínkou úspěšného provedení výpočtu. Členům Komise sdělil, že na tuto práci byl přijat externí zaměstnanec. Dále sdělil, že výpočetní tým připravuje SW pro Hodnocení 2014 a že tyto algoritmy budou použity i pro výpočet Hodnocení 2015. Uvedl, že jediným problémem je čas, který je k disposici.

K přípravě Hodnocení 2016 Ing. Marek uvedl, že je připravena aplikace SKV (Sběr kvalitních výsledků) pro sběr dat do Pilíře II. Sběr údajů pro Pilíř II začne v listopadu 2016 a potrvá nejméně 5 až 6 týdnů. Hodnocení expertními panely začne s počátkem roku 2017 a potrvá nejméně 2 měsíce.

V  diskusi členové Komise nabídli Sekci pro VaVaI svoji aktivní pomoc při kontrole správnosti výpočtu Hodnocení 2015 s tím, že by se chtěli podívat na dílčí výsledky ještě před jejich oficiálním rozesláním do meziresortního připomínkového řízení.

Závěr:       Členové Komise nabídli Sekci pro VaVaI svoji aktivní pomoc při kontrole správnosti výpočtu Hodnocení 2015.

 

ad 5b) výsledky Pilíře II - Hodnocení 2015

Tajemník stručně uvedl výsledky v pořadí druhého hodnocení kvality vybraných výsledků, (první hodnocení proběhlo v roce 2014) a upozornil na některé zjištěné nedostatky. Za závažné označil především chybějící odůvodnění panelů u 26 výsledků hodnocených jako „A“. Dále upozornil na nekonzistenci sebraných údajů, kdy např. v případě 4 výsledků nesouhlasí předložený rozpis podílů jednotlivých českých institucí.

V diskusi se členové Komise shodli, že tyto nedostatky musí být před zahájením vlastního výpočtu vyřešeny a v případě potřeby i za pomoci předsedů konkrétních panelů. V některých případech naopak samotná Metodika 2013 popisuje korekční mechanismus opravy chyby a v těchto případech potom stačí postupovat dle dikce Metodiky.

Závěr:       Členové Komise vzali informaci na vědomí.

 

ad 5c) změny v OVHP a EP ve vztahu k hodnocení 2016

K obměně panelů potřebných pro provedení Hodnocení 2016 Ing. Marek uvedl, že největší změny jsou v panelu EP6 Biologie, kde Rada čeká na návrhy Komise tak, aby je mohla projednat na svém prosincovém zasedání.

V návazné diskusi členové Komise doporučili Sekci pro VaVaI, aby oslovila ty instituce, jejichž původně nominovaní členové panelů odstoupili a aby tyto instituce byly vyzvány k zaslání nominací nových.

Zároveň se členové Komise shodli na dále uvedeném postupu. Nejprve zpravodajové příslušných panelů doporučí konkrétní náhradníky a tajemník z došlých návrhů sestaví a rozešle konečnou podobu návrhu. Následně bude Komise o tomto celém návrhu hlasovat per rollam. Termín pro zasílání návrhů od zpravodajů byl stanoven do pondělí 14. 11. 2016 (do rána). Odpoledne 14. 11. 2016 bude vyhlášeno hlasování per rollam.

Závěr:       Členové Komise odsouhlasili navržený postup doplnění OVHP a EP.

 

ad 6)         Postup přípravy Metodiky 2017+

K tomuto bodu měli členové Komise k dispozici 2 verze materiálu Metodika 17+ včetně uplatněných připomínek. Jednu verzi projednávala Rada na svém pracovním jednání dne 14. 10. 2016, druhou verzi projednávala Rada na svém 319. zasedání dne 27. 10. 2016. Dále měli členové Komise k tomuto bodu k disposici souhrn svých připomínek (viz verze Metodiky 2017+ projednávané na 88. jednání Komise), které nebyly ze strany Sekce pro VaVaI dosud vypořádány.

Předsedkyně na úvod představila složení nově ustanovené pracovní komise pro Metodiku 2017+ a formou presentace seznámila členy Komise s posledním stavem Metodiky 2017+. Zůstává 5 modulů hodnocení a 3 druhy VO, rozdělovat dle Metodiky 2017+ se bude pouze nárůst RVO a hodnocení by mělo být každoroční.

Rok 2017 bude pouze informační (bez škálování) a postupný náběh modulů bude až do roku 2019. Prvé 2 roky se bude pracovat pouze s „národními“ panely, kde se zúročí zkušenosti z práce OVHP a EP. Teprve následně (od roku 2019) se přejde plně na peer review a celé hodnocení bude silně mezinárodní. Peer review bude ve všech SHV oborech a dále v aplikačních i přírodovědných oborech.

Od roku 2018 začnou do systému přibývat další indikátory (např. samohodnotící zpráva) a teprve jejich výsledkem bude škálování VO (A, B ,C a D). Do té doby se budou škálovat jen jednotlivé výsledky, nikoliv celé VO. V roce 2020 by měla Metodika 2017+ být nasazena v plné šíři (samozřejmě však záleží na aktuální podobě zákona).

Následně předsedkyně otevřela diskusi.

Doc. Machan sdělil, že pro poskytovatele podpory aplikovaného VaVaI je stávající návrh Metodiky 2017+ akceptovatelný.

RNDr. Frýzek upozornil, že na MŠMT nedošlo k žádnému nárůstu pracovních pozic v oblasti VaVaI a proto bude obtížné zajistit, aby MŠMT na sebe převzalo část výkonů týkající se provedení vlastního hodnocení dle Metodiky 2017+.

Prof. Opatrný si stále není jistý, podle čeho se budu počítat rozpočty VO v letech 2017 a 2018: tj jak budou postupovat ti poskytovatelé, kteří nemají "podrobnější hodnocení" dle §7 odst. 7. Připomněl, že dle zákona 130/2002 Sb. by měli v roce 2017 stanovit rozpočet svých VO dle výsledků Hodnocení 2015 a následně v roce 2018 dle výsledků Hodnocení 2016.

Prof. Jurajda vyzdvihl důležitost RIV, neboť bibliografické informace budou stále jedním z důležitých vstupů pro práci hodnotícího panelu. Jisté potíže však spatřuje u velkých oborů (typicky fyzika), kde 1 odborník panelu těžko může obsáhnout celý obor. Připomněl, že v obdobném hodnocení, které proběhlo na AV ČR, u takovýchto oborů bylo běžné angažovat až 12 zahraničních členů panelu.

Prof. Dvořák konstatoval, že Pilíř II sehrál v prostředí VaVaI velmi pozitivní roli. Metodika 2017+ předpokládá modul, připomínající pilíř II, až v roce 2019, tedy dojde ke dvouletému přerušení započatého pozitivního směru. Toto nepovažuje za dobré. Dále uvedl, že 2 roky, které se mají bibliometrií posuzovat (2017, 2018) neumožní kvalitnější a obhajitelné rozhodnutí o zařazení VO do kvalitativních stupňů. Pro tyto účely by bylo vhodnější použít moduly 1 a 2 tak, jak je to plánováno pro rok 2019.

To, že Metodika 2017+ v prvních dvou letech implementace neuvažuje o škálování VO, je sice realistické, ale připomněl, že to byl hlavní argument pro odklon od „kafemlejnku“ Metodiky 2013 .

Na závěr prof. Dvořák uvedl, že Modul 2 (výkonnost, bibliometrický profil) není vhodný pro každoroční monitorování stavu českého výzkumu, neboť bibliometrie se musí dělat za delší časové období. Každoroční bibliometrie nepostihne na velkých číslech subtilní změny a budou se tak analyzovat z velké části překrývající se výstupy.

K otázce práce hodnotících panelů se členové Komise shodli na principu, kdy pro badatelský i aplikovaný VaV budou pouze jedny oborové panely. V nich však kromě odborníků na badatelský výzkum budou výrazně zastoupeni i odborníci na aplikovaný VaVaI, odborníci z praxe a zejména uživatelé takového VaVaI. K hodnocení se tak budou do panelů předávat 2 kategorie výsledků (badatelské i aplikační), při vlastním hodnocení si však tyto kategorie nebudou konkurovat. Komise doporučuje Sekci pro VaVaI využít některé modely osvědčené ve státní správě, např. systém poradců na MZe, a dále, aby se Sekce pro VaVaI obrátila na jednotlivé rezorty se žádostí o dodání expertů na aplikovaný VaVaI.

Závěr:       Členové Komise jednohlasně doporučují Radě dále uvedené úpravy textu Metodiky 2017+:

  • Hodnocení excelentních výsledků aplikovat už v roce 2018 čímž tím dojde k akceptovatelnému přerušení procesu zohledňování kvality pouze na jeden rok.
  • První rok bibliometrického a verifikačního hodnocení využít pouze jako iniciační a informační (tedy žádné klastrování), rok 2018 zahrnující redukované moduly 1 a 2 použít pro úplné klastrování a rok 2019 s plnými moduly 1 a 2 využít pro případné korekce zařazení do klastrů.
  • Bibliometrii a verifikaci jako každoroční prvek hodnocení v mezidobí mezi dvěma hodnoceními neprovádět. Pro mezidobí ponechat možnost využití hodnocení excelentních výsledků, ale tuto otázku nechat otevřenou až do doby po proběhnutí prvního kompletního hodnocení.
  • Korektní hodnocení aplikovaných výsledků zajistit zahrnutím zástupců uživatelů výsledků aplikovaného výzkumu do panelů posuzujících excelentní výsledky. Výsledky badatelského i aplikovaného výzkumu posuzovat v rámci jednoho panelu, ale odděleně. Tento princip uplatnit již v roce 2018.

Pro potřeby další prezentace záměru Metodiky 2017+ Komise velmi doporučuje Sekci pro VaVaI vypracovat tzv. executive summary (cca 5 stran textu, ne více) a zásadní realizační schémata včetně harmonogramu.

Členové Komise pověřují své kolegy, členy Rady, aby na pracovním jednání Rady dne 8. 11. 2016 tlumočili uvedené připomínky Komise Radě.

 

ad 7)   Zpráva o činnosti KHV v roce 2016

Tajemník upozornil členy Komise na definitivní podobu zprávy o činnosti KHV za rok 2016, kterou v této podobě odsouhlasila Rada. Zpráva bude spolu s dalšími dokumenty Rady předložena na jednání vlády ČR.

Závěr:       Členové Komise vzali informaci na vědomí.

 

ad 8)   Aktuální stav v přípravě hodnocení programů a skupin grantových projektů VaVaI

V tomto bodě stále nedošlo k žádnému posunu. Komise v daném časovém prostoru nemůže splnit úkol uložený jí Radou.

Zůstává tak v platnosti upozornění členů Komise, že od 1. 1. 2017, tj. po ukončení platnosti Metodiky 2013, přestane platit i metodika pro hodnocení programů a skupin grantových projektů VaVaI, která je její součástí, a Rada tak nebude plnit úkol daný jí zákonem 130/2002 Sb.

Závěr:       Žádost členů Komise z 88. jednání Komise, aby předsedkyně tlumočila nám. Sekce VVI stanovisko Komise, zůstává v platnosti.

 

ad 9) Různé

Dr. Srholec informoval o dvou seminářích pořádaných na CERGE „Predátorské časopisy ve Scopusu“ a „Motivační účinky podpory VaV ve firmách“, příslušné pozvánky mají členové Komise v podkladech.

Žádný další příspěvek pod bodem různé nebyl přednesen.

 

ad 10) Závěr

Předsedkyně poděkovala všem přítomným za jejich aktivní účast na velmi pracovním jednání.

 

Příští řádné 91. jednání Komise se uskuteční dne 5. 12. 2016. od 14.00 hod. v zasedací místnosti děkana Matematicko-fyzikální fakulty Univerzity Karlovy v Praze, Ke Karlovu 3, Praha 2.

 

V Praze dne 22. 11. 2016

 

Zapsal: Ing. M. Matějka                                      Schválila: prof. Ing. Jitka Moravcová, CSc., v.r.

 

 

Sdílejte na: