Zápis z jednání Komise dne 13.2.2008

Jednání se konalo od 13 hodin v místnosti č. 209 Úřadu vlády ČR.
Jednání se účastnilo 10 z 12 členů. Z jednání se omluvil prof. Ludwig. Jednání se dále neúčastnil Ing. Marek. Komise byla usnášeníschopná.

Program jednání

1. Zahájení 
2. Informace o průběhu přípravy Reformy systému VaV v ČR 
3. Národní referenční rámec excelence (závěry z 230. zasedání Rady pro výzkum a vývoj) 
4. Pozitivní seznam neimpaktovaných vědeckých časopisů – zásady a postup přípravy 
5. Způsob hodnocení výsledků Jimp 
6. Parametry pro hodnocení výsledků druhu B, C a D 
7. Parametry pro hodnocení výsledků druhu P, S a Z 
8. Zásady pro přípravu Hodnocení výsledků výzkumu a vývoje v roce 2008 
9. Připomínková řízení k materiálům pro zasedání Rady pro výzkum a vývoj 
10. Informace o doručených návrzích na úpravy Metodiky hodnocení výsledků výzkumu a vývoje 
11. Různé 
12. Závěr
    

ad 1) Zahájení
Jednání zahájil a řídil předseda Komise, RNDr. Marek Blažka (dále jen „předseda“).
Předseda přednesl návrh programu, který byl členům Komise zaslán dne 8.2.2008. Nebyly vzneseny žádné požadavky na změnu či doplnění programu. Program byl schválen v navrženém znění.

ad 2) Informace o průběhu přípravy Reformy systému VaV v ČR
Předseda informoval o průběhu přípravy Reformy systému VaV v ČR. Návrh Reformy, jak byl schválen Radou pro výzkum a vývoj (dále jen „Rada“) na jejím 230. zasedání dne 8.2.2008, byl předložen do meziresortního připomínkového řízení místům, která se připomínkového řízení k materiálům pro jednání vlády účastní. Termín pro doručení připomínek je v souladu s Jednacím řádem vlády stanoven do 26.2.2008.
Předseda dále informoval, že souběžně byl do meziresortního připomínkového řízení zaslán materiál Souhrnné vyhodnocení výsledků programů výzkumu a vývoje ukončených v roce 2006, který rovněž Rada schválila na svém 230. zasedání dne 8.2.2008.
Komise dále diskutovala, jak se Reforma projeví z hlediska její působnosti. Jedná se zejména o dva hlavní důsledky, kdy se Reforma projeví při:
- přípravě návrhu výdajů státního rozpočtu na VaV na rok 2009 s výhledem na roky 2010 a 2011 – výše institucionální podpory (pro výzkumné organizace, které budou podle Reformy příjemci institucionální podpory) ve střednědobém výhledu pro rok 2010 a 2011 (za rok 2010 ve výši 1/3 institucionálních výdajů na výzkumné záměry, v roce 2011 ve výši 2/3 ) bude stanovena na základě výsledků Hodnocení VaV a jejich výsledků v roce 2007 (s tím, že do hodnocených výsledků nebudou zahrnovány výsledky druhu C a D) a za rok při přípravě návrhu výdajů státního rozpočtu na VaV na rok 2010 bude upřesněna podle Hodnocení VaV a jejich výsledků v roce 2008,
- přípravě Metodiky Hodnocení VaV a jejich výsledků v roce 2008 (viz bod 8), která nebude již hodnotit efektivnost (podíl výdajů a výsledku podle indexu SR), ale bude sloužit jako podklad pro rozdělování institucionálních výdajů na VaV.
V rámci diskuse bylo předsedou rovněž uvedeno, že Metodika hodnocení výsledků VaV v roce 2008 bude platit minimálně po tzv. přechodné období, jak je toto období definováno v návrhu Reformy systému VaV v ČR, tedy do roku 2011 včetně. Tím budou vyslyšeny kritické poznámky k faktu, že bodová ohodnocení jednotlivých druhů výsledků se každým rokem mění.

ad 3) Národní referenční rámec excelence
K uvedenému bodu byl členům Komise zaslán materiál [5-1].
Předseda informoval o závěrech jednání Rady dne 8.2.208, kdy byl schválen seznam oborů pro Národní referenční rámec excelence ve znění, které vypracovala a projednala Komise na svém jednání dne 16.1. (viz materiál [4-1/B]).

ad 4) Pozitivní seznam neimpaktovaných vědeckých časopisů – zásady a postup přípravy
K uvedenému bodu byl členům Komise zaslán materiál [5-2] a [5-3].
Předseda informoval o tom, že Rada na svém 230. zasedání dne 8.2.2008 schválila Postup přípravy seznamu recenzovaných neimpaktovaných periodik vydávaných v České republice. Současně schválila i harmonogram přípravy, formu dotazníku a kritéria pro tvorbu seznamu.
Aplikace pro sběr údajů o časopisech bude ve formě volně přístupné webové aplikace, které bude uvedena do provozu (po testování) k 1.3.2008, současně bude poskytovatelům podpor zaslán dopis s žádostí o spolupráci a bude zveřejněna výzva prostřednictvím www.vyzkum.cz. Sběr údajů bude ukončen 31.3.2008. Následně bude provedena kontrola předaných údajů a splnění požadovaných kritérií, jak je uvedeno v materiálu [5-3].
Členům Komise bude aplikace zpřístupněna od 22.2.2008 tak, aby ji mohli otestovat a případné nedostatky bylo možné odstranit..

ad 5) Způsob hodnocení výsledků Jimp 
V návaznosti na jednání Komise dne 2.1.2008 byla k tomuto tématu zahájena e-mailová diskuse, jejímž moderátorem byl prof. Zrzavý. Závěry diskuse byly členům Komise zaslány jako materiál [5-4].
V rámci diskuse se Komise shodla, že pro hodnocení výsledků druhu Jimp bude použita metoda tzv. konvexní funkce podle pořadí IF v rámci oboru, všechny obory budou mít stejnou konvexní distribuci faktoru.
Podrobné parametry vypracuje prof. Gaš, který materiál předloží sekretariátu Rady tak, aby mohl být materiál předložen na jednání Komise dne 19.3.2008 (materiál bude sekretariátu předložen do 12.3.2008).
Doc. Ráb navrhnul, aby se počítání bodů k tomuto druhu výsledku neměnilo s odůvodněním, že bude k dispozici delší časová řada tohoto druhu výsledku a posouzení výkonnosti bude objektivnější. Předseda Komise uvedl, že pokud by cílem byla jedině zpětná přepočitatelnost výsledků, není problém (s dostatečným časovou reservou) toto zajistit. Ostatní členové komise se shodli, že tento argument nemůže být důvodem pro konzervování současného stavu (viz mailová diskuse), který znevýhodňuje některé obory.

Závěr: Komise
- schvaluje metodu konvexní funkce podle pořadí IF v rámci oboru, všechny obory budou mít stejnou konvexní distribuci faktoru jako metodu pro stanovení hodnoty výsledků druhu Jimp, jak je uvedeno v materiálu [5-4/B],
- ukládá prof. Gašovi, aby do 12.3.2008 zaslal sekretariátu popis metody, včetně parametrů pro výpočet, tak, aby mohl být materiál projednán a schválen Komisí na jejím jednání dne 19.3.2008,

ad 6) Parametry pro hodnocení druhů výsledků B, C a D
V návaznosti na jednání Komise dne 2.1.2008 byla k tomuto tématu zahájena e-mailová diskuse, jejímž moderátorem byl prof. Zrzavý. Závěry diskuse byly členům Komise zaslány jako materiál [5-5].
K návrhu předseda uvedl, že pro hodnocení, které bude vycházet z RIV, je možné použít pouze taková kritéria, která jsou v RIV obsažena. Pokud ale se do RIV zavedou nové údaje, musejí vycházet z možnosti ověřitelnosti.
Z diskuse vyplynul námět na vytvoření definice druhu výsledků Jneimp.
Pro příští jednání Komise, které se bude konat dne 19.3.2008, zašle doc. Ráb podklady pro stanovení minimálního počtu výtisků pro uznání výsledku jako výsledek druhu B a informace o databázi monografií, a to v termínu do 12.3.2008 (tedy tak, aby bylo možno podklady připravit pro jednání Komise).

Závěr: Komise
- schvaluje definice výsledků B, C a D podle poznámek sekretariátu RVV s tím, že údaj o minimálním počtu výtisků bude upřesněn na jednání Komise dne 19.3.2008 podle informací dodaných doc. Rábem (výsledný upravený materiál bude dále označován jako [5-5/B]),
- ukládá doc. Rábovi pro příští jednání Komise dne 19.3.2008 předložit:
o informace (podklady) pro stanovení minimálního počtu výtisků pro uznání výsledku jako druh B,
o informace o databázi monografií, která by byla využívána při kontrole správnosti zařazení monografií jako výsledků druhu B do RIV.

ad 7) Parametry pro hodnocení druhů výsledků P, S a Z
Na základě schůzky k této problematice dne 4.1.2008 byl sekretariátem Rady zpracován a členům Komise zaslán materiál [5-6], který vychází ze závěru uvedeného jednání.
Z diskuse vyplynulo, že:
- u výsledku druhu Z bude cena za realizaci výsledku zatím pouze sledována (tj. nebude zatím sloužit k výpočtu váhy výsledku),
- kromě uvedených změn ve struktuře výsledků druhu S bude dále vyčleněna kategorie Software,
- u výsledků označených jako „poskytovatelem realizované výsledky“ bude upřesněno, že takovým výsledkem je i postup vydaný poskytovatelem jako závazný pro určitou skupinu osob či institucí vyplývající z kompetence příslušného poskytovatele s uvedením příkladů,
- u výsledků označených jako „certifikované metodiky“ bude uvedeno, že se bude jednat o mezinárodně uznávané certifikace (akreditace).

Závěr: Komise schvaluje postup uvedený v materiálu [5-6] podle připomínek z diskuse (výsledný upravený materiál bude dále označován jako [5-6/B]).

ad 8) Zásady pro přípravu Hodnocení výsledků výzkumu a vývoje v roce 2008
Jako pracovní podklad byl zaslán materiál [5-7].
Na příští jednání Komise dne 19.3.2008 bude materiál upraven tak, aby byly zohledněny principy Reformy systému VaV v ČR, jak byl návrh Reformy schválen Radou pro výzkum a vývoj dne 8.2.2008.
Nový systém hodnocení bude založen na hodnocení všech výsledků VaV uplatněných ve sledovaném 5-letém období a to ze všech zdrojů financování, tedy v případě Hodnocení 2008 se bude jednat o výsledky s rokem uplatnění 2003 – 2007. Výsledky takového hodnocení budou výhradně sloužit pro stanovení výše institucionální podpory.
Komise se dále dohodla na zahájení e-mailové diskuse k řešení otázek spoluautorství (jeden výsledek má více autorů z různých institucí) a vztahu k hodnocení. Moderátorem e-mailové diskuse je prof. Gaš, v souladu s Principy pro vedení a moderování e-mailových diskusí a zpracování jejich závěrů bude diskuse ukončena 10.3.2008, závěry pak moderátor zpracuje a tajemníkovi Komise zašle do 12.3.2008.

Závěr: Komise
- ukládá předsedovi zpracovat pro jednání Komise dne 19.3.2008 předložit návrh 1. verze Metodiky hodnocení výsledků výzkumu a vývoje v roce 2008 včetně návrhu bodového ohodnocení jednotlivých druhů výsledků (přičemž příspěvky ve sbornících budou mít bodovou hodnotu nula), ve které budou zohledněny principy podle návrhu Reformy systému VaV v ČR, a zaslat členům Komise do 12.3.2008,
- ukládá prof. Gašovi vést e-mailovou diskusi na téma „spoluautorství u výsledků a jejich hodnocení“ a závěry zpracovat a tajemníkovi Komise zaslat v souladu s Principy pro vedení a moderování e-mailových diskusí a zpracování jejich závěrů, tj. do 12.3.2008.

ad 9) Připomínková řízení k materiálům pro zasedání Rady pro výzkum a vývoj
K uvedenému bodu byl členům Komise zaslán materiál [5-8].
Závěr: Komise schvaluje zásady pro zpracování připomínek k materiálům pro jednání Rady, jak jsou uvedeny v materiálu [5-8].

ad 10) Informace o doručených návrzích na úpravy Metodiky hodnocení výsledků výzkumu a vývoje
K uvedenému bodu byl členům Komise zaslán materiál [5-9].
Rada pro výzkum a vývoj svým usnesení ze zasedání dne 9. listopadu 2007 (usnesení k bodu 227/B7) vyzvala AV ČR, další poskytovatele a zainteresované orgány a instituce, aby své konkrétní návrhy na úpravy Metodiky hodnocení VaV na rok 2008 předložili do 31. ledna 2008. Byly doručeny tyto návrhy: návrh Akademie věd ČR, návrh kolegia děkanů filosofických fakult ČR, návrh Ministerstva kultury, výtky prorektorky Masarykovy univerzity a pracovišť v oborech informatiky.
Předseda zejména upozornil na dopis, který Radě zaslala prorektorka Masarykovy univerzity, Jany Musilové, které připojila vyjádření pracovišť v oborech informatiky, a která dále ve svém dopise uvádí: „Dosavadní oficiální verze ,,Metodiky hodnoceni výzkumu a vývoje a jejich výsledků (2005, 2006, 2007)" nemohou po odborné stránce obstát: Neumožňují činit použitelné závěry o efektivitě výzkumu institucí, neboť žádná z nich není založena na kvalifikované analýze oborových specifik (k jejímuž provedení je přece v dnešní době již dostatečný soubor dat), o chybějící profesionalitě matematického zpracování číselných údajů nemluvě. Důsledky těchto skutečností lze snadno odvodit.“
Předseda uvedl, že takové vyjádření není podloženo žádnými fakty, a z pohledu obsahového i z pohledu dikce autora není možné dopis považovat za příspěvek použitelný při přípravě Metodiky hodnocení výsledků VaV. Dále předseda uvedl fakt, že např. na přípravě Metodiky hodnocení v roce 2007 se podílela řada odborníků z řad vysokých škol, včetně rektora Masarykovy univerzity, prof. Fialy. Jediná věcná připomínka je obsažena v příloze dopisu a jde o oborová specifika informatiky.
Z diskuse vyplynulo, že oborová specifika (tedy ani informatiku či matematiku) nelze řešit individuálně, ale v obecné rovině, zejména z pohledu znatelnosti výsledků druhu D (příspěvky ve sbornících z konferencí) jako mezinárodně uznávaného výsledku výzkumu a vývoje.
Pro příští jednání Komise dne 19.3.2008 prof. Gaš zpracuje analýzu podle údajů WoS s využitím údajů o významně hodnocených konferencích (jedná se o součást WoS).

Závěr: Komise ukládá prof. Gašovi pro příští jednání Komise dne 19.3.2008 zpracovat oborové analýzy podle WoS.

ad 11) Různé
Negativní seznam časopisů pro Hodnocení 2007 – na základě různých vyjádření redakcí k tomuto negativnímu seznamu lze konstatovat, že převážná část těchto vyjádření jsou výhrady proti zařazení některých časopisů na tento negativní seznam; jsou ale i případy, kdy naopak redakce požadují zařazení časopisu na tento seznam.

ad 12) Závěr
Souhrn úkolů, vyplývajících z jednání:
- k bodu 5 – Komise
     o ukládá prof. Gašovi, aby do 12.3.2008 zaslal sekretariátu popis metody, včetně parametrů pro výpočet, tak, aby mohl být materiál projednání a schválen Komisí na jejím jednání dne 19.3.2008,
- k bodu 6 – Komise ukládá doc. Rábovi pro příští jednání Komise dne 19.3.2008 předložit:
     o informace (podklady) pro stanovení minimálního počtu výtisků pro uznání výsledku jako druh B,
     o informace o databázi monografií, která by byla využívána při kontrole správnosti zařazení výsledků druhu B do RIV,
- k bodu 8 – Komise
     o ukládá předsedovi zpracovat pro jednání Komise dne 19.3.2008 předložit návrh 1. verze Metodiky hodnocení výsledků výzkumu a vývoje v roce 2008 včetně návrhu bodového ohodnocení jednotlivých druhů výsledků (přičemž příspěvky ve sbornících budou mít bodovou hodnotu nula), ve které budou zohledněny principy podle návrhu Reformy systému VaV v ČR, a zaslat členům Komise do 12.3.2008,
     o ukládá prof. Gašovi vést e-mailovou diskusi na téma „spoluautorství u výsledků a jejich hodnocení“ a závěry zpracovat a tajemníkovi Komise zaslat v souladu s Principy pro vedení a moderování e-mailových diskusí a zpracování jejich závěrů, tj. do 12.3.2008,
- k bodu 10 – Komise ukládá prof. Gašovi pro příští jednání Komise dne 19.3.2008 zpracovat oborové analýzy podle WoS.

Na jednání Komise dne 19.3.2008 bude projednáváno:
- upřesnění definice pro výsledky druhu Jneimp,
- Metodika hodnocení výsledků výzkumu a vývoje a jejich výsledků v roce 2008 (první pracovní neúplná verze),
- návrh bodového ohodnocení výsledků pro Metodiku hodnocení výsledků VaV v roce 2008 (první pracovní verze),


Zapsal: Ing. Matějka, Dr.Ing. Sychra
V Praze dne 14.2.2008
Schválil: RNDr. Marek Blažka v.r.