1. Proč je v bibliometrické analýze použit ukazatel AIS?
Ukazatel Article Influence Score (AIS) je obdobným ukazatelem jakým je Impact Factor (IF). Na rozdíl od klasického IF nezapočítává autocitace časopisu a navíc zohledňuje potenciální vlivnost citací - citace pocházející z prestižnějších časopisů mají větší váhu a naopak. AIS je navíc odolnější vůči neférovým praktikám („citační bratrstva“). Přes tyto rozdíly je mezi AIS a IF pozitivní korelace. Dalo by se říci, že AIS je impact factorem pro jednadvacáté století.
2. Proč nejsou použity Web of Science Categories?
Pro robustní měření založená na profilování časopisů do pásem pomocí AIS (nebo IF), je členění podle WoS Categories problematické.
- Rozčleněním do WoS Categories dochází u oborů a zejména mnoha institucí k významnému poklesu počtu článků na úroveň, kdy analýza postrádá smysl.
- Objem časopisů pro jednotlivé WoS Categories je v řadě případů příliš malý na to, aby stanovená kvartilová pásma odrážela skutečné rozdíly v kvalitě časopisů. To je možné až po seskupení do větších celků (např. FORD). Obory jako logika, nukleární fyzika, kybernetika a další obsahují kolem 20 časopisů a u řady oborů je toto číslo ještě nižší. Kvalitativní rozdíly mezi časopisy v takto malých oborech jsou pak v sousedících kvartilech virtuální, matematicky vytvořené, avšak nikoliv věcné.
- Analýza dává smysl pro několikaletá kumulativní data, problematické jsou ale pak jejich interpretace a komentování na požadované celorepublikové resp. institucionální úrovni (jedná se o cca 250 analýz).
3. Proč je můj článek hodnocen také v oboru, ve kterém nepůsobím? Nemohly by se přebírat oborové afiliace určené v RIVu přímo autorem/autorkami?
Analýzy dle AIS vycházejí z oborové afiliace časopisu, citační analýzy využívají oborovou příslušnost indikovanou pro daný článek v databázi InCites, která vždy zahrnuje oborovou příslušnost časopisu a navíc přiřazuje k některým článkům další specifikované obory. Oborová afiliace se zakládá na dlouholetém mapování citačních sítí v kombinaci s expertním posouzením, není tedy arbitrární. Jinými slovy, citační databáze nejsou založené na subjektivním zařazení textů do příslušných oborů.
Druhým argumentem pro odmítnutí individualizovaného posouzení oborové příslušnosti textů je ztráta mezinárodního benchmarku – podobným způsobem upravená data pochopitelně nelze ze zahraničí získat.
Zatřetí je třeba také vzít v potaz spekulace, které by možnost volit oborovost článků vyvolala. Tato skutečnost byla prakticky potvrzena v hodnoceních podle předchozích metodik.
4. Domníváme se, že naše výzkumná organizace je hodnocena v oborech, do kterých nepatří, co s tím?
Viz též předchozí otázka. Bibliometrie mapuje oborový publikační vliv. Pokud daná instituce nevidí svojí hlavní působnost v oborech, ve kterých byla vyhodnocena, neznamená to, že v těchto oborech její vliv neexistuje – fakticky jsou bibliometrické metriky těmito přesahy také ovlivněny. Proto by informace o působnosti v ostatních oborech neměla být v datech a priori potlačena. Řešením je intepretace podkladů M2 konvergující k pozornosti právě na ty obory, které daná instituce považuje v souladu s poskytovatelem za klíčová pole své působnosti.
5. Máme přestat publikovat v českých časopisech, které obvykle nemají vysoké citační ukazatele?
Národní odborné časopisy registrované ve Web of Science mají svůj nepopiratelný smysl a současné hodnocení nezpochybňuje jejich přínos. Poskytuje však data, která mohou nastolit otázku přiměřenosti publikačních praktik.
Národní hodnocení je založeno na oborovém profilování a jeho srovnání s mezinárodní úrovní. V časopisech s nižším kvartilovým zařazením (většina lokálních odborných časopisů), má smysl publikovat a to v proporcích obvyklých pro mezinárodní úroveň konkrétního oboru. To platí zejména pro výzkumné organizace zaměřené na špičkový základní výzkum. U organizací, které z důvodu svého poslání necílí na provádění vynikajícího základního výzkumu, je toto kritérium navíc doplňkové, nebo je zcela irelevantní.
6. Máme zakázat publikování doktorandům, kteří jsou teprve na začátku své vědecké kariéry a obvykle nemohou publikovat ve špičkových časopisech prvního či druhého kvartilu?
Viz odpověď na předchozí otázku s dodatkem, že mezinárodní benchmarking pochopitelně zahrnuje i publikační činnost doktorandů.
7. Máme kontrolovat naše články ve Web of Science?
Zejména velké výzkumné instituce by měly ve svém zájmu tyto záznamy sledovat a v případě nesouladu požádat standardní cestou provozovatele databáze o opravu. Záznamy ve WoS jsou pro instituce mezinárodní vizitkou a ve vztahu k hodnocení nesprávné záznamy nedovolují zařadit výsledky do bibliometrického hodnocení dokud nejsou opraveny.
8. Národní hodnocení v M2 je pro naši instituci příliš obecné, neboť se nezabývá fakultami a také by mohlo využívat více jiných ukazatelů.
Národní evaluace a vnitřní institucionální evaluace jsou řízeny odlišnými potřebami, proto jedno nemůže mechanicky nahrazovat druhé. Výzkumné organizace typu vysoká škola či ústavy akademie věd mohou a mají cílit v rámci vlastního hodnocení na větší úroveň detailu a s ohledem na specifika, která národní hodnocení nemůže a ani nemá sledovat.
Národní hodnocení, přestože nehodnotí jednotlivé fakulty, uveřejňuje afiliace výsledků s jejich kvartilovým zařazením i na úroveň organizačních jednotek. V případě potřeby tedy mohou instituce data doplňkově použít i pro nižší organizační úroveň.
9. Domníváme se, že nebyly hodnoceny některé výsledky, které však v RIVu zanesené máme.
Téměř všechny dotazy tohoto typu mají příčinu v jedné nebo ve více následujících okolnostech:
Časopis bez AIS
Některé časopisy tuto metriku nemají, AIS se přiděluje po pěti letech od zařazení časopisu do databáze WoS. Část časopisů tuto metriku nebude mít nikdy přidělenou (podobně jako impact factor). Jedná se o frakci časopisů z oblasti společenských a humanitních oborů. Při porovnání výsledků s národním hodnocením je tedy potřeba výpisy z InCites limitovat na časopisy s AIS. Časopisy bez AIS jsou v InCites na náš podnět jednoznačně evidovány znakem N/A.
Odlišná konstrukce oborové afiliace ve WoS, InCites a JCR
Web of Science je samostatnou databází, je však také zaužívanou zkratkou označující celou soustavu databází. Vedle samostatné „tradiční“ databáze Web of Science se jedná o databáze pracující s citačními metrikami: JCR (Journal Citation Reports) a InCites. Všechny tři databáze jsou odlišně konstruovány, a přestože pracují se sdílenými údaji, nejsou zcela kompatibilní. Nepříjemným fenoménem jsou například odlišnosti v oborových afiliacích. Od roku 2020 platí, že analýza dle AIS používá oborovou afiliaci přiřazenou k žurnálům podle JCR (Journal Citation Reports).
Živá povaha databází
Databáze (RIV, WoS, InCites, JCR) sloužící pro zpracování hodnocení jsou kontinuálně updatovány a opravovány. Z povahy věci tudíž výpisy získané v různých obdobích nebudou zcela identické.
Chybný záznam v RIV
Nejčastější problémy se zápisy v RIV, v jejichž důsledku nedojde k propojení s databází WoS, jsou následující: chybný rok uplatnění výsledku, výsledek neodpovídá platným definicím výsledků, chybný nebo chybějící identifikační číslo WoS ID (alias UT WoS alias Accession Number alias ISI LOC). Specifickým problémem je též následující bod.
Problémová institucionální afiliace
Výpisy z databáze WoS jsou definovány jako výsledky za Českou republiku. Pokud autor neuvede v článku svoji českou instituci, ale pouze zahraniční, kde je též zaměstnán (typický příklad), článek se v exportu dat za ČR nemůže objevit.
Minoritní část těchto problémů může plynout z chybného převodu adresy autora na tzv. organization enhanced name, který sjednocuje variantní názvy institucí a je hlavním údajem institucionálních afiliací pro WoS a InCites. Výpis článků pro danou instituci proto může obsahovat položky, které patří jiné instituci a naopak. Obvykle se u velkých institucí ročně jedná o jednotky nebo nižší desítky kusů, které by měly být danými organizacemi u provozovatele databáze reklamovány. Preventivně lze těmto problémům předcházet tak, že organizace svým zaměstnancům stanoví jednotný formát uváděných adres. Je důležité, a to se týká např. i databáze SCOPUS, též dodržet správné pořadí: název instituce, organizační jednotka, např. Univerzita Palackého v Olomouci, Filozofická fakulta nikoli např. Filosofická fakulta Univerzity Palackého.
10. Jsou k dispozici podkladová data?
Statistiky a jejich podklady jsou zveřejněné na stránkách RVVI a dovolují rekonstruovat hodnocení za ČR i světový benchmarking. Nejsou zveřejňovány zdrojové podklady k EU 15, jejichž objem je v řádu milionů položek.
Zveřejněné podklady neobsahují kvůli licenčním podmínkám hodnoty sledovaných metrik jednotlivých článků/časopisů. Z toho důvodu obsahují transformovaná data, tedy kvartilové zařazení.
Pro konzultace, jak lze pracovat se zveřejněnými podklady, se obracejte na adresu hodnoceniVaVaI@vlada.cz.
11. Proč nejsou sledovány autorské podíly?
Autorské podíly byly nevyhnutelným krokem v hodnocení podle předchozích metodik, protože každý jeden článek obdržel bodovou a zprostředkovaně finanční hodnotu. Bez sledování autorských podílů tedy nešlo distribuovat bodové a návazně finanční alokace pro jednotlivé instituce.
Současná metodika se bez tohoto kroku obejde, protože hlavní otázka nezní, kolik bodů a peněz bylo konkrétní institucí získáno, ale v jakých časopisech z hlediska vlivu se v ČR publikuje a jak tato praxe odpovídá zvolenému benchmarku (svět, EU15).
Počítání podílů navíc vnáší do hodnocení neřešitelná dilemata. Matematický podíl o faktickém podílu jednotlivých autorů a autorek nic nevypovídá. Liší se i oborové praxe spoluautorství a i uvnitř samotných oborů se odlišnosti zakládají například na finanční náročnosti prováděného výzkumu - tj. některé typy výzkumu lze provádět individuálně, jiné z principu nikoliv, přičemž souvislost s kvalitou výzkumu neexistuje. I kdyby se přistoupilo ke sporné matematické operaci mechanického rozdělení podílů, obdobným způsobem nelze transformovat benchmarková data za EU15.
Aby byly zohledněny výsledky prováděné ve velkých konsorciích, jsou v M2 tyto výsledky vyznačeny a promítnuty do sledovaných statistik. Další podpůrnou informací o tom, z jaké instituce pocházejí nositelé hlavních idejí, je údaj o korespondenčních autorech, který byl v roce 2019 zpracován na oborovou úroveň, od roku 2020 je monitorován i na úrovni jednotlivých výzkumných organizací. Oba tyto údaje dovolují rozumným způsobem odlišit instituce, které jsou ve vzájemné kooperaci tahouny prováděného výzkumu.
12. Jak jsou vypočítány kvartily? Obsahuje-li kategorie "svět" všechny články, které vyšly ve sledovaných časopisech, jak to, že svět nedosahuje v jednotlivých kvartilech přesné hodnoty 25 %?
Kvartily jsou stanoveny na základě žurnálů, protože ukazatel AIS, stejně jako IF, charakterizuje právě časopisy. V nich však vychází různý počet článků. Proto po promítnutí článků do kvartilů obvykle vidíme jejich mírně nerovnoměrnou distribuci. Můžeme si představit imaginární obor, ke kterému jsou afiliovány pouze čtyři časopisy (jeden v prvním kvartilu, druhý v 2Q, třetí ve 3Q a čtvrtý ve 4Q), přičemž v prvním časopisu je tolik článků, kolik ve zbylých třech dohromady. Tedy v 1Q je 50 % článků a další kvartily se dělí o zbývajících 50 % článků.
