„…az öncsalás esztelenség…”
Széchenyi István, Hitel

„Aki tigrisen lovagol, fél leszállni.”
kínai közmondás

A tudományos teljesítmény mérésének nehézségeit a társadalomtudományok területén részletesen tárgyalja Csaba László, Szentes Tamás és Zalai Ernő (2014). Következtetéseik szerint bár szükség van számszerű paraméterekre, ezek használata korlátozott, szükséges a részletes, kritikai elemzésük, és úgy tűnik, hogy az egyéni teljesítmény megbízható értékelése egyedül tudománymetriai paraméterek segítségével nem megoldható. Ehhez hozzáfűzhetjük, hogy a statisztikus megközelítés egyének értékelésénél azért is pontatlan és félrevezető lehet, mert relatíve kis adathalmazokról van szó, amiből inherens módon adódik a pontatlanság. Ezzel szemben azt gondoljuk, hogy kutatócsoportok, kutatóintézetek, tudományterületek ilyen statisztikára alapozott megfelelő vizsgálata hasznos információt nyújthat, hiszen itt nagyságrendekkel nagyobb adatmennyiségekkel dolgozunk. Írásomban megmutatom, hogy igen nagy egységek esetén is (mint teljes tudományterületek) téves, félrevezető következtetésekre juthatunk nem jól átgondolt alapdefiníciók (például a tudományos teljesítmény át nem gondolt definíciója) használatával.

A következőkben a MTA élettudományi (ÉT), illetve a matematikai és természettudományi (MÉT) területe kutatóintézeteinek publikációs adatait hasonlítom össze. Az 1. ábrán látható, hogy a két terület kutatói létszáma összemérhető (az adatok Németh Tamás 2014-es főtitkári beszámolójából származnak). A két terület tudományos eredményeit hasonló módon, nemzetközileg jegyzett folyóiratokban teszi közzé, ezeket impaktfaktoros (IF) cikkeknek nevezem, és az 1. ábrán láthatók.¹ Az Akadémián használt és az intézeti kimutatásokban szereplő tudományos cikkek száma ennél magasabb, de hasonló tendenciákat mutat. Annak magyarázata, hogy jelenleg csak a publikált cikkek számával és nem azok impaktfaktorösszegével foglalkozom az, hogy az egyes kutatási területekre jellemző impaktfaktorok nagyon különbözőek, ráadásul időben változóak, általában növekednek. Például 2008-ban a matematikai publikációk nemzetközi átlag impaktfaktora 0,62, a csillagászaté 4,19 volt. Jelen vizsgálatban feltételezem, hogy a publikált cikkek átlag impaktfaktora megfelel a nemzetközi átlagnak. Ezzel az átlaggal összehasonlítva ellenőrizhető, hogy egy-egy kutatási terület publikációinak színvonala eléri-e vagy meghaladja-e a nemzetközi értéket.²
 

1. ábra • Az élettudomány (ÉT) és a matematika

és természettudományok (MÉT) területén dolgozó kutatók (telt) és a publikált impaktfaktoros

cikkeinek (üres) száma 2003 óta.

Az elmúlt tíz év alatt az élettudományi területen mind a kutatók, mind az IF-os publikációk száma körülbelül hasonló mértékben növekedett, míg a matematikai és természettudományi területen ellentétes trend figyelhető meg: a kutatók száma mintegy 10%-kal csökkent, de 2010-ben és azt követően a publikált cikkek száma jelentősen növekedett. Ez az anomális, látványos növekedés jól korrelál a korábbi Részecske és Magfizikai Kutatóintézet – az intézet összevonások után jelenleg a Wigner Kutatóközpont Részecske és Magfizikai Intézetének RM(K)I-val jelölt – adataival, amelyek a 2. ábrán láthatók (forrás: Az MTA kutatóhálózata). Ez a hatalmas növekedés jelentős mértékben az RM(K)I nemzetközi kutatási együtt-működésekben való részvételének tulajdonítható.

2. ábra • A Részecskefizikai és Magfizikai

(Kutató) Intézet kutatóinak (telt) és publikált impaktfaktoros cikkeinek (üres) száma 2003 óta

Domináns a részecskefizika területén a CERN³-nel folytatott együttműködés, amelyben az RM(K)I mintegy 30 kutatója vesz részt. Az MTA jelenleg saját eredményének tekint minden olyan cikket, amelynek szerzői közt MTA kutató található, függetlenül attól, hogy a cikknek több száz vagy több ezer nem MTA-dolgozó szerzője van (a CERN publikációs konvenciója szerint a szerzők a közreműködő országok és azon belül névsor szerint kerülnek feltüntetésre). Különösen figyelemreméltó, hogy az RMKI cikkeinek száma 2009 és 2010 között a korábbinak majdnem négyszeresére nőtt, a növekedés mértéke 280 cikk, míg a CERN közleményeinek száma csupán 84-gyel nőtt (3. ábra). Ezt a különbséget nehéz többlet tudományos teljesítményként értékelni, ez sokkal inkább az együttműködés feltételeinek megváltozására utal. A 3. ábra összehasonlítja a vizsgált periódusban a nemzetközi folyóiratokban megjelent CERN-publikációk számát (forrás: CERN Annual Report) a magyarországi együttműködő intézetek [(RM (K)I és ATOMKI (MTA Atommagkutató Intézet)] összesített impaktfaktoros cikkeinek számával. Azt látjuk, hogy

a két intézet összegzett publikációinak száma 2010-et követően felülmúlja a CERN-publikációk számát. Ennek magyarázata az, hogy a két intézet együttesen mintegy kétszáz fős kutatói létszámából csupán kb. hatvan kutató vesz részt ebben az együttműködésben, a többi kutató részben más nemzetközi együttműködések résztvevője, részben a kutatási területének megfelelő eredményekkel járul az intézetek publikációs eredményeihez. Mindenesetre megállapítható, hogy a matematikai és természettudományi terület anomálisan nagy publikációs teljesítménynövekedése döntő módon a csekély számú magyar résztvevő CERN-es kooperációjának „eredményeiből” adódik. A publikációk számának formális kezelése a részecskefizika kiemelkedő eredményességét illető téves következtetésekre adott és adhat alkalmat.

3. ábra • A CERN (üres kör), valamint

a Részecskefizikai és Magfizikai (Kutató)

Intézet és az ATOMKI együttes impaktfaktoros

cikkeinek (telt kör) száma 2003 óta.

Részletes adatok hiányában az anomáliát úgy tudjuk figyelembe venni és kiküszöbölni, ha az említett két intézet adataival csökkentjük a matematikai és természettudományi terület adatait. Ezt mutatja a 4a) ábra. A MÉT figyelembe vett intézeteiben [azaz az ATOMKI és az RM(K)I nélkül] az impaktfaktoros cikkek száma lényegében monoton csökkenést mutat, például 2013-ban mintegy kétszáz IF-os cikkel kevesebb publikáció jelent meg, mint 2011-ben (609 cikk a 823-hoz képest).

4. ábra • balra: a matematikai és a termé-*szettudományok területén publikált IF-os cikkek száma, valamint ezek az ATOMKI és az RM(K)I publikációi nélkül; jobbra: az élettudomány és a matematikai és természettudományok területén átlagosan egy kutató által publikált impaktfaktoros cikkek száma. Az átlagértékeket szaggatott vonal jelöli. A MÉT ATOMKI és RM(K)I kutatói és publikációi nélküli egy kutatóra jutó átlagát (♦) jelöli.

A kutatók számának változásából (ÉT-növekedés, MÉT-csökkenés) adódó hatásokat a publikációk számának a kutatók számára normált értéke, azaz az átlagosan egy kutatóra jutó impaktfaktoros cikkek száma küszöböli ki, ezeket a 4.b ábra mutatja. Az élettudomány területén ez meglehetősen állandó, a tízéves átlag évente 0,74 impaktfaktoros cikk/kutató, ennek fluktuációja 0,08 IF-cikk/kutató. A matematikai és természettudományi terület természetesen az előzőekben tárgyalt anomáliás növekedést mutatja, hogy ha az átlag számításánál figyelembe vesszük az említett két intézetet is. Ezt korrigálja, ha mind az impaktfaktoros cikkek számából, mind a kutatók létszámából levonjuk a két intézet megfelelő adatait. Az ily módon számított átlagos impaktfaktoros cikkszám/kutató értékek láthatók a 4.b) ábrán. Várakozásunknak megfelelően 2004 és 2011 között ez az érték az átlagos 0,94 IF-os cikk/kutató körül ingadozik, az eltérések nem haladják meg a 0,08 IF-os cikk/kutató értéket. Szignifikánsnak tűnő csökkenés figyelhető meg 2012 és 2013-ban, a csökkenés mértéke eléri a 0,2 IF-os cikk/kutató értéket. Ezt a jelentős csökkenést leplezi el a sokszerzős nemzetközi együttműködések okozta látszólagos többletteljesítmény.

A csökkenésnek több lehetséges oka van: szerepet játszhatnak ebben a problematikus intézetösszevonások, a nyugdíjas korú kutatók elbocsátása, a kutatási infrastruktúra jelentős leromlása. A korrigált cikkszámban nem mutatható ki a Lendület kutatócsoportok okozta teljesítménynövekedés, de lehetséges, hogy javult a publikációk impaktfaktor-növekedésben megnyilvánuló minősége – ez további részletes vizsgálatot igényel. A cikkszámadatok azt sem mutatják meg, hogy mekkora mértékű az eszközigényes kísérleti kutatások számának csökkenése, az eltolódás az olcsóbb elméleti kutatások irányába. Mindenesetre ebbe az irányba hat, hogy az OTKA-támogatás mértéke átlagosan kevéssé haladja meg a kísérleti kutatásokét az elméletiekéhez képest. Természetesen az intézetek kutatási eredményeik publikálásán kívül különböző mértékben foglalkoznak fejlesztéssel, tanácsadással stb. – ezen tevékenységek esetleges növekedése is okozhatja a publikációk számának csökkenését, ennek feltárása további vizsgálatot igényel. Összefoglalva: azért, hogy a kutatás eredményességét tisztán láthassuk, indokolt a nagy nemzetközi együttműködésekben készült sokszerzős publikációk elkülönített számbavétele, nem megengedhető a szokásos akadémiai kutatásokkal azonos kezelésük, mert téves, hibás következtetésekre ad lehetőséget, például arra, hogy a MÉT az utóbbi években jobban teljesít, mint az ÉT. A nemzetközi trendeknek megfelelően a jövőben várható az ilyen jellegű kutatási tevékenységek növekedése és elterjedése több területen, ez teszi szükségessé a probléma mielőbbi kezelését. A félreértés elkerülése végett hangsúlyozom, hogy az ilyen kooperációkban részt vevő kutatók hasznos munkát végeznek, tevékenységük fontos – de a szokásos keretekben végzett munkával azonos kezelésük nem megengedhető. Nem lehet megoldás a Papp Zoltán (2012) által javasolt frakcionális (a szerzők számával osztott) mutatók bevezetése, mert a különböző kutatási területek különböző számú együttműködő kutatót igényelnek: elméleti jellegű munka végezhető néhány kutató részvételével, kísérleti munka ennek többszörösét igényli a különböző kísérleti technikák részvétele miatt. Az elméleti és kísérleti munka kombinálása tovább növeli a szerzők számát. Ily módon a frakcionálás megengedhetetlenül torzítja az adatokat a kevésszerzős, túlnyomórészt elméleti munkák javára, amelyek jelenleg is preferált helyzetben vannak. Önkényesnek tűnhet, hogy mit tekintünk sokszerzős munkának – míg ez a részecskefizika területén, ahol az együttműködő szerzők száma a száz körülitől a több ezerig változhat, elég egyértelmű, más kutatási területeken (például csillagászat, magfizika) ez harminc szerző körülire tehető. Objektív meghatározás lehetséges, ha megvizsgáljuk a kutatási területen publikált cikkek számát a szerzők számának függvényében. Amennyiben az egycsúcsos, lecsengő görbét egy második, nagyobb szerzőszámnál megjelenő eloszlás követ, akkor szembesülünk a jelen írásban vázolt problémákkal, és a kritikus nagy szerzőszám a két csúcs között található.

Végül írásom mottóihoz visszatérve, egy olyan, nagy közmegbecsülésnek örvendő intézmény, mint az MTA, akkor tarthatja meg az emberek bizalmát, ha saját intézményhálózatának teljesítményét is kritikával és a lehető legobjektívabb módon értékeli. Ehhez próbáltam néhány támpontot adni.
 

Hálás vagyok Faigel Gyulának a kézirat kritikai diszkussziójáért, Kaptás Dénesnek a technikai segítségért.
 

Kulcsszavak: tudománymetria, tudományos teljesítmény, publikációk elemzése, élettudomány, matematikai és, természettudományok, nagy létszámú nemzetközi együttműködések, CERN
 

LÁBJEGYZETEK

1 Hasonló, de nem teljesen azonos a 2007-ig használt SCI- (Science Citation Index) folyóirat-kategória, 2007-ben és előtte ezek az adatok szerepelnek. <

2 Intézetek értékelése esetén az egyes kutatási területek nagyságával súlyozott átlagot kell vennünk. <

3 CERN: European Organization for Nuclear Research, kb. 2400 teljes idejű, 1500 részidejű alkalmazott, kb. tízezer vendégtudós és mérnök hatvannyolc egyetemről és kutatóintézetből. Magyarország 1992 óta tag, 2012-ben a CERN költségvetéséhez 0,58 %-kal, 6,85 millió CHF-kal járult hozzá. (URL1) <