A Magyar Tudomány 2004/2. számában jelent meg Papp Zoltán A tudományos teljesítmény mérésének problémáiról című írása, majd a 4. számban Braun Tibor tollából ezzel kapcsolatosan néhány bíráló észrevétel, amelyekre a Szerző válaszolt1. A vitából kiderül, hogy a Szerző elsősorban nem a tudományos publikációk tudománymetriai módszerekkel történő értékelésének lehetőségét és szükségességét vitatja, hanem a módszerek alkalmazóinak eljárásait kifogásolja.
Teljesen egyetértek a Szerzővel, hogy a "tudományos közösségeknek érdeke és erkölcsi kötelessége", hogy magukat a teljesítményüket alkalmas módon mérni tudó eljárásoknak vessék alá, "végső soron az anyagi források igazságosabb elosztása érdekében". Bizony helyesen írja: gyakorta hiányzik az értékelés kultúrája, mivel az értékelők híjával vannak az ehhez szükséges ismereteknek. Írása azonban - függetlenül attól, hogy a folyóirat mely rovatában jelent meg, sőt attól is, hogy a Szerző szokatlan módon a témában való járatlanságát is kinyilvánítja - megtévesztő, mert az olvasó a továbbiakban a tudományos közleményekre emlékeztetően állításokat, bizonyítási kísérleteket, következtetéseket és hivatkozásokat talál. Le kell szögeznem, hogy a tudománymetria ma már éppolyan terület, mint a tudományszociológia, a pszicholingvisztika vagy a biometria, amelyek megfelelő szakmai ismeretek nélkül nem művelhetők.
Ha a Szerző arról írt volna, hogy egy bizonyos pályázat bírálati rendszerének vagy egy intézményi, csoport-, esetleg egyéni szinten történő értékelés tapasztalatai szerint a szerzői hozzájárulási mértékek megállapítását vagy bármely egyéb tényezőt ezért vagy azért nem tartja megfelelőnek, akkor az elfogadható és érthető lenne. Ha viszont arról értekezik, miért nem adott valaki a kezébe magyar nyelven egy olyan tudománymetriai alapművet, amelyben az általa kifogásolt kérdésekre egyértelmű választ találhatott volna, akkor nem cselekszik tudományos kutatóhoz méltóan.
Braun Tibor kritikájára válaszul megjegyzi, "a tárgyalt problémákat alulnézetből" szemlélve a "Braun Tibor által leírt tudomány magassága" nem látszik. Nem sportszerű egy viszonylag fiatal tudományterülettől - mint a tudománymérés - számon kérni: miért nincs "az alapvető állításokat tömören összefoglaló" mű, főként annak nem, aki bevallottan nem is kutatott a megfelelő szakirodalom után. Ha csak a magyar nyelvű irodalmat tekintjük, megemlíthetjük, hogy G. M. Dobrov: A tudomány tudománya (Gondolat - Kossuth, Budapest) című munkáját 1973-ban adták ki, 1979-ben jelent meg Derek J. de Solla Price alapvető műve: a Kis tudomány - nagy tudomány (Akadémiai, Budapest), 1980-ban látott napvilágot a ma már szintén klasszikusnak számító Vaszilij Vasziljevics Nalimov - Zinaida Makszimovna Mulcsenko szerzőpáros Tudománymetria című könyve (Akadémiai, Budapest). A Magyar Tudományos Akadémia Könyvtárának Informatika és tudományelemzés című sorozatában eddig nyolc kötet jelent meg, ezek közül 1984-ben adták ki A tudományos kutatás minősége című kötetet (Braun Tibor és Bujdosó Ernő szerkesztésében), amelynek fejezetei közül egyet a Debreceni Egyetem kutatói (Beck Mihály és Gáspár Vilmos) írtak. Több neves külföldi szerző cikkét (például Cole, Martin, Davidson-Frame, Koenig, Garfield, Moravcsik) magyarul is olvashatjuk ebben a kiadványban. 2001-ben jelent meg a Kis tudománymetria, nagy tudománymetria... és azon túl című kötet (Glänzel Wolfgang - Schubert András - Vasvári Lilian szerkesztésében), amelynek írói a Szerző által felvetett számos kérdést érintenek, illetve részletesen tárgyalnak. Sok tudománymetriai cikk jelent meg korábban - a jelen írás szerzőjének tollából is - a Kutatás-Fejlesztés, Tudományszervezési Tájékoztatóban és az Impakt-ban Ezeket a folyóiratokat azonban anyagi okokból néhány évvel ezelőtt megszüntették. Számos cikk jelent meg már a Magyar Tudományban is a tudománymetria különböző témaköreiben, de úgy tűnik, a tudományos cikkeket inkább írják, mintsem olvassák. A tudománymetriát Magyarországon rendszeresen és nemzetközi színvonalon művelő öt-hat kutatótól nem hinném, hogy több lenne várható, hiszen cikkeiket elsősorban nemzetközi folyóiratokban közlik, aminek alapján hazánk a világ első tíz országa között szerepel az informatikai és könyvtártudományi kutatások területén. Különben néhány hazai egyetemen és főiskolán tankönyvként használják a Bibliometria és tudománymetria (Bujdosó Ernő, OSzK-MTA, 1986) c. könyvet, amely az alapoktól kezdve vezet el a magasabb szintű tudománymetriáig. Ebben a Szerző sok hasznos információt találhatott volna: a tudomány növekedéséről, a tudományos publikálásról és kommunikálásról, a tudományos szakirodalom szóródásáról: Samuel C. Bradford törvényéről, a tudományos szakirodalom elévüléséről, a szerzők produktivitásáról, a társszerzőségről és az együttműködésről, a tudományos idézetek indexrendszeréről és ennek tudománymetriai alkalmazásáról, a tudományos kutatás szerkezetének felderítéséről, az együttidézési klasztertechnikáról.
Lehetetlen elemezni itt a Szerző által felvetett összes kérdést, csupán néhány dologra térek ki.
* A tudományos közleményeknek a különböző publikációs csatornák közötti megoszlását elsősorban nem egyének vagy csoportok szokásai, vágyai, hanem az illető szakterület bibliometriai sajátosságai határozzák meg. Ismeretes, hogy például a számítástudományokban a proceedings-típusú közleményeknek (konferenciabeszámolóknak) lényegesen nagyobb szerepük van, mint a fizikában, kémiában, matematikában. Az egyes publikációs formák külön-külön történő értékelésének csak összehasonlító vizsgálatokban van értelme, de ott is csak akkor, ha nagyobb számú közleményről van szó.
* A természettudományban az új tudományos információ leggyakoribb közvetítője a folyóiratcikk, ezért a folyóiratcikkek száma viszonylag jól tükrözi a létrehozott új információk mennyiségét. Csoportok, országok tudományos teljesítményének megítélésekor ezért elegendő csupán a folyóiratcikkek elemzése. Egyének esetében viszont nagy jelentősége van például a könyvfejezeteknek és a könyveknek abban, hogy az illető összes tudományos hozzájárulását számba vehessük.
* Fontos megjegyeznünk: csak azon tudományterületek publikációit értékelhetjük összehasonlító módon, amelyeknek tudománymetriai sajátságai hasonlóak. Talán az említettek figyelmen kívül hagyása indíthatta a Szerzőt arra a megállapításra, hogy "A mutatók és a teljesítmény közötti kapcsolat túl laza", s így "a mutatók nem megbízható mércéi a teljesítménynek". - Sajnos bizonyítás nélkül marad az állítás. Pedig elvárható lenne, hogy a Szerző adatokkal támassza alá súlyos kijelentését. Milyen független (nem tudománymetriai) mutatókkal mérte a teljesítményt, és ezeket a cikkek számával, a közlő folyóiratok Garfield-tényezőjével vagy az idézetek számával összevetve, milyen korrelációs koefficiens értéket számolt? Közismert, hogy a tudománymetria statisztikai törvényszerűségekre épít. Ez azt jelenti például, hogy általában minimum negyven-ötven folyóiratcikk tekinthető olyan méretű publikációs halmaznak, amely az adott szakterületre jellemző bibliometriai tulajdonságokat mutat(hat)ja, azaz racionálisan elemezhető. Éppen ezért nehezebb az egyének publikációs tevékenységének értékelése az országokéval szemben.
* Az egy-egy közlemény létrehozásához szükséges munka mennyiségét (időráfordítást) céltalan és kilátástalan feladat lenne szakterületenként elemezni. A tudományos kutatás kegyetlen, abszolút, nemzetközi verseny. Az eredmények megítélésekor nem veszik figyelembe, kik, hol, milyen körülmények között dolgozva, mennyi idő alatt, mennyiért érték el azt. Kizárólag az eredmény számít. (Nem tekinthetjük jellemzőnek az ettől eltérő egyedi eseteket.)
* Remélem, a Szerző csak figyelmetlenségből fogalmazott így: "a tudományos közösség a közlemények számolásának olyan - helytelen, igazságtalan - módját alkalmazza...". A Szerzőnek talán inkább a tudományos kutatások irányítóival, a pályázati források odaítélőivel s nem a kutatók közösségével lenne baja. A publikációs etikáról viszont (társszerzőségi kritériumok) érdemes lenne vitát kezdeni. Megjegyzendő, hogy szerzői hozzájárulás mértéke vizsgálatának, a cikk "creditje" szerzőnkénti meghatározásának óriási irodalma van (lásd például a Scientometrics-ben megjelent cikkeket).
Magam azt a gondolatot is felvetettem, nem lenne-e etikusabb, ha a publikációk szerzői nevük mellett zárójelben feltüntetnék - közös megegyezés alapján - a közleményhez való kutatói hozzájárulásuk mértékét, például (K. Nagy (40 %), T. Erős (30 %), F. Kiss (20 %), B. Szürke (10 %). (Megjegyzendő, hogy a szabadalmakban a feltalálók nevei mellett szerepelnek a szellemi tulajdon létrehozásának mértékére vonatkozó hányadok.)
* Szerző azon állításával, miszerint minden kutatónak csak a tudományhoz való egyéni hozzájárulását szabadna figyelembe venni, ha értékeljük az illető munkáját, például - a több társszerzővel közös cikkek esetében - egyetértek.
* A Magyar Tudomány 2003. decemberi számában jelent meg egy cikkem arról, mit is jelent valójában a folyóiratok nemzetközi hatásának jellemzésére általánosan használt hatástényező adat (Garfield-factor, impact factor). A folyóiratok hatástényezői csak formálisan jellemzik az illető folyóiratban megjelent cikkek átlagos idézettségét. Valójában a hatástényező egy-egy adott folyóirat egésze által az adott szakterület összes folyóiratának a tudományra gyakorolt együttes nemzetközi hatásához való hozzájárulás mértékére jellemző. Az előzőekből kiemelendő: kizárólag egy adott szakterülethez rendelhető folyóiratok mérhetők össze (a bibliometriai különbségek miatt). Azoknak a folyóiratoknak az átlagos, súlyozott hatástényezője, ahol egy kutató vagy egy csoport dolgozatait megjelentette, az illető vagy az illető csoport átlagos publikációs stratégiájára (PS) jellemző. (A súlyozás az illető(k) cikkeinek folyóiratonkénti számával történik.) A PS-mutató tehát nem "várható idézettséget", "megelőlegezett hatást" stb. jelent, hanem azt jellemzi, ami a neve: hol jelentették meg a cikkeket.
Ha egy-egy tématerület vagy szakterület folyóiratait, mint egyetlen virtuális meta-folyóiratot tekintünk, és így számolunk egy átlagos hatástényező-értéket, akkor olyan alkalmas viszonyítási alaphoz jutunk, amellyel a publikációs stratégiát elosztva relatív mutatót nyerhetünk. A relatív mutatók tudományterületek közötti összehasonlításokra is lehetőséget kínálnak. További előnyük, hogy nem lép fel a Szerző által felvetett társszerzőségi probléma (az idézetek megosztása) sem. Nem könnyű feladat viszont a megfelelő viszonyítási alapok megválasztása.
* Általában nem igaz, hogy a tudománymetriai mutatószámokat tekintve egy kisebb vagy nagyobb szakterület előnyben lenne a másikhoz képest. Ha például több a kutató egy területen, mint egy másikon, több a publikált cikk is, több az idézet is, de az egy cikkre jutó idézetszám nem változik.
* A Szerző kifogásolja, hogy számokkal meghatározott bibliometriai követelményeket állítanak az MTA Doktora cím elnyerését igénylő vagy egyetemen habilitálni kívánó jelöltek elé. (Megszabják például a minimálisan szükséges dolgozatok, idézetek, folyóirat- hatástényezők számát, illetve összegét.) A Szerzővel szemben állítom, vannak olyan bibliometriai követelmények, amelyek joggal állíthatók azok elé, akik deklaráltan a tudomány elitjéhez szeretnének tartozni. A Web of Science révén bárki kikeresheti azoknak a nemzetközi hírű kutatóknak az idézeteit, cikkeit, akik a szakterületén publikálnak. Tessék összevetni a látottakat a saját adatokkal! Ha az egy-egy területen dolgozók átlagához viszonyítunk, megfelelő összehasonlító eljárást alkalmazunk.
Biztosan vannak a különböző nemzetközi, országok tudományos teljesítményére vonatkozó statisztikákban (például Science Citation Index; OECD-országok mutatói; Science and Engineering Indicators, US; Science and Technology Indicators for the European Research Area) hibák, de ezeket az adatokat látja a világ. Nem tehetjük meg, hogy semmibe vesszük ezeket a mutatószámokat.
Abban viszont igaza van a Szerzőnek, helytelen lenne, ha ugyanannyi idézetet várnának el egy matematikustól, mint egy biokémikustól. Helyes a feltételezése, hogy ugyanakkora nemzetközi hatás különböző számú (és megjelenési helyű) publikáció illetve idézet révén váltható ki más-más szakterületen. Nehéz a kívülállók számára elhinni, hogy például a matematikai tárgyú cikkek révén kapott ötven idézet hasonló nemzetközi hatást mutathat, mint a molekuláris biológia területén dolgozó kutató mintegy százötven-kétszáz idézete.
Az MTA Kémiai Tudományok Osztálya nagyon helyesen, annak ellenére, hogy néhányan nem értenek ezzel egyet, figyelembe veszi a társszerzőség mértékét. Erről itt most nincs módom részletesen írni, de annál, hogy minden társszerző a publikáció teljes eredményét, "pontszámát" (ha tetszik, a publikáló folyóirat teljes hatástényezőjét, illetve az idézeteket) "megkapja", a hivatkozott osztály által használt egyszerű frakcionálás is jobb (1/N, ahol N az összes szerző száma). Hasonlóképp az idézetekre vonatkozóan. Az említettek miatt is ajánlhatók a relatív mutatók, amelyek kiküszöbölik a szerzőségi megosztási gondokat. Egyének értékelésénél pedig már régóta ajánlják a tudománymetriai szakemberek, hogy ne csak az idézetek számát, de a pályázó, a jelölt által kiválasztott idézetek szövegkörnyezetét is mutassák be (ami a Kémiai Osztályon szintén gyakorlat).
* A Szerzőnek sajnos igaza van abban, hogy élelmes kutatók többféle technikát alkalmaznak a cikkek számának gyarapítására. Ezért is kell több és többféle mutatószámot használnunk, továbbá a mutatókat szakértői értékeléssel együttesen bírálnunk. A tudományos kutatás sem mentes kisebb-nagyobb csalásoktól. De mert ilyenek előfordulnak (lásd a Nature és a Science a tárgyban olvasható cikkeit), attól még a tudomány egésze nem eszerint működik.
* Bevallom, bánt, hogy Magyarországon évek óta állandóan "védeni" kell a tudománymetriát, bizonygatni, hogy tudomány, hogy szükséges tudomány, amelynek a gyakorlatban alkalmazott vagy alkalmazható részét elméletileg alá kell támasztani. Megértem, hogy a tudomány egyszerre konzervatív és forradalmi. Gyakran igen nehezen épülnek be az új ismeretek a tudomány bástyáiba, a már bennlévő, intézményesült szakterületek nehezen engednek maguk közé újakat. Ezt a csatát Magyarországon újra és újra meg kell vívni. Németországban, Angliában, Franciaországban, az USA-ban, Belgiumban, Finnországban stb. már tizenöt-húsz éve nem kérdés, hogy a tudománymetria és annak egyik fontos területe, az értékelő tudománymetria tudomány-e. Az MTA vezetői is felismerték, hogy a tudományos publikációk tudománymetriai adatai fontos informatikai és tudománypolitikai következtetések levonására alkalmasak. A közelmúltban létrehozott MTA Tudományos Publikációs Adattár 1992-től kezdve tartalmazza az akadémiai kutatóhelyek összes tudományos publikációját és az ezekre érkezett idézeteket. Az adattár még nincs teljesen kész, de ha ezt elérjük, bárki megítélheti, hogy kinek milyen gazdag tudományos tevékenysége van.
A tudományos munka eredményeinek értékelésénél a gond általában nem a tudománymetriai szakemberekkel és módszereikkel van, hanem a tudománymetria eredményeit meggondolatlanul, hozzá nem értő módon alkalmazó hivatalnokokkal, esetenként tudományos vezetőkkel és kutatókkal. Az értékelő tudománymetria is olyan, mint az erős orvosság, helyes diagnózis alapján, hozzáértő módon alkalmazva segíti a gyógyulást, ellenkező esetben több bajt csinál, mintha nem használták volna.
* A tudományos teljesítmény értékelése a következő feltételezéseken alapul:
- a tudomány információt előállító rendszer,
- a tudományos információt a tudományos közvélemény elé tárják,
- az előállított tudományos információ menynyisége és nemzetközi hatása kvantitatív módon jellemezhető.
Az értékelésre nincs általános recept, ám vannak általános szabályok - ha tetszik, törvények; ismeretesek mutatószámok és módszerek, de minden tudománymetriai rendszer egyedi; értékelését egyedileg kell megtervezni. Ennek során fontos feladat az értékelés céljának meghatározása, az értékelendő egyének, szervezetek, témák stb. sajátosságainak felmérése, a célnak megfelelő mutatók kiválasztása, érvényességi körük meghatározása és az alkalmas adatok összegyűjtése. A tudományos kutatás eredményeinek értékeléséhez a kvantitatív módszerekkel párhuzamosan az illető szakterület szakembereinek szakértői véleményére is szükség van. Ám ne felejtsük: a tudományban kizárólag szakértői vélemény alapján történik mindenfajta értékelés. Hiszen az idézés nem más, mint a publikált információk nem formális (nem szervezett, nem hivatalos) módon történő értékelése, aminek eredménye, az illető kutató véleménye, a hivatkozás megtételében (és annak módjában), illetve a hivatkozás elhagyásában manifesztálódik. A tudományos publikációk megjelentetése pedig bírálók közreműködése nélkül nem lehetséges. Ezen értékelések eredményeit (idézetek, cikkek száma, megjelenés helye) vesszük figyelembe tudománymetriai módszerek alkalmazásakor.
Érdekes ellentmondás: a tudományos publikációk fontos részét képező hivatkozásokat minden kutató lényegesnek tartja és felhasználja, hiszen ezeknek révén tárulnak fel a tudományos kutatás információi. Ugyanakkor azt, hogy azok, akik több, deklaráltan felhasznált (tehát hivatkozott) információhoz juttatják pályatársaikat, több elismerést kapjanak, számosan vitatják. - Általában azok, akiknek kevesebb jutna az ilyen módon osztott elismerésből.
Értékelni szükséges, de még inkább szükséges szakértői módon, jól értékelni. Abban, hogy ezt megvalósíthassuk, mind az oktatásnak, mind a helyi és az országos tudománypolitikának még sok tennivalója van.
1.
Papp Zoltán A tudományos teljesítmény mérésének problémáiról
Braun Tibor: A tudományos teljesítmény mérésének problémáiról
Papp Zoltán: Válasz Braun Tibornak