Hogyan lehet megállapítani, melyik kutató lesz aktív és sikeres a közeljövőben? A financiális források elosztása mellett ez a jövő kutatói számára éppolyan fontos, mint a felsőoktatási intézményeknek. Márpedig az eddig használt, ún. tudománymetriai mutatók nem adnak teljes képet. Dr. Győrffy Balázs és kutatócsoportja újfajta módszertanon alapuló szoftvert dolgozott ki, mely valós idejű és objektív mérést tesz lehetővé.
Készítettek egy szoftvert arra, hogy a tudományos teljesítményt az eddig megszokott módszereknél optimálisabban mérje. Miért tartotta ezt fontosnak?
Tetszik vagy sem, a tudományos teljesítményt valahogy mindenképpen mérni kell ahhoz, hogy javítható legyen. Emellett törekedni kell arra, hogy a tudományos kutatások finanszírozására fordítható összeget is hatékonyan osszuk el.
Többféle platformon mérik ma a tudományos teljesítményt, ott van például a Google Scholar, a Scopus, a Web of Science, az OpenAlex, a ResearchGate, stb. Mind megmutatja, kinek hány cikke van, mekkora a H-indexe, mennyi az összes idézettség stb. Esetleg egy-egy pluszt hozzátesznek, például a Google az i10 index kapcsán. Nüansznyi különbségek vannak köztük, de mindegyikben közös az, hogy mind aggregált mutatókkal operálnak. Ezután például a Google Scholarban a felhasználó rákattint bármelyik egyetemre, ami a mutatók alapján sorba rendezi a kutatókat, készít egy rangsort. Ez viszont több szempontból durván igazságtalan!
Egy fiatal, mondjuk 30–35 éves kutatótól, nem lehet ugyanazt a teljesítményt elvárni, mint egy 60–65 évestől. A másik jelentős probléma az, hogy ezek a rendszerek nem veszik figyelembe a tudományterületi különbségeket. A publikációk számát tekintve például a matematikában és a fizikában teljesen más a jellemző. Az életkor és a tudományterületek közti markáns különbség után a harmadik probléma az, hogy vannak olyanok, akik nagyon aktívak, de utána visszavonulnak. Lehet, hogy valaki lendületes karrierrel kezdett, de aztán „megpihent a babérjain”
– a bevett mutatók nem képesek arra, hogy kövessék, hogy az illető jelenleg mennyire aktív.
A múlt óriásai torzítják a jelenlegi percepciót. A negyedik probléma a szerzőségekkel van. Vannak tudományterületek – például a matematika vagy a közgazdaságtan –, melyeknél nem számít, hogy kit jelölnek meg elsőként a szerzők közül, itt általában nem is jellemző, hogy háromnál többen jegyeznének egy cikket. Viszont az orvostudományban, biológiában, fizikában vagy kémiában nagyon is számít, hogy ki az első és ki az utolsó a szerzők között. Tipikusan egy, a szerzők között középen szereplő nem ugyanabban a mértékben járult hozzá az adott publikáció megszületéséhez, míg az első szerző a legtöbb munkát végezte, az utolsó szerző pedig általában az ötleggazda, aki a kutatás megvalósítását felügyelte. Sok mérési módszer nem tud ebben a tekintetben különbséget tenni a szerzők között. Így azt, aki sokszor jellemzően középső szerző, igen aktív kutatóként fogják kezelni az eddig bevett rendszerek. Ez mindaddig nem probléma, míg egy PhD-s nem ez alapján választja ki az illetőt témavezetőnek, egy kevésbé aktív kutató mellett ugyanis sanszos, hogy elpocsékolja az idejét, mert a végén nem is lesznek saját cikkei.
Ezen igazságtalanságok kiküszöbölésére hoztuk létre a Scientometrics rendszert, két verzióval, egy kifejezetten a magyar, és egy világszintre kiterjesztett adatbázissal.
Hogyan állt neki a világszintű rendszer felépítésének?
Világszinten letöltöttük 500 ezer kutató adatait, és kiszámoltuk kutatói életét: az első publikációt kezeltük úgy, mint a születését, majd minden egyes évre minden kutatónál kiszámoltuk, mennyi a H-indexe, hány cikke volt az elmúlt öt évben, amiben ő vezető szerző volt, és mennyi volt az éves citációja. Ezáltal létrehoztunk egy normalizált referencia-adatbázist. Amikor új kutató jelenik meg a rendszerben, mondjuk, legyen egy 35 éves kémikus, akkor megnézzük, hogy az összes 35 évnél idősebb kémikus 35 éves korukban elért teljesítményével összehasonlítva ez az adott kutató milyen mutatókkal rendelkezik. Így mind az életkorból, mind a tudományterületből, valamint az szerzőségi pozíciókból adódó jellegzetességeket figyelembe vesszük.
Ennek a rendszernek a jó oldala szerintünk az, hogy sokkal igazságosabb, mint a korábbi aggregált számok böngészése. A rossz oldala viszont az, hogy az emberek egy nagy része nem lesz elégedett a saját teljesítményével, mert nem lesznek benne a legfelső kategóriában.
Gondolom, kihívást jelent a korábbi mérésekhez szokott kutatóknak az, hogy egy, a jelenbeli teljesítményt mérő rendszer szerint (is) megméretnek.
A rendszer komplex, ami azért van, mivel törekedtünk arra, hogy ne lehessen könnyen manipulálni. A tapasztalat az, hogy például a H-indexet önmagában könnyen meg lehet növelni, ha valaki néhány célzott önidézést tesz a saját cikkeibe. Meg kell jegyezni, hogy van még egy negyedik paraméter is a rendszerünkbe építve, ez pedig a magas idézettséggel rendelkező cikkek száma. Hiszen az egy dolog, hogy valaki sok cikket ír, de mi van, ha kevesebbet publikál, de azok nagyon jó cikkek. Ezt egy erre kidolgozott mutató bevezetésével próbáltuk kiküszöbölni.
Rugalmas a rendszer arra nézve is, hogy lehessen kezelni annak hatásait, ha a kutatónak gyermeke születik. Pillanatnyilag ezek az adatok az MTMT-ből automatikusan kerülnek be a rendszerbe.
Mennyien használják már?
Jelenleg Magyarországon az MTMT-ben összesen 40 ezren szerepelnek, pályázatot évente kb. 1500-an nyújtanak be. A szoftverünket hetente körülbelül 5–600 embert használja Magyarországon, ami azt jelenti, hogy a kutatók 5%-a heti rendszerességgel megnézi a saját, vagy kollégái adatait, eredményeit.
Ha PhD-s lennék, olyan kutatókhoz szeretnék kerülni, akiknek világszinten is jók a mutatói.
Kutatók kereséséhez azokat az adatokat tudjuk felhasználni, amik nyilvánosak, beleértve a szerző nevét, e-mail címét, az affiliációját. Ha valaki megnéz egy kutatót, vagy esetleg saját magát, és nagyon rossz eredményt kap, akkor ennek tipikus oka az, hogy a Scopusban rossz néven szerepel. Magam sem tudtam mindaddig, amíg mi meg nem csináltuk ezt a rendszert, hogy három „példányban” is jelen voltam Scopusban (a cikkeim szét voltak osztva ezen három virtuális kutató között), és írnom kellett nekik, hogy ezeket vonják össze.
Miért hozta létre ezt a rendszert, mi motiválta?
Egyszerű oka van. Éveken át bíráltam az OTKA-nak, és hiába igyekeztem, nem tudtam megállapítani, hogy melyik pályázó az, aki a támogatást megérdemli, lehetetlen volt őket egymással összehasonlítani, mivel mindenki más területen pályázott, más életkorban volt, és máshogy néztek ki a cikkei. Egyébként pont ezek miatt – és erről van egy leközölt tanulmányunk is – az OTKA bírálói általa adott pontok valami egészen döbbenetesen alacsony összefüggést mutatnak azzal, hogy később készül-e közlemény az adott kutatásból.
Tervez valamiféle olyan tréninget, kurzust a PTE-s, vagy akár magyar kutatóknak, amiben megtanítja őket arra, hogy hogyan kell rendesen kezelni ezeket a rendszereket?
A Semmelweis-en már tartottam ilyen kurzust, és a PTE vezetésének is javasoltam ezt. Fontos, hogy megértsük:
a mi rendszerünk nem azt állapítja meg, hogy egy adott kutató az életművét tekintve „kiváló”-e, hanem azt mutatja meg, hogy mennyire aktív és eredményes a jelenben.
Ez elsősorban a pályázatokat bírálók és az agilis PhD-hallgatók számára előnyös, illetve azok számára, akik egy adott tudományterületen az éppen aktív kutatókat szeretnék összefogni.
Ha jól értem, a kutatók előmenetelén is túlmutat a Scientometrics.
Az is egyértelmű, hogy
a megfelelően eredményes kutatási mutatók tovább hatnak az intézményekre is, és a rangsorokban elért helyezésekben is megmutatkoznak. A rangsorok pedig egyre meghatározóbbak azon a téren, hogy melyik intézménybe jelentkeznek a tehetséges hallgatók.
Az egy évvel ezelőtt megjelent tanulmányunk alapján egy felsőoktatási intézmény rangsorban elfoglalt helyére jelenleg leginkább a magasan idézett kutatások számának van a legnagyobb hatása. Ami érthető is: a rangsorok valójában nem tudják mérni, hogy jól oktatják-e például a klasszika filológiát. Az is megfoghatatlan, hogy a hallgatók mennyire elégedettek, hiszen aki éppen az adott az egyetemen tanul, elégedett lesz. Amit mérni lehet, az a kívülállók által az intézményről formált vélemény és az objektíven mérhető tudományos teljesítmény. Utóbbinak a monitorozásához a Scientometrics rendszer is hozzájárulhat.
