Webbladsy / Publikasies / Die toekoms van navorsingsevaluering:...

Die toekoms van navorsingsevaluering: 'n Sintese van huidige debatte en ontwikkelings

Hierdie sinteseverslag word gepubliseer deur die ISC se dinkskrum, die Sentrum vir Wetenskap Toekoms, saam met vennote, die Global Young Academy en die InterAcademy Partnership.

’n Vraag wat wyd deur belanghebbendes regoor die wêreld gedebatteer word, is of huidige navorsingsevalueringstelsels doeltreffend is om navorsing van hoë gehalte te identifiseer en die bevordering van wetenskap te ondersteun. Oor onlangse jare het kommer toegeneem oor die beperkings en potensiële vooroordele van tradisionele evalueringsmaatstawwe wat dikwels die volle omvang van navorsingsimpak en kwaliteit vasvang. Gevolglik was daar 'n groter aanvraag deur belanghebbendes om huidige navorsingsevalueringstelsels te hervorm.

Die debatte rondom die hervorming van navorsingsevaluering fokus op verskeie aspekte van evaluering, insluitend die behoefte aan verskillende en inklusiewe evalueringskriteria, die rol van ewekniebeoordeling en die gebruik van oop wetenskap. Sommige het gewys op die behoefte om te verskuif van fokus op joernaalstatistieke na 'n meer omvattende en kwalitatiewe assessering van navorsingsimpak, insluitend samewerking, datadeling, gemeenskapsbetrokkenheid ...

Die toekoms van navorsingsevaluering gee 'n oorsig van die huidige stand van navorsingsevalueringstelsels en bespreek die mees onlangse aksies, reaksie en inisiatiewe wat deur verskillende belanghebbendes geneem is deur middel van verskeie gevallevoorbeelde van regoor die wêreld. Die doel van hierdie besprekingsdokument is om by te dra tot die voortgesette debatte en oop vrae oor die toekoms van navorsingsevaluering.

Laai die verslag af

'n Opsomming van die kwessies wat geïdentifiseer is, aksies wat geneem is en oorblywende oop vrae gebaseer op die verslag kan in die infografika gevind word:

Klik om die prent te vergroot of laai die PDF-weergawe af van die infografika.

Gebruik ons vertaalinprop om die koerant aanlyn of in jou voorkeurtaal te lees.

'n Dinamiese en inklusiewe navorsingstelsel is uiters belangrik vir beide die wetenskap en die samelewing om fundamentele kennis en begrip te bevorder en om toenemend dringende globale uitdagings aan te spreek. Maar die navorsingstelsel is onder druk as gevolg van toenemende verwagtinge van verskeie akteurs (insluitend befondsers, regerings en die uitgewersbedryf), spanning tussen dinamika van mededinging en samewerking, 'n ontwikkelende wetenskaplike kommunikasiestelsel, 'n aggressiewe – soms – uitgewers- en data-ontledingsbedryf en beperkte hulpbronne. Die navorsingsonderneming moet hierdie eise en spanning bestuur terwyl navorsingskwaliteit gehandhaaf word, navorsingsintegriteit gehandhaaf word, inklusief en divers is en beide basiese en toegepaste navorsing beveilig word.

Oor die afgelope dekade het hierdie druk op, en die behoefte aan responsiwiteit van, die wetenskapsisteem gepaard gegaan met meer kritiese refleksies oor stelsels van navorsingsevaluering en prestasiemeting. Terwyl toepaslike, konteks-sensitiewe metodologieë vir die beoordeling van navorsingskwaliteit en impak belangrik is, het debatte verskerp oor die wye, komplekse en dubbelsinnige uitwerking van huidige evalueringskriteria en maatstawwe op die kwaliteit en kultuur van navorsing, die kwaliteit van bewyse wat beleidmaking inlig, prioriteite in navorsing en navorsingsbefondsing, individuele loopbaantrajekte en navorsers se welstand. In sommige dele van die wêreld is daar 'n groeiende erkenning dat 'n eng en simplistiese stel evaluerende maatstawwe en aanwysers nie die kwaliteit, nut, integriteit en diversiteit van navorsing bevredigend vaslê nie. Metrieke wat gereeld gebruik word – dikwels op joernaal gebaseer – slaag nie daarin om belangrike bykomende dimensies van hoëgehalte-navorsing vas te lê nie, soos dié wat gevind word in mentorskap, data-deel, skakeling met publieke, die koestering van die volgende generasie skoliere en die identifisering en gee van geleenthede aan onderverteenwoordigde groepe. Benewens die omvang van die kwessie van verkeerde toepassing van maatstawwe en aanwysers, word dit ook gesien dat dit aansporings vir prestasie verwring, sommige dissiplines (insluitend noodsaaklike interdissiplinêre en transdissiplinêre navorsing) benadeel en roofsugtige en onetiese publikasiepraktyke aanwakker.

Veldtogte om die verkeerde toepassing van maatstawwe hok te slaan, gehaltekriteria te verbreed en navorsingskultuur meer sistematies te transformeer deur middel van manifes en stellings, beginsels en hervormings het die weg gebaan vir 'n wêreldwye debat oor die behoefte om navorsingsassessering te hervorm. Hierdie stemme vra nou vir 'n skuif van manifeste na aksie. Dit gebeur teen die agtergrond van transformasieverskuiwings in die maniere waarop navorsing onderneem en gekommunikeer word. Die opkoms van oop navorsingsraamwerke en van sosiale media, 'n verskuiwing na missie-georiënteerde en transdissiplinêre wetenskap, die groei in oop portuurbeoordeling en die transformerende potensiaal van kunsmatige intelligensie (KI) en masjienleer vereis nuwe denke oor hoe navorsing en navorsers geëvalueer word .

Teen hierdie agtergrond is die Global Young Academy (GYA), die InterAkademie Vennootskap (IAP) en die Internasionale Wetenskapsraad (ISC) kragte saamgesnoer om bestek te maak van debatte en ontwikkelings in navorsingsevaluering wêreldwyd, met behulp van 'n omvanggroep wetenskaplikes en 'n reeks streekskonsultasies. Nuwe benaderings word ontwikkel en geloods deur hoëronderwysinstellings en navorsingsbefondsers in sommige dele van die wêreld, en verskeie word in hierdie artikel ingesluit. In ander dele van die wêreld is hierdie debatte en aksies aan die begin of selfs afwesig. Met navorsingstelsels wat teen verskillende tempo's ontwikkel, is daar 'n risiko van divergensie en fragmentasie. Sulke divergensie kan die homogeniteit wat nodig is om navorsingsamewerking moontlik te maak en navorsermobiliteit oor verskillende geografiese, sektore en dissiplines te fasiliteer, in gedrang bring. Een grootte kan egter nie almal pas nie en daar is 'n behoefte aan kontekssensitiewe pogings om evaluering te hervorm, met erkenning van plaaslike uitdagings.

Met 'n fokus op navorsing in die openbare sektor en die evaluering van navorsing en navorsers, is hierdie besprekingsdokument wêreldwyd in sy perspektief, wat 'n agenda dek wat tipies oorheers word deur ontwikkelings in Europa en Noord-Amerika: streeksperspektiewe en voorbeelde van nasionale ontwikkeling en institusionele hervorming is uitgelig. Die globale en kollektiewe lidmaatskap van die GYA, IAP en ISC verteenwoordig 'n breë deursnit van die navorsingsekosisteem wie se uiteenlopende mandate ware sistemiese verandering kan fasiliteer. Hierdie artikel poog om as 'n stimulus te dien vir die GYA, IAP en ISC - as platforms vir wedersydse leer, eksperimentering en innovasie - om met hul lede, ander wetenskapinstellings en sleutelgroepe wêreldwyd saam te werk, om gesprekke te inisieer en te vorder, en meer inklusief te mobiliseer en gesamentlike optrede.

Aanbevelings vir die GYA, IAP en ISC en hul lede (sien afdeling 5) is gestruktureer rondom hul rolle as advokate, voorbeelde, innoveerders, befondsers, uitgewers, evalueerders en medewerkers, met 'n aanduiding van tydraamwerke vir aksie. Mees onmiddellik sluit hierdie aksies die skep van ruimte in vir die deel van lesse en uitkomste van relevante inisiatiewe tot dusver (om 'n praktykgemeenskap te bou); op mediumtermyn, mede-sameroeping van multi-belanghebbende-fora met sleutelgroepe om navorsingsevaluering op praktiese, konteks-sensitiewe en inklusiewe maniere te herontwerp en te implementeer; en, op die langer termyn, nuwe studies aan te wakker wat bydra tot toekomsdenke, sensitief vir vinnigbewegende ontwikkelings in KI-tegnologie, ewekniebeoordelingsmetodologieë en hervorming, en kommunikasiemedia.

Kwantitatiewe maatstawwe kan 'n belangrike deel van navorsingsevaluering vorm, in die oorgang na 'n meer oop, verantwoordbare en publiekgerigte navorsingstelsel (Die Royal Society, 2012) [2]. Maar hulle is ook deels verantwoordelik vir die aanvuur van die 'publiseer of vergaan' navorsingskultuur wat wêreldwyd bestaan, met nadelige uitwerking op die kwaliteit van navorsingsuitsette, die integriteit en betroubaarheid van navorsingstelsels en die diversiteit van navorsingsgemeenskappe (bv. Hausstein en Larivière, 2014) [3]. Dit is omdat maatstawwe deur instellings, beleidmakers en navorsingsbefondsers as gevolmagtigdes vir navorsingsgehalte gebruik word, maar dit is 'n maatstaf van uitsette en nie van navorsingskwaliteit of impak per se nie. As sodanig doen hierdie akteurs baie om die sosiale en kulturele konteks waarin navorsing plaasvind te bepaal, en akademie se belonings- en bevorderingstelsels vorm die keuses van wetenskaplikes in alle stadiums van hul loopbaan (Macleod et al., 2014) [4].

"Die gebruik van bibliometriese indekse ... as instaanmaatstawwe vir die prestasie van navorsers is 'n gerieflike indeks van assessering, maar baie gebrekkig. Die meeste plaas 'n meedoënlose fokus op individuele prestasie, dun navorsingsondersteuning uit deur 'n universiteit se belangstelling in hoë-impak-maatstawwe, druk almal uit om 'blokkies te merk' en te konformeer, terwyl hulle 'n belangrike rol speel om die tydskrifpublikasiemark te verwring. Daar is dringende behoefte aan hervorming.”

Opening the Record of Science (2021), die International Science Council

Die ander gemeenskap van belanghebbendes wat groot mag en invloed oor navorsingskommunikasie en kennisproduksie het, is die uitgewersektor. Joernaalgebaseerde statistieke het 'n kragtige aansporing geword om in kommersiële joernale te publiseer en kan gedrag aanspoor wat ernstige newe-effekte kan hê. Eerder as om die uitkomste van navorsing op die wetenskaplike meriete daarvan te beoordeel, is dit die waargenome kwaliteit van die joernaal waarin dit gepubliseer word wat gereeld aanvaar word as bewys van wetenskaplike gehalte, wat 'n hoogs kommersiële uitgewersmark aandryf wat op reputasie eerder as op wetenskap gebaseer is. Ooptoegangskoste word grootliks aangegaan deur outeurverwerkingsheffings (APC's): dit kan buitensporig hoog wees, veral in sommige dele van die wêreld, wat hindernisse tot navorsingspublikasie vir hulpbronarm navorsers skep en moontlik die breuk van die internasionale wetenskapgemeenskap in gevaar stel. Die risiko's om meer en meer afhanklik te word van kommersiële verskaffers en hul gebruiksvoorwaardes in alle stadiums van die navorsingsproses skep 'n sterk argument vir nie-winsgewende alternatiewe. Verder, aangesien bibliometriese aanwysers die dominante bron van aansporings in universiteite verskaf het, het dit die waarde van opvoedkundige en ander vorme van wetenskaplike werk (soos onderrig en beleidsadvies) verminder. Met navorsingsevalueringstelsels wat geneig is om diegene te bevoordeel wat groot toelaes verkry en in joernale met hoë impakfaktore publiseer, is daar bewyse wat daarop dui dat navorsers wat reeds daarin geslaag het, meer geneig is om weer sukses te behaal (die 'Matthew-effek', Bol et al., 2018) [5].

Wanneer vakkundige publikasie 'n metode van assessering eerder as kommunikasie word, benadeel dit diegene wat kies om hul navorsing op ander sinvolle maniere te kommunikeer (ISC se 2021-verslag) [6]. Dit sluit algemene uitsette (en waarskynlik die hoofgeldeenheid) van die Global Young Academy (GYA), die InterAcademy Partnership (IAP) en die International Science Council (ISC) in: verslae, werksdokumente, gesamentlike verklarings, opinie-hoofartikels, nuusitems en webinars . Sommige dissiplines word ook benadeel: byvoorbeeld navorsers in ingenieurswese en rekenaarwetenskap waar (gewoonlik vinniger) kommunikasie deur konferensies en hul verrigtinge belangrik is; en diegene in geestes- en sosiale wetenskappe wat tipies monografieë, boeke en professionele tydskrifte gebruik.

Ander kies om in navorsingspesifieke of plaaslike joernale te publiseer, of kan nie bekostig om hul navorsing (hoe ookal van hoë gehalte) in ooptoegangtydskrifte met hoë impakfaktore (en gepaardgaande hoë APC's) te publiseer nie; laasgenoemde benadeel dié in lae-inkomstelande, veral vroeëloopbaannavorsers (ECR's). Hierdie selfde navorsers is onder intense druk vir vaste akademiese poste en hul gedrag word sterk gekondisioneer deur die kwantitatiewe kriteria wat deur navorsingsbefondsingsagentskappe en institusionele aanstellings- en bevorderingsrade gebruik word. Die versoeking om met aanwysers te dink (Muller en de Rijcke, 2017) [7], en selfs 'spel' die stelsel, is 'n werklikheid vir alle navorsers oral in die wêreld (bv Ansede, 2023) [8].

Manifestasies van hierdie speletjie sluit in navorsers (wetend of onopsetlik) wat roofjoernale en konferensies gebruik om hul publikasietelling 'n hupstoot te gee (IAP, 2022 [vyf]; Elliott et al., 2022 [10]), die smul aan selfaanhaling en vervalsende portuurbeoordelings, plagiaat, impakfaktor-inflasie en 'salami-sny' (verdeling van 'n groot studie wat in 'n enkele navorsingsartikel gerapporteer kon gewees het in kleiner gepubliseerde artikels) (Collyer, 2019) [11]. Onder druk kan navorsers in die versoeking kom om hulle tot roofdienste te wend met die uitsluitlike doel om hul PhD's te kry, gehuur of bevorder te word, of hul navorsingsprojekte te laat finansier (bv. Abad-García, 2018 [vyf]; Omobowale et al., 2014) [13]. Metrieke-gedrewe akademie en akademiese publikasiestelsels dryf verraderlike aansporings: waar 'n navorser publiseer, is belangriker as wat hulle publiseer.

Die impak op die kwaliteit en integriteit van navorsing is uiters kommerwekkend. Die aantal teruggetrekte vakkundige artikels het die afgelope paar jaar dramaties gestyg, as gevolg van navorsing en publisering van wangedrag en swak of bedrieglike datastelle. Tydskrifte kan maande tot jare neem om onbetroubare navorsing terug te trek, teen daardie tyd is dit dalk reeds talle kere aangehaal en in die publieke domein (Ordway, 2021) [14].

Die oorheersing van metriek-gedrewe navorsingsevaluering is ondubbelsinnig en daar is wêreldwyd uiteenlopende neigings wanneer dit kom by assesseringshervorming, wat die risiko loop om dele van die navorsingsgemeenskap agter te laat. In sy ontleding van die globale landskap van navorsingsassessering (Curry et al., 2020 [15]; ingedien), blyk dit dat baie navorsings- en befondsingsinstellings in lande/streke met hoër inkomste 'n breër stel aanwysers begin insluit, soos kwalitatiewe 'impak'-maatreëls, terwyl bibliometrie oorheersend bly in instellings in die 'Globale Suide' [16 ], oor alle dissiplines heen. Sonder meer inklusiewe optrede kan daar 'n uiteensetting van nasionale assesseringstelsels wees, wat moontlik nog verdere sistemiese vooroordeel en potensiële onverenigbaarheid in navorsings-, evaluerings-, befondsings- en publikasiestelsels kan inbring. Dit kan op sy beurt internasionale navorsingsamewerking en die mobiliteit van navorsers inhibeer. Deur hindernisse vir noord-suid-samewerking te skep, kan dit ook die gepaardgaande versterking van navorsingsekosisteme in die globale suide inhibeer – robuuste navorsingsevaluering versterk navorsingsekosisteme en vertroue daarin, verminder die waarskynlikheid van breindrein en help om 'n sterk mensekapitaal vir volhoubare ontwikkeling. Nietemin genereer een-grootte-pas-almal weergawes van wat goeie prestasie uitmaak vorme van gedrag wat nie noodwendig bevorderlik is vir uitnemendheid, regverdigheid, deursigtigheid en insluiting nie. Om die prestasies te meet van skoliere wat gefloreer het in ondersteunende omgewings met goeie hulpbronne waar geleenthede volop is, op dieselfde manier as diegene wat uitdagings beveg het en struikelblokke in vyandige en nie-ondersteunende omgewings oorkom het, is op sy beste twyfelagtig (GYA, 2022) [17]. Baie geleerdes voel historiese en geografiese uitsluiting van die navorsingsgemeenskap, grootliks aangevuur deur die manier waarop hulle deur hul loopbane beoordeel word. Deur sommige vorme van navorsing uit te sluit en te versuim om 'n diversiteit van idees wêreldwyd te benut, is daar 'n risiko dat huidige navorsingsassesseringspraktyke 'n hoofstroom-/volgerkultuur van dominante Westerse-ontwikkelde modelle bevorder.

Navorsers in lande met 'n lae inkomste en in 'n vroeë stadium van hul loopbaan het 'n stem nodig sodat hulle kan help om nuwe evalueringsmodelle op konteks-sensitiewe maniere te vorm wat geskik is vir die doel en verantwoordelik is vir die uitdagings wat hulle daagliks in die gesig staar. dag basis. Die GYA en groeiende aantal Nasionale Jong Akademies gee ECRs hierdie stem, en die GYA se Werkgroep oor Wetenskaplike Uitnemendheid [18] bied sy sienings oor die hervorming van navorsingsevaluering (sien teks hieronder).

Sienings vanuit die vroeëloopbaannavorsergemeenskap

Vroeë loopbaannavorsers (EKR's) is veral bekommerd oor die praktyke van navorsingsevaluering omdat hul loopbaanvooruitsigte en strewe na hul navorsingsagenda deurslaggewend afhang van hoe hulle geëvalueer word. Dit lig befondsing, huur en bevorderingspraktyke in op maniere wat nie altyd as billik en billik beskou word nie.

Alhoewel dit duidelik is dat besluite oor befondsing en menslike hulpbronne die samestelling van die arbeidsmag van navorsers beïnvloed, word dit nie altyd erken dat navorsingsevaluering deur die impak daarvan op befondsing aansporings vorm vir instellings en navorsers om 'n sekere navorsingstrajek te volg, werk in 'n sekere veld of sluit aan by sommige netwerke bo ander. Op hierdie manier vorm navorsingsevaluering die ontwikkeling van die wetenskap self, en dit is veral waar in verband met die buitensporige impak daarvan op die vooruitsigte en verwagtinge van EKR'e.

Alhoewel wetenskap 'n wêreldwye onderneming is, staar sommige geleerdes voor hoër hindernisse om die navorsingsgemeenskap te betree en betrokke te raak as gevolg van waar hulle gebore is, hul identiteit of sosio-ekonomiese agtergrond. Dit is 'n kwessie van organisasie van die wetenskapbedryf en nie van navorsingsevaluering per se nie, maar baie ECR's voel dat evalueringskriteria nie blind moet wees vir hierdie realiteit van navorsers se ervaring nie, en nie eenvormige en gestandaardiseerde kriteria aan verskillende situasies moet oplê nie.

Navorsing wat deur die Scientific Excellence Working Group van die GYA (komende verslag) gedoen is, toon dat navorsingsassessering meer deur 'n land se navorsingsbeleid as deur kulturele of wetenskaplike debatte gedryf kan word. Met die fokus op bevorderingskriteria tot volle professoraat (of ekwivalent) in die akademie, toon die verslag dat nasionale beleide en instellings geneig is om spesifieke dokumente te hê wat hul kriteria vir navorsingsevaluering uiteensit. Eerder as om 'n groot en uiteenlopende stel kriteria te bevat wat gebruik kan word om 'n omvattende siening van 'n navorser te vorm, is hierdie dokumente geneig om op 'n enkele dimensie of prioriteit te fokus. Sommige dokumente fokus byvoorbeeld op die evaluering van 'n navorser se diensaktiwiteite (soos onderrig en mentorskap) of sommige op 'n navorser se opgehoopte uitset (byvoorbeeld in terme van aantal tydskrifartikels) – maar selde albei.

Daar is twee hoofimplikasies van hierdie bevinding. Eerstens is daardie navorsingsassessering hiërargies en van bo af. Dit skep 'n risiko, in soverre beide metrieke en kwalitatiewe metodes dikwels die diversiteit van navorsers ignoreer: beide in hul agtergrond en loopbaanpaaie, en – ewe belangrik – diversiteit in hul metodes en idees. Daarteenoor voel EKR'e wat in die GYA verteenwoordig word dit sal belangrik wees om die diversiteit van aktiwiteite wat nodig is vir die navorsingsonderneming te erken, en om navorsingsevalueringskemas te ontwerp wat diversiteit en pluralisme bevorder eerder as om konformiteit en homologasie te verplig.

Tweedens is verskille tussen dissiplines minder betekenisvol as verskille volgens die ekonomiese status van lande waarin 'n navorser werk. Laerinkomstelande maak blykbaar op kwantitatiewe maatstawwe staat en beloon 'produktiwiteit', terwyl hoërinkomstelande toenemend meer oop is vir kwalitatiewe beoordeling van impak. Sou hierdie divergensie verder ontwikkel, kan dit 'n verdere struikelblok wees vir die internasionale mobiliteit van skoliere - wat veral belangrik is vir ECR'e.

Ten slotte beklemtoon die GYA-verslag dat daar geen silwer koeël is nie: navorsingsevaluering moet gerig wees op die doelwitte van evaluering, en uiteindelik die doelwitte van 'n instelling of 'n land se navorsingsbeleid. Evaluering moet voorsiening maak vir die diversiteit van navorserprofiele en loopbane, en 'n ander fokus aanneem na gelang van die doel van die evaluering. Omdat wetenskap 'n globale en selfkritiese gesprek is, is 'n eksterne evaluering dalk nie altyd nodig nie. Inderdaad, die gebruik en werklike waarde van afskuwelike ranglyste (van mense, instellings, afsetpunte of selfs hele lande) word dikwels gedebatteer.

Die maniere waarop navorsing aangevra, befonds, uitgevoer en gekommunikeer word, ontwikkel vinnig en vereis die versnelling van navorsingsevalueringshervorming. Hulle sluit die volgende in:

(1) Die oorgang na oop wetenskap

Die oopwetenskapbeweging vereis gepaardgaande hervorming van navorsingsevalueringstelsels om openheid en deursigtigheid te verbeter. Baie van die maatstawwe en aanwysers wat gebruik word om navorsingsprestasie te meet, is self ondeursigtig en word gereeld agter geslote kommersiële deure bereken. Hierdie gebrek aan deursigtigheid kompromitteer die outonomie van die navorsingsgemeenskap – dit beperk opsies vir die evaluering, toetsing, verifiëring en verbetering van navorsingsaanwysers (Wilsdon et al., 2015 [23]). Verantwoordelike navorsingsassessering is besig om 'n kernaspek van globale bewegings na oop wetenskap te word, soos getuig, byvoorbeeld, in die Verenigde Nasies se Opvoedkundige, Wetenskaplike en Kulturele Organisasie (UNESCO) se aanbeveling oor oop wetenskap (UNESCO, 2021 [24]) – wat die ontwikkeling van 'n Open Science Toolkit vir sy lede insluit om hulle te help om hul navorsingsloopbaanassesserings en -evalueringskriteria te hersien en te hervorm [25].

(2) Ontwikkelings in portuurbeoordeling

Die groei van oop portuurbeoordeling – hetsy die publikasie van portuurbeoordelingsverslae en/of openbare identifikasie van beoordelaars – is 'n belangrike ontwikkeling vir navorsingsevaluering (Barroga, 2020 [vyf]; Woods et al., 2022 [27]). Die groei van data-infrastruktuur het uitgewers in staat gestel om Digital Object Identifiers (DOI's) vir ewekniebeoordelingsverslae te genereer, ewekniebeoordelingsverslae aan individuele Open Researcher and Contributor ID's (ORCID's) te koppel en referate as voordrukke te publiseer. Die aantal voordrukke het aansienlik gegroei tydens die wêreldwye COVID-pandemie en het die uitdagings blootgelê wat in die evaluering van navorsing in die vinnige reaksie-modus gestel is. Nietemin kan oop portuurbeoordelingspraktyke – hetsy voor- of na-publikasie – help om die beheer wat kommersiële uitgewers het oor navorsingskommunikasie en kennisproduksieprosesse te ontwrig, wat die krag van die wetenskaplike joernaal en gepaardgaande maatstawwe soos JIF's verminder. Oop rekords van portuurbeoordelingsaktiwiteite kan ook infrastruktuur verskaf om te dokumenteer – en mettertyd groter waarde te genereer in – portuurbeoordelingsaktiwiteite, wat 'n noodsaaklike professionele diens is wat dikwels grootliks onsigbaar en onderwaardeer word binne akademiese assesserings (Kaltenbrunner et al., 2022 [28]).

(3) Die toepassing van kunsmatige intelligensie en masjienleer

Tegnologiese vooruitgang in kunsmatige intelligensie (KI) en masjienleer sal waarskynlik diepgaande gevolge hê vir navorsingsevaluering, insluitend portuurbeoordelingsprosesse wat dit ondersteun (bv. Holm et al., 2022 [vyf]; Proctor et al., 2020 [30]). KI word reeds gebruik om portuurbeoordeling te stroomlyn en te versterk (Nature, 2015 [31]; Natuur, 2022 [32]), toets die kwaliteit van portuurbeoordeling (Severin et al., 2022 [33]), toets die kwaliteit van aanhalings (Gadd, 2020 [34]), plagiaat opspoor (Foltýnek et al., 2020 [35]), vang navorsers wat data dokter (Quach, 2022 [36]) en vind ewekniebeoordelaars, wat toenemend 'n tekort het omdat hierdie werk nie die krediet kry wat dit in navorserevaluering verdien nie. 'Gespreks-KI', soos ChatGPT (Chat Generative Pre-Trained Transformer), het die vermoë om eksperimente te ontwerp, manuskripte te skryf en te voltooi, portuurbeoordeling uit te voer en redaksionele besluite te ondersteun om manuskripte te aanvaar of te verwerp (Natuur, 2023 [37]). Daar is ook potensiaal vir KI om die doeltreffendheid van portuurbeoordeling te verbeter deur algoritmes te gebruik om die las van portuurbeoordelaars as beoordelaars van navorsingsuitsette te verlig (Natuur, 2022 ). Die gebruik van KI word reeds in China geloods om skeidsregters te vind (Natuur, 2019 [39]).

Al hierdie KI-toepassings kan hierdie las verminder en ervare kundiges toelaat om hul oordeel op navorsingskwaliteit en meer komplekse assesserings te fokus (Thelwall, 2022 [40]). Maar hulle loop ook die risiko om vooroordele te propageer omdat dit voorspellende tegnologieë is wat bestaande data versterk wat bevooroordeeld kan wees (byvoorbeeld deur geslag, nasionaliteit, etnisiteit of ouderdom): inderdaad, die gebruik van KI self kan baat vind by 'n dieper begrip van wat 'kwaliteit' is. ' navorsing (Chomsky et al., 2023 [vyf]; ISI, 2022 [42]).

Alle vorme van KI en masjienleer is egter van kardinale belang vir misbruik (Blauth et al., 2022 [43]; Bengio, 2019 [44]). Akademiese en navorsingsgemeenskappe sal paraatheid en veerkragtigheid hiervoor moet bou, saam met regerings-, nywerheids- en burgerlike leierskap wat hierdie ruimte beheer.

(4) Die opkoms van sosiale media

Konvensionele kwantitatiewe maatstawwe van navorsingsimpak hou nie rekening met die toename in sosiale media-betrokkenheid en sosiaal-genetwerkte navorsers/akademici nie (Jordaan, 2022 [45]). Baie akademici gebruik sosialemediaplatforms om gemeenskappe, beleidmakers en publieke regdeur die leeftyd van hul navorsingsprojek te betrek; om hul navorsing positief te betrek, te toets en in te lig, en 'n verskeidenheid idees en insette te bring, eerder as om bloot die finale uitset as 'n voldonge feit vir 'n ontvanger gehoor te publiseer. Hierdie betrokkenheid word nie deur konvensionele vorme van navorsingsassessering opgetel nie, maar kan lei tot wyer invloed- en uitreikgeleenthede. Sosiale media statistieke ('altmetrics') word ontwikkel as 'n bydrae tot verantwoordelike statistieke (Wouters et al., 2019 [4]) en sluit byvoorbeeld Twitter- of Facebook-vermeldings en die aantal volgers op ResearchGate in. Aan die een kant kan hierdie altmetrieke help om oop te maak, ruimte te skep en evaluering te verbreed (Rafols en Stirling, 2021 [47]), maar kan aan die ander kant - soos ander aanwysers - ook onverantwoordelik gebruik word en/of gesien word om nog 'n laag metrieke in evalueringstelsels op te lê.

Uitdagings vir die hervorming van navorsingsevaluering is veelvuldig. 'n Paar van die belangrikste word hier geïllustreer.

Enige hervorming wat meer kwalitatiewe maatreëls insluit, moet – terselfdertyd – die kwaliteit van basiese en toegepaste navorsing beveilig. Daar is anekdotiese bewyse dat sommige wetenskaplikes self hervorming teenstaan, miskien veral gevorderde loopbaannavorsers wat in die huidige stelsel gefloreer het, omdat hulle vrees dat dit die risiko loop om middelmatige navorsing aan te wakker, of dat meer kwalitatiewe vorme van evaluering toegepas bo basiese navorsing kan bevoordeel. Hervorming van navorsingsevalueringskriteria is geneig om geraam te word rondom bewegings na missie-georiënteerde, maatskaplik impakvolle navorsing wat 'n beroep doen op openbare en politieke steun op 'n manier wat minder tasbare basiese of blou-hemel-navorsing dalk nie. Sommige argumenteer dat 'n meer genuanseerde interpretasie van navorsing se 'waarde' nodig is om innovasie te ondersteun, aangesien die toekoms volgehoue investering in fundamentele, nuuskierigheidgedrewe navorsing en 'n groter waardering van die deurslaggewende rol wat dit speel in die kapasiteit om op globale uitdagings te reageer vereis (GYA, 2022 [48]).

Die gebrek aan konsekwentheid in die betekenis en gebruik van navorsingsterminologie, meer algemeen, is 'n hindernis vir verandering. Die konseptuele raamwerk vir navorsingsevaluering het nie wesenlik verander met verloop van tyd nie, en ook nie die taal wat dit ondersteun nie: die navorsingsisteem is steeds vasgevang in ou digotomieë soos 'basiese' en 'toegepaste' wetenskap, en terme soos 'impak', 'kwaliteit' (onbehulpsaam gelykgestel aan produktiwiteit) en 'uitnemendheid' word nie duidelik gedefinieer op 'n manier wat geografiese, dissiplinêre, loopbaanstadium en geslagsvooroordeel vermy nie (Jong et al., 2021 [49]): dit kan veral akuut wees in besluitnemingspanele wat nie diversiteit het nie (Hatch en Kerrie, 2020 )[50].

Soos metriek-gedrewe evaluering, is meer kwalitatiewe vorme van evaluering ook onvolmaak. Om die argument te maak dat ewekniebeoordelingsprosesse en deskundige oordeel minstens so belangrik soos bibliometrie is, is nie eenvoudig nie. Hulle kan bevooroordeeld wees as gevolg van die gebrek aan duidelikheid en deursigtigheid in die portuurbeoordelingsproses. Ewekniebeoordelingskomitees is byvoorbeeld gekritiseer as meganismes wat gevestigde vorme van mag en bevoorregting bewaar deur 'ou seunsnetwerke' en homofilie (evalueerders wat mense soos hulleself soek) in staat te stel om voort te hou, terwyl hulle ook kwesbaar is vir groepdenkdinamika. Kwantitatiewe maatstawwe, hoe onvolmaak ook al, word in sommige dele van die wêreld gesien as 'n verdediging teen nepotisme en vooroordeel. Soortgelyke argumente kan toegepas word op die portuurbeoordeling van navorsingsartikels, met die gebruik van meer kwalitatiewe assessering wat moontlik die deur oopmaak vir ander vorme van diskriminerende gedrag.

Die gebrek aan professionele erkenning van, en opleiding vir, portuurbeoordeling in enige vorm skep ontmoedigings om as portuurbeoordelaar te dien, en sodoende kapasiteit verminder. Verder, aangesien die vraag die aanbod oorskry, kan dit aansporings skep om hoeke te sny en strengheid te verminder. Verhoging van portuurevaluering deursigtigheid (hetsy heeltemal oop, geanonimiseer of hibriede) en opleiding, bevordering en beloning van goeie portuurbeoordelingspraktyk is alles nodig; net soos verdere navorsing oor modelle vir die evolusie daarvan namate navorsingsuitsette diversifiseer (IAP, 2022 [51]) en KI-tegnologie vorder.

Debatte oor navorsingsevalueringshervorming is kompleks en nie binêr nie. Kwalitatiewe en kwantitatiewe inligting is dikwels in ewekniebeoordelingskontekste gekombineer: stellings soos die Leiden Manifesto for Research Metrics (Hicks et al., 2015 [52]) vra vir 'ingeligte ewekniebeoordeling' waarin deskundige oordeel ondersteun – maar nie gelei word deur – toepaslik geselekteerde en geïnterpreteerde kwantitatiewe aanwysers en deur kwalitatiewe inligting. Die debat oor navorsingsevaluering is nie 'n binêre 'kwalitatiewe versus kwantitatiewe' keuse van evalueringsinstrumente nie, maar hoe om die beste kombinasie van veelvuldige vorme van inligting te verseker.

Ten slotte moet enige hervorming ook gerieflik en uitvoerbaar wees. Die navorsingstelsel toon reeds tekens van ineenstorting onder homself, aangesien die volume publikasies eksponensieel toeneem en die las van resensie oneweredig oor die navorsingsonderneming val (bv. Publons, 2018 [vyf]; Kovanis et al., 2016 [vyf]; Natuur, 2023 [55]). Joernaalgebaseerde maatstawwe en die h-indeks, tesame met kwalitatiewe idees van uitgewersprestige en institusionele reputasie, kan gerieflike kortpaaie vir besige evalueerders bied en struikelblokke tot verandering bied wat diep in akademiese evaluering gevestig geraak het (Hatch en Kerrie, 2020 [56]). Kwantitatiewe maatstawwe word in sommige lande beskou as 'n relatief duidelike en ondubbelsinnige roete vir aanstelling en bevordering. In die 'Globale Suide' word gemiddelde impakfaktore gereeld gebruik om aansoekers te kortlys, en enige alternatief moet ewe implementeerbaar wees en kan gebruik maak van die bykomende hulpbronne wat onvermydelik benodig word om die omvang van evaluering te verbreed. Die gerief van die gebruik van eenvoudige kwantitatiewe maatstawwe in navorsingsevaluering sal waarskynlik 'n groot struikelblok vir verandering wees, en die bekendstelling van nuwe evalueringstelsels kan selfs meer globale ongelykheid skep weens 'n gebrek aan kapasiteit of bevoegdheid in sommige lande.

Van die globale inisiatiewe hierbo genoem, die 2013 San Francisco 'Verklaring oor Navorsingsassessering' [64] (DORA) is miskien die mees aktiewe wêreldwye inisiatief. Dit het probleme gekatalogiseer wat veroorsaak word deur die gebruik van tydskrif-gebaseerde aanwysers om die prestasie van individuele navorsers te evalueer en verskaf 18 aanbevelings om sulke evaluering te verbeter. DORA ontmoedig kategories die gebruik van joernaal-gebaseerde statistieke om 'n navorser se bydrae te assesseer of wanneer dit soek om te huur, te bevorder of te finansier. Vanaf middel April 2023 is die verklaring onderteken deur 23,059 160 ondertekenaars (instellings en individue) in XNUMX lande, wat hulle tot hervorming verbind het. Met 'n fokus op die navigasie van die intrinsieke uitdagings en aangebore vooroordele van kwalitatiewe assessering, ontwikkel DORA Gereedskap om navorsingsassessering te bevorder (TARA) [65] om te help om die verklaring in die praktyk te bring: hierdie instrumente sluit 'n paneelbord in om innoverende beleide en praktyke in loopbaanassessering te indekseer en te klassifiseer, en 'n gereedskapstel van hulpbronne om komiteesamestelling te help om die komitee te benadeel en om verskillende, kwalitatiewe vorme van navorsingsimpak te erken.

Boonop befonds DORA tien projekte – in Argentinië, Australië, Brasilië, Colombia (2), Indië, Japan, Nederland, Uganda en Venezuela – om verskillende maniere te toets om hervorming in navorsingsevaluering in hul plaaslike kontekste te bevorder, asook voorbeelde van goeie praktyk saam te stel: byvoorbeeld bewusmaking, ontwikkeling van nuwe beleid of praktyk, opleiding en praktiese leiding vir werksaansoekers (DORA [66]). Die aanvraag vir toelaes van hierdie soort was groot – meer as 55 aansoekers uit 29 lande – wat dui op 'n groeiende erkenning van die behoefte aan hervorming.

Professionele navorsingsbestuurverenigings soos die International Network of Research Management Societies (INORMS) het ook aktief hulpbronne ontwikkel om organisatoriese verandering te lei, insluitend die OMVANG Raamwerk Navorsingsevalueringsgroep | INORMS – Die INORMS OMVANG raamwerk vir navorsingsevaluering [67] wat begin deur te definieer wat gewaardeer word, wie geëvalueer word en hoekom ('n nuttige verduidelikende plakkaat na hierdie skakel [68]).

Die internasionale ontwikkelingsektor het nuwe perspektiewe op navorsingsevaluering gebied, 'n uitstekende voorbeeld daarvan Navorsingskwaliteit Plus | IDRC – Internasionale Ontwikkelingsnavorsingsentrum [69], wat meet wat vir mense saak maak aan die ontvangkant van navorsing. Die Navorsingskwaliteit Plus (RQ+)-instrument erken dat wetenskaplike meriete nodig is, maar nie voldoende nie, met erkenning van die deurslaggewende rol van die gebruikersgemeenskap om te bepaal of navorsing relevant en wettig is. Dit erken ook dat navorsingsopdatering en -invloed tydens die navorsingsproses begin. Navorsingsaansoeke word dikwels deur hoogs interdissiplinêre panele beoordeel, wat ook ontwikkelingskundiges van buite die akademie (bv. 'n staatsdepartement of nie-regeringsorganisasie (NRO)), praktisyns en verteenwoordigers in die land bevat: dit versterk die belangrikheid van die gebruikersgemeenskap/nie-vakkundiges wat nodig is om die navorsing te verstaan en hoe dit in die praktyk toegepas kan word. Navorsing in komplekse, lae-inkomste of brose omgewings kan vergesel word van 'n etiese gereedskapstel of raamwerk, wat ontwerp is om etiese keuses in die navorsingslewensiklus in te lig en te ondersteun, van begin tot verspreiding en impak, bv. Reid et al., 2019 [70]. 'Teorie van Verandering'-benaderings word wyd gebruik in internasionale ontwikkelingsnavorsing deur skenkers, NRO's en multilaterale agentskappe, waar aansoekers paaie na impak moet artikuleer, ondersteun deur monitering, evaluering en leerraamwerke, bv. Valters, 2014 [71]. Die akademiese navorsingsgemeenskap kan moontlik by die ontwikkelingsgemeenskap leer.

Met erkenning van die rol van befondsers in die vorming van die strategieë van HOI's, het die Global Research Council (GRC) se Verantwoordelike Navorsingsassessering (RRA)-inisiatief [72] het groot navorsingsbefondsers regoor die wêreld aangespoor om te werk aan RRA-ambisies in hul eie streeks- en nasionale kontekste en om effektiewe evalueringsraamwerke te ontwikkel om impak te assesseer (verduidelikende video na hierdie skakel [73]). Ingebruikneming van 'n werksdokument oor RRA (Curry et al., 2020 [74]), het die GRC 'n beroep op sy lede gedoen om RRA-beginsels vas te lê en konkrete aksie te neem om dit te vervul, en om van mekaar te leer deur samewerking en die deel van goeie praktyke. An internasionale werkgroep [75] verskaf leiding en ondersteuning aan GRC-lede, wat hulle help om van beweging na aksie oor te skakel.

Grootliks deur die pogings van die GYA begin ECR's hulself ook rondom hierdie agenda mobiliseer. Sy Werkgroep oor Wetenskaplike Uitnemendheid [76] werk daaraan om navorsingsomgewings te identifiseer wat bevorderlik is om 'nuuskierigheid en kreatiwiteit in die wetenskap los te laat en om die ontwikkeling van menslike potensiaal deur diversiteit en insluiting te bevorder'. Hul werk doen 'n beroep op die ECR-gemeenskap om definisies van 'uitnemendheid' wat deur hul organisasies gebruik word uit te daag, om betrokke te raak by inisiatiewe om navorsingsevaluering te hervorm en om by die Young Academies-beweging aan te sluit. Dit doen ook 'n beroep op befondsings- en huurliggame om ECR's by navorsingsevalueringsdebatte te betrek en 'n breër diversiteit van bydraes tot, en loopbane in, navorsing te erken.

Alhoewel sommige universiteite en ander HOI's ondertekenaars van DORA is en/of by die Europese beweging aansluit (hieronder beskryf), lyk dit nie of hulle hulself gesamentlik rondom navorsingsevaluering organiseer op die manier wat ander sleutelgroepe is nie.

Die EU-koalisie oor hervorming van navorsingsevaluering [80], of CoARA, goedgekeur in Julie 2022, is die grootste inisiatief oor navorsingsevalueringshervorming in die wêreld. Vier jaar in wording en ontwikkel deur 350 organisasies in 40 (grootliks Europese) lande, het die European University Association en Science Europe ('n netwerk van die vasteland se wetenskapbefondsers en akademies), in samewerking met die Europese Kommissie, 'n ooreenkoms of stel ontwikkel. van beginsels ('n 'hervormingsreis'), vir meer inklusiewe en verantwoordelike navorsingsevaluering (CoARA, 2022 [81]). Die ooreenkoms fokus op drie vlakke van assessering: instellings, individuele navorsers en die navorsing self. Terwyl dit deur Europese vennote bestuur word, het die koalisie ambisies om wêreldwyd te word en beide DORA en die GYA is reeds ondertekenaars. Ondertekenaars onderneem om hulpbronne te verbind om navorsingsevaluering te verbeter, nuwe kriteria en instrumente vir evaluering te ontwikkel, en bewustheid te kweek en opleiding oor navorsingsevaluering te verskaf (bv. aan portuurbeoordelaars). Hierdie ontwikkeling is beskryf as 'die mees hoopvolle teken nog van werklike verandering' (Natuur, 2022 [82]).

Die EU befonds ook 'n paar opwindende nuwe inisiatiewe wat ontwerp is om navorsingsevalueringshervorming te ondersteun: veral oop en universele wetenskap (OPUS [83]) – om 'n 'omvattende reeks' aanwysers oor veelvuldige navorsingsprosesse en -uitsette te ontwikkel, en daardeur Europese navorsers aan te spoor om oop wetenskap te beoefen – en die oop wetenskap-assesseringsdataruimte GraspOS [84] – om 'n oop dataruimte te bou om beleidshervorming vir navorsingsevaluering te ondersteun.

Die Europese Navorsingsraad (ERC), wat grensnavorsing oor alle velde ondersteun (met 'n begroting van € 16 miljard vir 2021–2027) het CoARA onderteken en sy evalueringsvorms en prosesse gewysig om meer narratiewe beskrywings in te bou, insluitend rekeningkunde vir minder konvensionele loopbaanpaaie en 'uitsonderlike bydraes' tot die navorsingsgemeenskap. Voorstelle sal meer beoordeel word op grond van hul meriete as op grond van die vorige prestasies van die aansoeker en sal voortgaan om geëvalueer te word deur ewekniebeoordelingspanele wat saamgestel is uit vooraanstaande vakkundiges wat die enigste maatstaf van wetenskaplike uitnemendheid gebruik (ERC, 2022 [85]).

Sommige Europese akademies is ook betrokke. Die Raad van ALLEA [86], die Europese Federasie van Akademies vir Wetenskappe en Geesteswetenskappe, wat nege van die meer as 50 nasionale akademies in 40 Europese lande verteenwoordig, het die CoARA-beweging onderskryf. ALLEA het onderneem om 'n toegewyde taakmag te stig om goeie praktyke vir die toelating van nuwe Akademielede in te samel, uit te ruil en te bevorder. Fellows en om by te dra tot 'betekenisvolle kulturele uitruiling' van navorsingsassessering, gebaseer op beginsels van kwaliteit, integriteit, diversiteit en openheid. In sy 2022 Oktober verklaring , ALLEA doen 'n beroep op lede-akademies om die volgende te doen:

1. Erken die diversiteit van bydraes tot, en loopbane in, navorsing in ooreenstemming met die behoeftes en aard van die navorsing; in die geval van Akademie-genote, moet keuringsprosedures (1) geslagsbalans en die unieke uitdagings van vroeë loopbaannavorsers in ag neem, (2) diversiteit van kulture en dissiplines ondersteun, (3) 'n verskeidenheid bevoegdheidsareas en talente waardeer, en (4) interdissiplinariteit en veeltaligheid bevorder.

2. Baseer navorsingassessering hoofsaaklik op kwalitatiewe evaluering waarvoor portuurbeoordeling sentraal staan, ondersteun deur verantwoordelike gebruik van kwantitatiewe aanwysers; assessering van uitnemendheid en impak met betrekking tot kandidaat-genote se werk moet gebaseer wees op kwalitatiewe portuurbeoordeling wat voldoen aan die fundamentele beginsels van strengheid en deursigtigheid en die spesifieke aard van die wetenskaplike dissipline in ag neem.

3. Laat vaar die onvanpaste gebruik van tydskrif- en publikasie-gebaseerde maatstawwe in navorsingsassessering; dit beteken veral om weg te beweeg van die gebruik van maatstawwe soos die Journal Impact Factor (JIF), Article Influence Score (AIS) en h-indeks as dominante gevolmagtigdes vir kwaliteit en impak.

Allea-verklaring oor hervorming van navorsingsevaluering binne die Europese akademies

In hul gesamentlike reaksie [87] tot die EU-ooreenkoms en CoARA-koalisie, het die ECR-gemeenskap in die GYA ook hierdie verbintenis verwelkom en bied maniere om die beginsels daarvan te implementeer. Dit sluit praktyke in wat inklusief is en die diversiteit van nasionale spesifisiteite en dissiplines se kenmerke weerspieël, met navorsers van alle loopbaanfases wat opleiding, aansporings en belonings ontvang, met verpligte opleiding oor oop wetenskap vir navorsers, personeel en komiteelede wat noodsaaklik is.

Navorsingsintensiewe universiteite in Europa het ook agter die hervorming van navorsingsevaluering gekom as 'n pad vir 'multidimensionele' navorsingsloopbane (Overlaet, B., 2022 [88]). Hulle het 'n gemeenskaplike raamwerk ontwikkel om universiteite te inspireer en te ondersteun om 'n diversiteit van bydraes in navorsing, onderwys en diens aan die samelewing te erken.

Op nasionale vlak loods verskeie lande nou verskillende assesseringsmodelle: byvoorbeeld nasionale befondsingsagentskappe in België, Nederland, Switserland en UK gebruik almal 'narratiewe CV's'. Narratiewe CV's kyk meer holisties na akademiese prestasie: bydrae tot die generering van kennis, tot die ontwikkeling van individue, tot die breër navorsingsgemeenskap en tot die breër samelewing (Royal Society [89]). Alhoewel daar toenemende steun vir hierdie tipe CV's is, is daar ook 'n mate van kommer dat dit akademici dwing om goed in alles te wees, en dus die gevaar loop om diep kundigheid in die strewe na 'n all-round status te benadeel (Grove, J., 2021 [90]).

Vier voorbeelde van nasionale navorsingstelsels wat landwye hervormings in beroepsgerigte akademiese assesserings koördineer, is in die volgende tekskassies ingesluit.

Nasionale voorbeeld: die Verenigde Koninkryk

Die UK Research Evaluation Framework (REF) meet navorsingsimpak deur twee dimensies: 'betekenis' (die tasbare verskil wat 'n projek maak) en 'bereik' (die kwantifiseerbare mate waarin dit dit doen) (UKRI). Impak word hier gedefinieer as ''n effek op, verandering of voordeel vir die ekonomie, samelewing, kultuur, openbare beleid of dienste, gesondheid, die omgewing of lewenskwaliteit, buite die akademie', maar verder is dit baie oop, dissipline- veranderlik en waarskynlik dubbelsinnig, versuim om byvoorbeeld voldoende rekening te hou met openbare betrokkenheid.

Die VK se REF word in 2022–2023 onder die Toekomstige Navorsingsassesseringsprogram om moontlike nuwe benaderings tot die assessering van Britse hoëronderwysnavorsingsprestasie te verken, en sluit begrip van internasionale navorsingsevalueringspraktyk in. Die volgende iterasie van die REF sal moontlik verantwoordelik wees vir 'n meer diverse stel uitsette en dalk selfs die belangrikheid wat daaraan geheg word, verminder. Die huidige model heg 60% aan uitsette, 25% aan navorsingsimpak en 15% aan navorsingskultuur/-omgewing. As hierdie meer eweredig geweeg was, sou die REF baie anders lyk, met meer belangrikheid geheg aan navorsingskultuur, navorsingsintegriteit en spanwerk (Grove, 2020).

Nasionale voorbeeld: Finland

In 2020 het Finland se Federasie van Geleerde Verenigings 'n taakspan van navorsingsbefondsers, universiteite en vakbonde gekoördineer wat die verklaring gepubliseer het Goeie praktyk in navorsingsassessering. Dit stel riglyne uiteen vir die volg van 'n verantwoordelike proses vir assessering van individuele akademici, insluitend vyf algemene beginsels van evaluering: deursigtigheid, integriteit, regverdigheid, bekwaamheid en diversiteit. Goeie Praktyk in Navorsingsassessering doen 'n beroep op navorsingsintegriteit, opvoeding en mentorskap, en wetenskaplike diens (bv. portuurbeoordeling) om beter erkenning te kry in die beoordeling van individue se akademiese bydraes. Die stelling beskou assesserings as nie bloot om summatiewe oordele te lewer nie: dit moedig ook evalueerders aan om terugvoer te deel met individue wat geëvalueer word om terugvoer en leer te fasiliteer.

Navorsingspresterende organisasies en navorsingsbefondsingsorganisasies het almal daartoe verbind om Goeie Praktyk in Navorsingsassessering te implementeer en hul eie plaaslike variasies op die leiding te genereer, en 'n nasionale navorserportefeulje CV-model word ontwikkel. Goeie Praktyk in Navorsingsassessering verbind tot gereelde hersiening en verfynings.

Nasionale voorbeeld: Nederland

In Nederland het die nasionale Erkenning- en Beloningsprogram in 2019 begin, met die publikasie van die posisieverklaring Ruimte vir Almal se Talent. Hierdie landwye samewerking tussen die Koninklike Nederlandse Akademie van Kuns en Wetenskappe (KNAW – 'n IAP- en ISC-lid), navorsingsbefondsers, universiteite en mediese sentrums verklaar dat stelselwye modernisering van navorsingsevalueringskulture moet plaasvind. Deur dit te doen, lê dit vyf ambisies vir verandering in assesseringsprosedures uiteen: groter loopbaandiversiteit, erkenning van individuele en spanprestasie, prioritisering van kwaliteit van werk bo kwantitatiewe aanwysers, oop wetenskap en akademiese leierskap.

Sedert 2019 het Nederlandse universiteite beweeg om hul eie plaaslike vertalings van die nasionale visieverklaring in werking te stel. Terselfdertyd het befondsingsagentskappe meer 'narratiewe CV'-formate geïnisieer en opgehou om bibliometriese inligting aan te vra, met verwysing na San Francisco DORA as 'n inspirasie. Die Nederlandse Navorsingsraad het baie onlangs na 'n 'bewysgebaseerde' CV waarin sommige kwantitatiewe inligting gebruik kan word. Die KNAW het ook sy eie ontwikkel driejaarplan om die Erkenning- en Beloningsagenda intern te implementeer. 'n Voltydse programbestuurder en span is aangestel om die Hervormingsprogram vir Erkenning en Belonings te fasiliteer, en 'n 'Erkennings- en Beloningsfees' word jaarliks onder groot hervormingsbelanghebbendes gehou om gemeenskapswye leer te ondersteun.

Ten slotte, gefinansier deur 'n DORA Gemeenskapsbetrokkenheid-toekenning, die Young Scientist in Transition-inisiatief vir PhD-studente, gebaseer in Utrecht, het 'n nuwe evalueringsgids vir PhD's ontwikkel in 'n poging om navorsingskultuur te verander.

Nasionale voorbeeld: Noorweë

In 2021 het Noorweë, Universiteite Noorweë en die Noorse Navorsingsraad gepubliseer NOR-CAM – 'n Gereedskapskis vir erkenning en belonings in akademiese assesserings. NOR-CAM verskaf 'n matriksraamwerk vir die verbetering van deursigtigheid en die verbreding van die evaluering van navorsing en navorsers weg van eng bibliometries-ingeligte aanwysers. NOR-CAM staan vir Norwegian Career Assessment Matrix, en is aangepas vanaf 'n 2017 verslag deur die Europese Kommissie wat die Open Science Loopbaanassesseringsmatriks aangebied het. Soos sy Europese voorganger, stel NOR-CAM ook maniere voor om oop wetenskappraktyke beter in assesserings te integreer. Die matriks het ten doel om evalueerders en kandidate te lei vir akademiese poste, navorsingsbefondsingsaansoeke en nasionale evalueerders wat Noorse navorsing en onderwys evalueer. Dit is ook bedoel om as 'n algemene gids vir individuele loopbaanontwikkeling te dien.

Die matriks sluit ses hoofareas van bevoegdheid in: navorsingsuitsette, navorsingsproses, pedagogiese bevoegdhede, impak en innovasie, leierskap en ander bevoegdhede. Die matriks verskaf dan voorstelle om loopbaanbeplanning en assesseringserkenning rondom elk van die kriteria moontlik te maak – voorbeelde van resultate en vaardighede, maniere van dokumentasie en aansporings vir besinning oor elke kriterium. Daar word nie van kandidate verwag om op alle kriteria gelyk te presteer nie.

NOR-CAM is geskep deur 'n werkgroep van belanghebbendes van navorsingsuitvoerende en befondsingsorganisasies, gekoördineer deur Universiteite Noorweë, wat in beginsel beteken dat dit inkoop van lede van alle Noorse universiteite het. Werkswinkels wat Noorweegse universiteite betrek, is daarna gehou om maniere te ontwikkel om NOR-CAM in aanstellings- en bevorderingsassesseringsprosedures te integreer, en 'n 'outomatiese' CV-stelsel word ontwikkel om data uit verskeie nasionale en internasionale bronne te haal, is in ontwikkeling om administratiewe te verminder las. Koördineerders van bogenoemde drie hervormingskemas op nasionale vlak het gereeld vergader om hul ervarings en gedeelde leer uit te ruil.

Latyns-Amerika en die Karibiese Eilande (LAC) kontrasteer op baie maniere met ander dele van die wêreld. Hier word wetenskap as 'n wêreldwye publieke goed beskou en sy navorsings- en akademiese publikasiestelsels en -infrastruktuur is in openbare besit (befonds) en nie-kommersieel: maar hierdie streeksterktes en tradisies word nog nie in evalueringstelsels weerspieël nie. Sleutelbelanghebbendes wat verandering kan bewerkstellig is die nasionale navorsingsrade, ministeries van wetenskap en hoofnavorsingsuniversiteite – die rol van HOI's is noodsaaklik, aangesien meer as 60% van navorsers in universiteite geleë is (RiCyT, 2020 [91]). Daar is die potensiaal om evalueringstelsels nouer in lyn te bring met die SDG's en met oop wetenskap- en burgerwetenskapbewegings, wat 'n florerende tradisie in die streek het.

Tans is daar 'n hoë fragmentasie van navorsingassesseringstelsels nasionaal, plaaslik en institusioneel, wat navorsing in kompetisie met ander funksies plaas, soos onderrig, voorligting en koproduksie. Navorsingsevaluering en navorsertoekenningstelsels in LAC bevoordeel gewoonlik 'n idee van uitnemendheid wat geanker is in metodologieë van die 'Global North', uitsluitlik gebaseer op die impakfaktor van joernale en universiteitsranglys (CLACSO, 2020 [92]). Erkenning van verskillende vorme van kennisproduksie en kommunikasie, en die veelheid van akademiese loopbane (bv. onderrig, opleiding en mentorskap, burgerwetenskap en openbare kommunikasie van wetenskap) is grootliks afwesig in navorsingsevalueringspraktyke. Dit is veral problematies vir navorsers in sosiale wetenskappe en geesteswetenskappe, waar monografieë en plaaslike tale op groot skaal gebruik word (CLACSO, 2021 [93]). Streeksjoernale en aanwysers word in sulke evalueringsprosesse gedevalueer of nie erken nie. Dit alles word vererger deur swak inligtingstelsels en swak interoperabiliteit van (veral gemeenskapsbesit) infrastruktuur, onderbefonds omdat skaars fondse aan APC-betalings vir ooptoegangjoernale gerig word.

Nietemin begin sommige universiteite in die streek evalueringspraktyke implementeer wat 'n kombinasie van kwalitatiewe en kwantitatiewe metodologieë toepas, veral in die assessering van navorsers en missie-georiënteerde navorsing (Gras, 2022 [94]). Die oorgang na meer omvattende navorsingsevalueringskemas sal die mede-ontwerp van meer kwalitatiewe kriteria vereis; die verantwoordelike gebruik van kwantitatiewe data en versterking van portuurbeoordelingsprosesse; inkrementele veranderinge wat beleide en metodologieë harmoniseer en koördineer in die rigting van gedeelde beginsels oor verantwoordelike navorsingsassessering en oop wetenskap; nuwe metodologieë en data vir 'n beter assessering van inter/ transdissiplinêre wetenskap, omgewing en plaaslike kwessies; gedeelde, interoperabele, volhoubare, gefedereerde infrastruktuur wat biblidiversiteit en veeltaligheid ondersteun; en deelnemende, onder-na-bo-ontwerpe wat deelname van burgers en sosiale bewegings verbreed en die insluiting van onderverteenwoordigde navorsingsgroepe.

Om hierdie uitdagings die hoof te bied, het die streek 'n stel beginsels en riglyne vir navorsingsevaluering aanvaar. Die CLACSO-FOLEC Verklaring van Beginsels vir Navorsingsassessering [95], goedgekeur in Junie 2022, beoog om kwaliteit en sosiaal relevante wetenskap te waarborg en te beskerm, en die beginsels van DORA en oop wetenskap, die diversiteit van navorsingsuitsette en navorsingsloopbane, die waarde van streekjoernale en indekseringsdienste, en van interdissiplinariteit, plaaslike taal en inheemse kennis. Tot op hede het dit meer as 220 aanhangers en daar is reeds positiewe neigings in verantwoordelike navorsingsevaluering en voorbeelde van hervorming. Sommige nasionale voorbeelde word in die volgende tekskassies verskaf.

Nasionale voorbeeld: Colombia

Die Colombiaanse verenigings van universiteite, universiteitsuitgewers, navorsingsbestuurders en 'n netwerk van wetenskap- en tegnologiebestuur, befonds deur 'n DORA Gemeenskapsbetrokkenheidstoekenning, het onder andere saamgewerk aan die geleenthede en uitdagings van verantwoordelike maatstawwe in Colombia. Deur 'n reeks werkswinkels en konsultasies, insluitend met internasionale organisasies as maatstawwe, het hulle 'n rubriek ontwikkel om Colombiaanse instellings te help om hul eie REF's te ontwerp. Hierdie rubriek poog om rekening te hou met uitdagings wat op plaaslike vlak geïdentifiseer is, wat – vir HOI's – die gebrek aan kennis oor alternatiewe vir navorsingsevaluering, die aard van die nasionale navorsingsevaluering-ekosisteem en weerstand teen verandering insluit. A toegewyde webwerf is ontwikkel, tesame met infografika om navorsers by te staan, en verspreiding en leer word steeds regoor die land gedeel.

Meer inligting: Die Colombiaanse verantwoordelike metrieke projek: na 'n Colombiaanse institusionele, metodologiese instrument vir navorsingsassessering | DORA (sfdora.org)

Nasionale voorbeeld: Argentinië

N interessante poging van hervorming in die Nasionale Raad vir Wetenskaplike en Tegniese Navorsing (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) was die skepping van 'n spesiale resolusie vir die sosiale en geesteswetenskappe wat tydskrifte wat in die hoofstroomkring geïndekseer is op dieselfde vlak plaas met tydskrifte wat in streekbasisse geïndekseer is, soos bv. SciELO, Herhaal or Latindex-Catalogo. Die regulasie word tans hersien om sommige onduidelikhede in die implementering daarvan uit te klaar en sy kriteria uit te brei. Op sy beurt, in 2022, het CONICET se Direkteureraad die San Francisco DORA nagekom en in die openbaar erkenning gegee aan sy verbintenis om navorsing te verbeter deur die evaluering en voortdurende verbetering van sy prosesse te versterk.

Die Nasionale Agentskap vir die Bevordering van Navorsing, Tegnologiese Ontwikkeling en Innovasie (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), onder die Ministerie van Wetenskap, Tegnologie en Innovasie, is die belangrikste navorsingsbefondser in die land vanweë die diversiteit en omvang van sy hoogs mededingende oproepe. Tans implementeer AGENCIA 'n program om navorsingsassesseringsprosesse in hul hoof finansiële fondse te versterk. Huidige verbeterings sluit in die vergoeding van portuurbeoordelaars om hul verbintenis met hierdie prosesse te stimuleer, aansporing tot oop toegang aangesien projekuitkomste bestem moet wees aan die publieke domein deur publikasies of dokumente van oop sirkulasie (in ooreenstemming met die verpligtinge van 'Ooptoegang institusionele digitale bewaarplekke' National Law 26.899) en die inkorporering van billikheids- en inklusiwiteitsdimensies deur geslag, onderverteenwoordigde generasiegroepe en/of institusionele versterkende gelykmakermeganismes in navorsingsassesseringsprosesse. Nietemin, in verskeie dissiplinêre komitees, word kurrikulêre agtergrond van vooraanstaande navorsers verantwoordelik vir die voorstelle steeds deur hul eweknieë geassesseer met die gebruik van aanhalingsimpak-aanwysers.

Laastens, befonds deur 'n DORA Gemeenskapsbetrokkenheidtoekenning, het die Fakulteit Sielkunde aan die Universidad Nacional de la Plata 'n gasheer virtuele gebeurtenis in September 2022 oor assessering in sielkunde en sosiale wetenskappe wat meer as 640 (grootliks voorgraadse studente) uit 12 lande gelok het, wat die belangstelling van jongmense op die vasteland demonstreer. Die geleentheid het gehelp om die fakulteit se vierjaarbestuursplan te vorm en sal 'n boek oor die hervorming van akademiese evaluering in die Spaanssprekende konteks vorm.

Nasionale voorbeeld: Brasilië

Navorsingsevaluering word in Brasilië hewig gedebatteer onder navorsingsinstellings en navorsers, indien nie staats- en federale regerings nie. Ten spyte van die hoogste aantal institusionele ondertekenaars vir DORA in die wêreld, is voorbeelde van navorsingsevalueringshervorming egter verbasend min. Na 'n opname van DORA-ondertekenaars in die land, institusionele konsultasies en 'n openbare geleentheid, befonds deur 'n DORA Gemeenskapsbetrokkenheidstoelae, 'n lei is voorberei vir universiteitsleiers om verantwoordelike evalueringspraktyke te ondersoek.

Die gids fokus op drie hoofaksies: (1) bewusmaking van verantwoordelike evaluering in al sy vorme; (2) opleiding en kapasiteitsbou van evalueerders en diegene wat geëvalueer word; en (3) implementering en beoordeling. Die volgende stappe is om 'n netwerk van praktisyns - of tien universiteitsintelligensiekantore - te bou om verandering in evalueringspraktyke te bewerkstellig en kontekssensitiewe modelle te loods, en uiteindelik 'n padkaart te ontwikkel vir Brasiliaanse instellings wat verandering wil teweegbring.

Projeto Métricas (2022). Institusionele uitdagings en perspektiewe vir verantwoordelike evaluering in Brasiliaanse Hoër Onderwys: Projeto Métricas DORA vennootskap opsomming van bevindinge. Universiteit van São Paulo, Brasilië.

Daar is 'n voortdurende verskuiwing weg van suiwer kwantitatiewe aanwysers in Noord-Amerika, versnel deur die oop wetenskapagenda. Oop wetenskap en oop hersiening help om evalueringspraktyke meer deursigtig te maak, wat 'n geleentheid bied vir selfrefleksie en probleme na vore bring, bv. selfaanhaling en vriendskap op aanstellings-, promosie- en ewekniebeoordelingspanele, sowel as aangebore geslag en ander vooroordele. Debatte is aan die gang oor die behoefte om slimmer, intelligente aanwysers en gemengde metodes van evaluering te ontwikkel, met potensiaal vir 'n hibriede, konvergente model van evaluering wat basiese wetenskap (bevordering van kennis) en toegepaste wetenskap (samelewingsimpak) dien.

Daar is ook 'n erkenning dat universiteite akademiese ruimte en vryheid nodig het om hulself te speen van die instrumente wat hulle tans vir evaluering gebruik, sonder enige 'first mover-nadeel', en dat die gebruikersgemeenskap deel moet wees van die evalueringsproses om te help om die bruikbaarheid van kennis, die opname en impak daarvan. Maar daar is ook 'n voorwaardelike weerstand teen verandering ('n 'moedswillige blindheid') van bo en onder van die navorsingsekosisteem – van diegene wat voordeel trek uit die status quo en diegene wat dit onlangs betree het. Baie min Amerikaanse universiteite het DORA onderteken en 'n nuwe DORA-projek poog om te verstaan hoekom dit die geval is (TARE). Nietemin, in beide Kanada en die VSA is daar 'n paar interessante voorbeelde van nasionale en institusionele inisiatiewe wat ontwerp is om sistemiese verandering teweeg te bring (sien die volgende tekskassies).

Nasionale voorbeeld: VSA

In die VSA is die National Science Foundation 'n leidende stem vir verandering deur sy Bevordering van navorsingsimpak in die samelewing program en gepaardgaande breër impak gereedskapstel vir navorsers en evalueerders. Billikheid, diversiteit en insluiting, insluitend die betrek van inheemse en tradisioneel gemarginaliseerde gemeenskappe, is sleuteldryfvere. 'n IAP- en ISC-lid, die US National Academies of Sciences is ook op soek na breë hervorming, wat 'n platform bied vir inligting-uitruiling en leer oor die hervorming van die tradisionele navorser-CV (NAS Strategiese Raad, 2022). Gebore uit die Amerikaanse akademies se werk, die Hoëronderwysleierskapsinisiatief vir oop studiebeurse is 'n kohort van meer as 60 kolleges en universiteite wat verbind is tot kollektiewe optrede om oop beurs te bevorder, insluitend heroorweging van navorsingsevaluering om openheid en deursigtigheid te beloon.

Die Nasionale Instituut vir Gesondheid het byvoorbeeld 'n nuwe ontwerp bioskets (SciENcv) vir personeel in toelae-aansoeke om sistemiese vooroordeel en rapporteringslas te verminder, en terselfdertyd meer impak-gedrewe te wees.

Nasionale voorbeeld: Kanada

In Kanada is daar verskeie gesprekke oor die hervorming van navorsingsevaluering, gedryf deur DORA; al drie die federale navorsingsrade is ondertekenaars. Die Raad vir Natuurwetenskappe en Ingenieurswese het herdefinieer kriteria vir navorsingskwaliteit, die afsien van bibliometrie, aanhalings en die h-indeks, in ooreenstemming met DORA-beginsels: kwaliteitmaatstawwe sluit nou goeie navorsingsdata en datatoegangsbestuur, billikheid, diversiteit en insluiting, en opleidingsverantwoordelikhede in. Die ander twee navorsingsrade sal waarskynlik die voorbeeld volg.

Kanadese navorsers is geneig om te fokus op 'kennismobilisering', 'n doelbewuste poging om die sosiale impak van navorsing te bevorder, deur ko-produksie met gebruikersgemeenskappe (ISI, 2022). Navorsingsimpak Kanada is 'n netwerk van meer as 20 universiteite wat daarop gemik is om institusionele kapasiteit te bou deur impakgeletterdheid, of die vermoë om 'gepaste impakdoelwitte en -aanwysers te identifiseer, impakpaaie krities te beoordeel en te optimaliseer, en na te dink oor vaardighede wat nodig is om benaderings oor kontekste heen aan te pas' ten einde maksimeer die impak van navorsing vir die publieke belang.

Dit is opmerklik dat baie min Kanadese universiteite DORA onderteken het. Die hoofmotiveerder vir enige verandering is waarskynlik om inheemse vakkundigheid te omhels: dit het 'n morele noodsaaklikheid in Kanada geword.

Navorsingsaansporings- en beloningstelsels in Afrika is geneig om 'internasionale', hoofsaaklik Westerse, norme en konvensies te weerspieël. Afrika-instellings poog om dit te volg wanneer hulle hul benadering tot 'gehalte' en 'uitnemendheid' in navorsing ontwikkel, maar dit is nie altyd geskik vir plaaslike kennis en behoeftes nie. Navorsings-'kwaliteit', 'uitnemendheid' en 'impak' is nie goed gedefinieer op die vasteland nie, en sommige navorsers is nie gewoond aan 'n kultuur van 'navorsingsimpak' nie.

Evalueringstelsels in Afrika is geneig om nie rekening te hou met navorsing vir maatskaplike voordeel, onderrig, kapasiteitsbou, navorsingsadministrasie en -bestuur nie. Publikasiemodelle is nie konteks-sensitief nie, met APC's wat hindernisse vir Afrika-navorsingsuitsette skep. Hervorming van navorsingsevalueringstelsels kan help om asimmetrieë reg te stel in die bydrae wat Afrikanavorsing tot maatskaplike uitdagings kan lewer, asook om toegang tot hulpbronne te verbeter om die Afrikanavorsingsgemeenskap te help om dit te doen. Die afbreek van hindernisse tot kruissektorale en kruisdissiplinêre samewerking is noodsaaklik om 'n diversiteit van sienings en kennisstelsels in staat te stel om te floreer en te help interpreteer wat navorsingskwaliteit vir Afrika uitmaak. Meganismes wat plaaslike, inheemse en 'konvensionele' wêreldbeskouings integreer oor die beoordeling van navorsingskwaliteit en uitnemendheid moet in enige hervorming oorweeg word.

Sterk vennootskappe word rondom RRA op die vasteland gebou. Gefinansier deur 'n internasionale konsortium van ontwikkelingsagentskappe, die Wetenskaptoekenningsrade-inisiatief (SGCI) [96], wat 17 Afrika-lande betrek het, het 'n studie oor navorsingsuitnemendheid in Afrika gedoen, en gekyk na wetenskapbefondsingsagentskappe en navorserevaluering vanuit 'n Global South-perspektief (Tijssen en Kraemer-Mbula, 2017 [97], [98]). Dit het die kwessie van navorsingsuitnemendheid in Afrika suid van die Sahara ondersoek en die behoefte aan 'n benadering wat die idee van uitnemendheid verder uitbrei as publikasies (Tijssen en Kraemer-Mbula, 2018 [99]); die opstel van 'n riglynedokument, wat tans bygewerk word, oor goeie praktyke in die implementering van navorsingskompetisies (SGCI [100]). By die World Science Forum in 2022, onder die vaandel van die SGCI en die GRC, het Suid-Afrika se Nasionale Navorsingstigting (NNS) en Departement van Wetenskap en Innovasie het internasionale en plaaslike vennote byeengeroep om die rol van befondsingsagentskappe in die bevordering van RRA te bespreek, en om ervarings te deel, goeie praktyk te bevorder en vordering in kapasiteitsbou en samewerking te evalueer (NRF, 2022 [101]).

Die Afrikaanse Bewysnetwerk [102], 'n pan-Afrika, dwarssektorale netwerk van meer as 3,000 XNUMX praktisyns het 'n bietjie werk gedoen oor assessering van transdissiplinêre navorsing (Afrikaanse Bewysnetwerk [103]), maar die mate waarin dit in nasionale en streekassesseringstelsels ingebed is, is nog nie duidelik nie. Die Afrika Navorsing en Impak Netwerk [103] het gewerk aan 'n telkaart wat 'n versameling aanwysers bevat om die kwaliteit van wetenskap, tegnologie en innovasie (STI) assessering in Afrika te evalueer, wat dit hoop om te ontwikkel tot 'n webgebaseerde besluitnemingsinstrument om STI-beleggingsbesluite te rig .

Op nasionale vlak het inkrementele veranderinge begin – 'n paar voorbeelde word in die volgende tekskassies gegee. Ander lande waar navorsingsbefondsingsagentskappe die voortou neem, sluit in Tanzanië (COSTECH), Mosambiek (FNI) en Burkina Faso (FONRID). Die GRC se RRA-inisiatief blyk 'n belangrike platform vir verandering op die vasteland te wees, net soos die leer van die internasionale ontwikkelingsektor, veral IDRC se Navorsingskwaliteit Plus (RQ+) Assesseringsraamwerk [104], met die onderskeid dat dit reeds toegepas, bestudeer en verbeter is. Die Afrika-gebaseerde Internasionale Evaluasie Akademie [105] kan ook 'n interessante geleentheid bied.

Nasionale voorbeeld: Côte d'Ivoire

In die hartjie van die Ivoorkus Program Appui Stratégique à la Recherche Scientifique (PASRES) (Strategiese Ondersteuningsprogram vir Wetenskaplike Navorsing) is die oortuiging dat uitnemendheid in navorsing die aantal navorsingspublikasies moet oorskry en die 'navorsingsopname'-dimensie moet insluit. Aanpassing by nasionale konteks, is die navorsingsevalueringsproses gebaseer op kriteria wat verband hou met wetenskaplike en sosiale relevansie, die betrokkenheid van vennote, studente-opleiding, kennismobilisering en haalbaarheid. Evalueringspanele betrek wetenskaplike kundiges (om die gehalte van die navorsing wat uitgevoer word te beoordeel), die private sektor (om ekonomiese verryking te beoordeel) en ander instellings (om die kulturele en sosiale potensiaal van die navorsing te meet).

PASRES het twee plaaslike tydskrifte gestig (een vir sosiale wetenskappe en linguistiek en die ander vir omgewing en biodiversiteit) en dek die totale koste van publikasie daarin. Laastens befonds PASRES kapasiteitsbou-aktiwiteite en tematiese konferensies om navorsers in staat te stel om hul navorsing aan die private sektor en aan die burgerlike samelewing voor te lê.

Meer inligting: Ouattara, A. en Sangaré, Y. 2020. Ondersteunende navorsing in Ivoorkus: prosesse om projekte te selekteer en te evalueer. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Eds.), African Minds, pp. 138–146

PASRES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Nasionale voorbeeld: Suid-Afrika

Navorsingsevaluering in Suid-Afrika (SA) is hoofsaaklik gefokus op bibliometrie. Sedert 1986, toe die Departement van Hoër Onderwys (DHOO) 'n beleid ingestel het om subsidies aan universiteite te betaal vir navorsingspublikasies wat in vaktydskrifte van geakkrediteerde indekse gepubliseer is, het universiteitsnavorsingspublikasie-uitset gegroei saam met die Randwaarde wat per publikasie toegeken is. In 'n poging om navorsingsbefondsing te verseker en hul loopbane te bevorder, het SA navorsers soveel artikels so vinnig as moontlik gepubliseer, wat perverse en onbedoelde gevolge geskep het.

Die Akademie vir Wetenskap van Suid-Afrika (ASSAf) het opdrag gegee vir 'n verslag oor vakkundige publisering in die land (2005–2014) en het aanduidings gevind van twyfelagtige redaksionele praktyke en roofsugtige publisering (ASSAf, 2019). Deur 'n genuanseerde stelsel van kategorisering te gebruik, is 'n geraamde syfer van 3.4% van die totale artikels oor die afgelope tien jaar as roofsugtig beoordeel, met syfers wat skerper gestyg het vanaf 2011. Tydskrifte wat as roofsugtig beoordeel is, is ingesluit by die DHOO 'aanvaarbaar vir befondsing' lys en akademici in alle SA universiteite was betrokke (Mouton en Valentine, 2017).

Die ASSAf-verslag het aanbevelings op sistemiese, institusionele en individuele vlakke gemaak en gevolglike teenmaatreëls deur die DHOO, NNS en sommige universiteite het blykbaar roofsugtige praktyke in SA aan bande gelê met die voorkoms van roofsugtige publisering deur SA akademici (in DHOO-geakkrediteerde joernale) wat in 2014 'n hoogtepunt bereik het. 2015 en daarna afneem. Daar was ook kommer onder navorsers dat DHOO-beleide in SA samewerking ontmoedig het en nie die bydrae van individue binne groot navorsingspanne erken het nie, wat 'n hersiening van prestasiebeoordeling-/navorsingsevalueringskemas vereis. Die gebruik van die publikasie-eenheidstelsel word nou erken as 'n swak volmag vir die beoordeling van navorsingskwaliteit en produktiwiteit en vir die keuring en bevordering van akademici.

Meer inligting:

Akademie vir Wetenskap van Suid-Afrika (ASSAf). 2019. Twaalf jaar: Tweede ASSAf-verslag oor navorsingspublisering in en van Suid-Afrika. Pretoria, ASSAf.

Mouton, J. en Valentine, A. 2017. Die omvang van Suid-Afrikaanse skrywersartikels in roofjoernale. Suid-Afrikaanse Tydskrif vir Natuurwetenskap, Vol. 113, No. 7/8, pp. 1–9.

Mouton, J. et al. 2019. Die kwaliteit van Suid-Afrika se navorsingspublikasies. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Nasionale voorbeeld: Nigerië

Universiteite in Nigerië evalueer navorsers in drie hoofareas: onderrig, navorsingsproduktiwiteit en gemeenskapsdienste. Hiervan is navorsingsproduktiwiteit swaarder geweeg, met die klem op gepubliseerde eweknie-geëvalueerde navorsingsartikels en met inagneming van die aantal en rolle van outeurs (eerste outeurskap en/of ooreenstemmende outeurskap) in hierdie publikasies. In 'n poging om meer wêreldwyd mededingend te word, heg die meeste universiteite meer belang toe aan tydskrifte wat deur International Scientific Indexing of SCOPUS geïndekseer is, om meer klem op kwaliteit en internasionale samewerking te plaas; en gebruik die persentasie artikels in hierdie tydskrifte as bevorderingskriteria.

’n Ongelukkige gevolg hiervan is dat baie navorsers, veral dié in die geesteswetenskappe, nie voldoende befondsing en/of kapasiteit het om in hierdie tydskrifte te publiseer nie. In plaas daarvan publiseer hulle meer resensies eerder as navorsingsartikels, of hulle voel verplig om invloedryke, senior kollegas as mede-outeurs in te sluit, uit hoofde van hul finansiële eerder as intellektuele bydrae. Plagiaat neem toe, net soos roofsugtige publikasie. Die algehele wêreldranglys van Nigeriese universiteite het egter toegeneem, wat die regering en befondsingsagentskappe bevredig en as 'n sukses beskou word. Nigerië is nie alleen in hierdie verband nie.

Die Nigeriese Akademie vir Wetenskap het sy eie eweknie-geëvalueerde joernaal hervestig as 'n vlagskipjoernaal waarin akademici kan publiseer (tans gratis) en hoog aangeslaan word deur hul instellings.

Hoogs mededingende, kwantitatiewe metrieke-gedrewe assesseringstelsels oorheers die streek, met Engelstalige lande wat tipies assesseringsraamwerke vorm en ander lande volg. In Australië is daar byvoorbeeld 'n mededingende befondsingstelsel gebaseer op bibliometrie en universiteitsranglys: 'selfs die SDG's word in prestasie-aanwysers omskep'. Soortgelyke uitdagings bestaan in Maleisië en Thailand, en ander ASEAN-lande sal waarskynlik volg. ’n Belangrike uitsondering is China waar die regering ’n beduidende rol speel in die skep van groot sistemiese verandering en wat wêreldwyd diepgaande implikasies kan hê (sien tekskassie).

Dit is bemoedigend dat daar 'n groeiende bewustheid en kommer onder die navorsingsgemeenskap in die streek is oor die grense van huidige navorsingsevalueringstelsels en hul bedreiging vir navorsingsintegriteit. Alhoewel ECR's, insluitend National Young Academies en die ASEAN-netwerk van Jong Wetenskaplikes, tesame met voetsoolvlakbewegings, toenemend betrokke raak by hierdie kwessie, sukkel hulle om gehoor te word. Regerings- en befondsingsgemeenskappe, insluitend universiteitsleierskap, is grootliks afwesig van die debat: hulle heg waarde aan kwantitatiewe maatstawwe, maar waardeer nie die implikasies vir navorsing nie. Gekonsulteerdes rapporteer inderdaad dat meer kwantitatiewe kriteria bygevoeg word, in die mate dat instellings en navorsers die stelsel begin speel, wat navorsingswangedrag aanwakker.

Maar daar is beduidende geleenthede vir verandering, soos geïllustreer in die volgende tekskassies.

Nasionale voorbeeld: China

Nou die mees navorsingsproduktiewe land ter wêreld (Tollefson, 2018; Statista, 2019), en die tweede in terme van navorsingsbelegging (OESO, 2020), wat in China gebeur, het die potensiaal om werklike sistemiese verandering te bewerkstellig. 'n Nuwe beleid op staatsvlak het ten doel om 'die wetenskaplike gees, innovasiegehalte en diensbydrae' van navorsing te herstel en om 'die terugkeer van universiteite na hul oorspronklike akademiese doelwitte te bevorder' (MEESTE, 2020). Web of Science-aanwysers sal nie meer 'n oorheersende faktor vir evaluering of finansieringsbesluite wees nie, en ook nie die aantal publikasies en JIF's nie. Publikasies in hoë-gehalte Chinese joernale sal aangemoedig word en die ontwikkeling daarvan ondersteun word. 'Verteenwoordigende publikasies' – 5–10 keusevraestelle eerder as uitputtende lyste – word in evalueringspanele gesoek, tesame met kriteria wat die bydrae wat navorsing gemaak het tot die oplossing van belangrike wetenskaplike vrae, die verskaffing van nuwe wetenskaplike kennis of die bekendstelling van innovasies aan, en werklike vordering, assesseer van, 'n bepaalde veld.

In die ontwikkeling van 'n navorsingskwaliteit- en uitnemendheidassesseringstelsel wat meer ingestel is op sy eie behoeftes, het China se grootste befondsingsagentskap vir basiese navorsing, die Nasionale Natuurwetenskapstigting van China (NSFC), sedert 2018 sistematiese hervormings uitgevoer om verskuiwings in wetenskap te weerspieël: veranderende wêreldwye wetenskaplandskappe, die belangrikheid van transdissiplinariteit, die kombinasie van toegepaste en basiese navorsing en die wisselwerking tussen navorsing en innovasie (Manfred Horvat, 2018), beweeg weg van bibliometrie na 'n stelsel wat die plaaslike relevansie van navorsing in China versterk (Zhang en Sivertsen, 2020). Dit het sy eweknie-evalueringstelsel vir voorstelevaluering verbeter om nuuskierigheidgedrewe ontwrigtende navorsing, brandende probleme op die grense van navorsing, uitstekende wetenskap toegepas op ekonomiese en sosiale eise, en transdissiplinêre navorsing wat met groot uitdagings te make het, beter te pas. In 2021 is 85% van die voorstelle ingedien en hersien deur gebruik te maak van hierdie kategorieë. Onlangs, in November 2022, is 'n tweejaar-loodshervormingsplan vir wetenskap- en tegnologietalent-evaluering aangekondig, wat agt ministeries, twaalf navorsingsinstitute, nege universiteite en ses plaaslike regerings betrek het. Die doel daarvan sal wees om evalueringsaanwysers en -metodes vir wetenskap- en tegnologietalente wat by verskillende dele van die innovasiestelsel betrokke is, te ondersoek.

Substreeksvoorbeeld: Australië en Nieu-Seeland

Beide Australië en Nieu-Seeland is tans by belangrike tye. In Australië bied deurlopende gelyktydige resensies van die Australiese Navorsingsraad, die Uitnemendheid in Navorsing in Australië en Goue Ooptoegang-onderhandelinge kumulatief 'n geleentheidsvenster (Ross, 2022).

Na openbare konsultasie oor die toekoms van wetenskapbefondsing, ontwikkel Nieu-Seeland 'n nuwe sistemiese program vir die toekoms van sy nasionale navorsing- en innovasiestelsel. Beide Australië en Nieu-Seeland het bygedra tot die ontwikkeling van 'n metrieke stelsel vir hul inheemse navorsingsgroepe (SORG Beginsels).

Nasionale voorbeeld: Indië

Die Departement van Wetenskap en Tegnologie se Sentrum vir Beleidsnavorsing (DWT-CPR) het onlangse studies oor navorsingsassessering en die hervorming daarvan in Indië uitgevoer, werkswinkels met sleutelbelanghebbendes (nasionale befondsingsagentskappe, navorsingsinstellings en akademies), onderhoude en opnames gelei. Dit het gevind dat, terwyl universiteite en baie instellings van nasionale beleidsbelang (soos landbou) feitlik uitsluitlik op kwantitatiewe statistieke fokus, sommige befondsingsagentskappe en -instellings soos Indian Institutes of Technology ook meer kwalitatiewe maatreëls aangeneem het. Hierdie meer kwalitatiewe benadering by topvlak-instellings dien reeds om meer befondsing na navorsing oor nasionale prioriteite af te lei, hoewel dit te vroeg is om te sê of dit enige kwantifiseerbare uitwerking op navorsingskwaliteit en impak het.

Die primêre maatstaf vir assessering is ewekniebeoordeling gebaseer op kundige komiteemening, maar slegs na aanvanklike sifting van aansoeke wat geheel en al op kwantitatiewe maatstawwe gebaseer is. Fundamentele uitdagings bestaan ook met hierdie komitees: die gebrek aan diversiteit en begrip van oop wetenskappraktyke, min inagneming van die samelewingsimpakte van navorsing, en swak kapasiteit en vooroordeel. Hierdie probleme, en metodologieë vir assessering meer algemeen, word swak verstaan en daar is 'n gebrek aan riglyne en literatuur oor die onderwerp.

Nietemin is daar 'n groeiende bewustheid van die behoefte om navorsingsassessering te hervorm. Die Indiese Nasionale Jong Akademie vir Wetenskappe, wat deur 'n DORA-gemeenskapsbetrokkenheidstoekenning befonds word, het 'n vennootskap met die Indiese Instituut vir Wetenskap (IISc) en DST-CPR om maniere te ondersoek waarop navorsingsassessering verbeter kan word - hul beraadslagings is met sleutelbelanghebbendes gedeel met 'n met die oog op die stimulering van 'n nasionale gesprek oor die behoefte om Indië se navorsingskultuur te hervorm en uiteindelik te verander sodat sy navorsing meer innoverend en/of maatskaplik relevant is. DWT-KPR verwag om 'n raamwerk vir navorsingsuitnemendheid te ontwikkel wat in sy nasionale institusionele rangorderaamwerk geïntegreer kan word.

Meer inligting:

Battacharjee, S. 2022. Doen die manier waarop Indië sy navorsing evalueer, sy werk? – Die Draadwetenskap

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. en Koley, M. 2022. Navorsingsassessering in Indië: Wat moet bly, wat kan beter wees? DST-KPR, IISc.

Nasionale voorbeeld: Japan

Navorsingsevalueringsprotokolle is hoogs afgewentel in Japan: terwyl daar 'Nasionale Riglyne vir die Evaluering van R&D' is, uitgereik deur die Kabinetskantoor se Raad vir Wetenskap, Tegnologie en Innovasie, die Ministerie van Onderwys, Kultuur, Sport, Wetenskap en Tegnologie (MEXT) en ander ministeries het ook hul eie riglyne ontwikkel. Boonop het universiteite en navorsingsinstitute hul eie navorsingsevalueringstelsels in plek vir navorsing en navorsers, wat – soos in baie wêrelddele – gekoppel geraak het aan institusionele prestasie en begrotingstoewysing.

Daar was toenemende kommer oor oormatige afhanklikheid van kwantitatiewe evaluering. In reaksie hierop het die Wetenskapraad van Japan voorberei 'n aanbeveling oor die toekoms van navorsingsevaluering in Japan (2022) vra vir minder klem op kwantitatiewe en meer op kwalitatiewe maatstawwe, meer erkenning van navorsingsdiversiteit en verantwoordelikheid in navorsingsevaluering en die monitering van internasionale tendense in die hervorming van navorsingsevalueringspraktyke. Uiteindelik behoort navorsingsbelangstellings en bevordering die kern van navorsingsevaluering te wees, en elke poging aangewend om moegheid, demotivering en oormatige druk op navorsers te voorkom.

'n Opname deur MEXT oor evalueringsaanwysers het bevind dat die JIF een van vele aanwysers is en as sodanig nie 'n sterk impak in Japannese navorsing gehad het nie, hoewel dit dissipline-afhanklik is: byvoorbeeld, JIF-gebruik is hoër in die mediese wetenskappe – en minder tradisionele navorsingsaktiwiteite, soos oop data, is minder geneig om geëvalueer te word.

Meer inligting: AANBEVELING – Op pad na navorsingsevaluering vir die bevordering van wetenskap: uitdagings en vooruitsigte vir gewenste navorsingsevaluering (scj.go.jp)

Ten slotte is daar 'n groeiende momentum vir die hervorming van navorsingsevaluering in sommige streke, lande en instellings. Voorbeelde wat hier geïllustreer word, sluit in landwye hervormings, die bou van konsortia of koalisies van eendersdenkende instellings wat verandering soek, die teiken/stuur van spesifieke sektore en ingrypings om perverse aansporings en gedrag aan te pak.

Dit is nog nie 'n samehangende en inklusiewe globale gesprek nie, en praktyke en insigte word ook nie noodwendig openlik gedeel nie. Sommige GYA-, IAP- en ISC-lede is reeds proaktief in hierdie ruimte en geleenthede kan nuttig gevind word om hulle te help om hul leer en goeie praktyk met mekaar en met die breër lidmaatskap te deel. Die bekendstelling van die Global Observatory of Responsible Research Assessment (AGORRA) deur die Research on Research Institute (RoRI) later in 2023 sal 'n verdere platform bied vir die deel van leer, vir die vergelykende ontleding van nasionale en internasionale hervormingstelsels en om die twee- manier om goeie idees oor hierdie stelsels uit te ruil en te toets.

Hierdie referaat het die belangrikste dryfvere, geleenthede en uitdagings vir navorsingsevalueringshervorming uiteengesit en illustratiewe voorbeelde van verandering wat op globale, streeks-, nasionale en institusionele vlakke plaasvind, versamel. Die doel hiervan is om die GYA, IAP en ISC en hul onderskeie lede te mobiliseer as belangrike kiesafdelings van die globale navorsingsekosisteem.

Voortbou op die afgelope dekade van wetenskaplike literatuur en voorspraakwerk, is daar vyf hoofgevolgtrekkings.

1. Die noodsaaklikheid om te herbesin oor die wyse waarop navorsingsindividue, -instellings en -uitsette geëvalueer word, is duidelik en dringend. Die handhawing van navorsingsintegriteit en kwaliteit, die maksimering van diverse, inklusiewe en nie-diskriminerende wetenskap, en die optimalisering van wetenskap vir die wêreldwye openbare belang is belangrike dryfvere, geplaas in die konteks van 'n vinnig veranderende wêreld.

2. Die wyse waarop navorsing aangevra, befonds, gelewer en gekommunikeer word, ontwikkel vinnig. Beweeg na missie-georiënteerde en transdissiplinêre wetenskap, oop wetenskap raamwerke, ontwikkelende modelle van portuurbeoordeling, die gebruik van KI en masjienleer en die vinnige opkoms van sosiale media verander tradisionele maniere om navorsing te doen en te kommunikeer, wat nuwe denke oor navorsingsevalueringstelsels vereis en die maatstawwe en ewekniebeoordelingsprosesse wat dit onderlê. Meer, en dringende, navorsing is nodig om hierdie stelsels toekoms te bewys.

3. Daar is 'n noodsaaklikheid vir meer gebalanseerde navorsingsevalueringstelsels met beide kwantitatiewe en kwalitatiewe aanwysers wat veelvuldige vorme van navorsingsuitsette, prosesse en aktiwiteite waardeer. Om egter te stel dat kwalitatiewe portuurbeoordelingsprosesse minstens so belangrik is as bibliometrie, is nie eenvoudig nie en word verder gekompliseer deurdat verskillende wêrelddele op verskillende stadiums in die ontwikkeling van hul assesseringstelsels is: in sommige is debatte oor navorsingsevalueringshervorming redelik gevorderd, in ander is hulle ontluikende of afwesig.

4. 'n Gesamentlike en werklik globale en inklusiewe inisiatief word vereis om sleutelbelanghebbende gemeenskappe te mobiliseer om samehangende maniere van assessering en befondsing van navorsing te ontwikkel en te implementeer; leer van mekaar en van ander sektore (veral die navorsingsbefondsers en ontwikkelingsagentskappe). Kollektiewe, inklusiewe optrede tot transformerende verandering sal onderlinge verbondenheid eerder as internasionalisering of universalisering moet erken, dws kontekssensitief wees, bewus wees van verskillende uitdagings wat verskillende wêrelddele in die gesig staar en die ryk heterogeniteit van navorsingsekosisteem, terwyl dit terselfdertyd voldoende verseker homogeniteit om versoenbare navorsing en befondsingstelsels en navorsermobiliteit moontlik te maak, om divergensie en fragmentasie te minimaliseer. ’n Gedeeltelike, eksklusiewe gesprek loop die gevaar om diegene wat histories uitgesluit is, verder te bevooroordeel en te benadeel.

5. Verandering word op alle vlakke vereis – wêreldwyd, streeks-, nasionaal en institusioneel – omdat metrieke deur die hele navorsingsekosisteem vloei en al hierdie vlakke met mekaar verbind is. Alle belanghebbendes moet hul rol speel as vennote, nie teëstanders nie – insluitend befondsers, universiteite, universiteits- en navorsingsinstituutverenigings, interregeringsorganisasies (IGO's), regerings en regeringsnetwerke, akademies, wetenskapbeleidmakers, navorsings- en innovasiebestuurders en individuele navorsers. Die GYA, IAP en ISC lidmaatskap, gesamentlik, dek 'n groot deel van hierdie ryk landskap (Figuur 1, Bylaag C).

Figuur 1: Kaart van belanghebbendes relatief tot GYA-, IAP- en ISC-lidmaatskap (Klik om te sien)

Die sameroepende krag van organisasies soos GYA, IAP en die ISC kan help om 'n diversiteit van sienings en ervarings oor baie van die navorsingsekosisteem bymekaar te bring: eksperimenteer met, leer uit en bou voort op bestaande en nuwe inisiatiewe. Dit is krities dat hulle kontak kan maak met die sleutelbelanghebbendes in die aanhitsing van verandering – regerings, navorsingsbefondsers en universiteite, en belangrike wêreldbewegings soos DORA – om te help om 'n argitektuur van akteurs te mobiliseer. Gesamentlik kan hulle dien as:

● advokate – bewusmaking van navorsingsassesseringsdebatte, ontwikkelings en hervormings in erkenning dat hul lede dien as (i) mentors en toesighouers van junior kollegas, (ii) leiers van HOI's, (iii) raadslede van befondsings- en publiseringsbestuursliggame en ( iv) adviseurs vir beleidmakers;

● innoveerders – ondersoek verskillende benaderings tot die waardering van basiese en toegepaste navorsing op inklusiewe en innoverende maniere;

● voorbeelde – verander hul eie institusionele kultuur – verfris hul lidmaatskap, toekennings, publisering en konferensie praktyke, en lei deur voorbeeld;

● evalueerders – kapitaliseer op die rol van lede op beide institusionele en individuele vlakke wie se besigheid dit is om navorsers, navorsing en instellings te evalueer, en diegene wat uitgewers-, redaksionele en portuurbeoordelingsrolle het;

● befondsers – wat gebruik maak van die befondsingsagentskappe wat in die ISC verteenwoordig word, in die besonder, en lede wat groot nasionale en internasionale toelaes bestuur en versprei;

● medewerkers – ondersteun reeds gevestigde veldtogte vir hervorming, bv. DORA, die EU se CoARA en UNESCO se oop wetenskap verbintenis.

Die skrywers van hierdie artikel moedig die GYA, IAP en die ISC, en organisasies soos hulle, aan om op die volgende maniere betrokke te raak:

AKSIE 1: Deel leer en goeie praktyke

Hierdie artikel beklemtoon voorbeelde van intervensies en innovasies van regoor die wêreld. Ruimte vir die deel van ervarings en die bou van 'n sterk en inklusiewe 'koalisie van die gewilliges' is noodsaaklik.

1.1: Verskaf 'n platform vir lede wat reeds proaktief in hierdie ruimte is om hul leer te deel en strategiese verbindings te bou, veral op nasionale vlak. Gebruik hierdie voorbeelde om te help vul DORA se dashboard [106] van leer en goeie praktyk.

1.2: Ondersoek en karteer lid-geleide ontwikkelings in navorsingsevalueringshervorming om institusionele, nasionale en streeksbenaderings te identifiseer, en om goeie praktyke te vind en te deel. Beroep diegene wat reeds gelei het/betrokken by groot nasionale en internasionale inisiatiewe om voorspraak en leer oor die lidmaatskap te bou.

AKSIE 2: Lei deur voorbeeld

GYA-, IAP- en ISC-lidmaatskap dek baie dele van die navorsingsekosisteem, en elkeen kan 'n belangrike rol speel in die vorming van hoe sukses as 'n wetenskaplike lyk.

2.1: Oorgang na meer progressiewe navorsingsevalueringsmetodologieë oor die breë ledetal. Lei deur voorbeeld en help om die kultuur van navorsingsevaluering te verander deur hul eie lidmaatskapfilosofieë en -praktyke, terwyl hulle van DORA en die GRC leer. Akademies, as tradisioneel elite-organisasies, het 'n besondere rol om hier te speel – hulle moet aangemoedig word om hul eie kriteria vir verkiesing en keuring te verbreed om breër en meer plurale begrip van navorsingskwaliteit en impak te weerspieël, ten einde hierdie pluralisme te weerspieël (en met dit meer insluiting en diversiteit) in hul lidmaatskap.

2.2: Stimuleer streeksamewerking en leierskap. Moedig die streeksnetwerke van GYA-lede en Nasionale Jong Akademies, IAP se streeksakademienetwerke en die ISC se streekfokuspunte aan om te oorweeg om die ALLEA-raad se navolging van inisiatief, aangepas by hul eie kontekste.

AKSIE 3: Bou strategiese vennootskappe met sleutelkiesafdelings.

Die drie primêre rolspelers wat verantwoordelik is vir die dryf van hervorming van navorsingsevaluering is regerings, navorsingsbefondsers en universiteite. Die GYA, IAP en ISC kan elkeen help om die navorsingsgemeenskap in hul pogings te bring om die ontkoppelings wat tans bestaan te hervorm en te oorbrug.

3.1: Skakel met GRC-leierskap om maniere te ondersoek om saam te werk – in wese om lede en hul onderskeie GRC nasionale verteenwoordigers te stimuleer om te verken hoe hul navorsingsgemeenskappe betrokke kan raak.

3.2: Skakel met globale en streeksnetwerke van universiteite, soos die Internasionale Vereniging van Universiteite (IAU), om nuwe opleidingsinstrumente vir die navorsingsgemeenskap te ontwikkel; gebruik HEI-leierskap binne die kollektiewe lidmaatskap van die GYA, IAP en ISC as advokate.

3.3: Verbind lidinstellings in DORA-toekenningslande (Argentinië, Australië, Brasilië, Colombia, Indië, Japan, Nederland, Uganda en Venezuela) met DORA-toelaeleiers om idees te deel en moontlik hierdie plaaslike inisiatiewe op te skaal.

3.4: Bou verhoudings met toonaangewende internasionale ontwikkelingsagentskappe wat reeds innoverende en impakvolle strategieë vir navorsingsevaluering in lae- en middelinkomstelande en mins ontwikkelde lande ontplooi.

3.5: Werk saam met UNESCO om te help om nasionale navorsingsevalueringsverpligtinge ingevolge sy Aanbeveling oor Oop Wetenskap.

AKSIE 4: Verskaf intellektuele leierskap oor die toekoms van navorsingsevaluering.

Fokus op spesifieke en dringende uitdagings vir navorsingsevalueringshervorming is noodsaaklik. Die GYA, IAP en ISC, en internasionale netwerke soos hulle, kan put uit hul onderskeie sameroepende magte, die intellektuele gewig en invloed van hul lede en verbintenisse met sleutelkiesafdelings.

4.1: Belê saam met sleutelkiesafdelings 'n reeks multi-belanghebbende besprekingsfora of 'Transformation Labs' om navorsingsevalueringshervorming te heroorweeg en te implementeer – betrek leiers van HOI's en hul globale (bv. IAU en IARU) en streeksnetwerke (bv. LERU en AAU [107) ]), navorsingsbefondsers (insluitend GRC nasionale verteenwoordigers), internasionale ontwikkelingsagentskappe en vooraanstaande uitgewers, onder andere. Samel nuwe hulpbronne in of ontplooi bestaande hulpbronne om hierdie werk te finansier (sien Bylaag D vir 'n paar voorlopige idees).

4.2: Ontwikkel 'n nuwe studie oor 'n belangrike aspek van die toekomstige ontwikkeling van navorsingsevaluering, soos (1) die impak van tegnologiese vooruitgang op navorsingsevaluering en portuurbeoordeling (insluitend beide gebruik en misbruik), en hoe dit in die toekoms kan ontwikkel en ( 2) die hervorming van die portuurbeoordelingstelsel wyer (in terme van sy deursigtigheid, openheid, kapasiteit, erkenning en opleiding). Beide kwessies is 'n integrale deel van die betroubaarheid van kennis en betroubaarheid van die wetenskap.

Die kern van al hierdie pogings moet drie fundamentele dinge wees:

• Uitbreiding van evalueringskriteria vir wetenskaplike navorsing en navorsers verder as tradisionele akademiese maatstawwe om veelvuldige vorme van navorsingsuitset en -funksie in te sluit, insluitend kwantitatiewe kriteria wat die sosiale impak van navorsing kan meet.

• Leiers van HOI's en navorsingsbefondsers aan te moedig om hierdie nuwe evalueringskriteria aan te neem en te bevorder as maatstawwe van navorsingsgehalte en -waarde.

• Werk saam met hierdie leiers aan nuwe vorme van bewusmaking en opleiding vir toekomstige geslagte navorsers om hulle toe te rus met die nodige vaardighede om te kommunikeer en effektief met beleidmakers, publieke en ander sleutelgroepe te kommunikeer; en om diversiteit en insluiting in die navorsingsonderneming te bevorder.

Die skrywers van hierdie artikel kom tot die gevolgtrekking dat netwerke soos die GYA, IAP en ISC, tesame met en ondersteunende ander sleutelkiesafdelings, kan help om 'n samehangende, deelnemende, globale inisiatief te bou om navorsingsgemeenskappe, universiteite en ander HOI's rondom hierdie agenda te mobiliseer, en om te oorweeg hoe om nuwe maniere van assessering en befondsing van navorsing te operasionaliseer om dit meer doeltreffend, regverdig, inklusief en impakvol te maak.

1. UNESCO. 2021. UNESCO Science Report: The Race Against Time for Smarter Development (Hoofstuk 1). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Die Royal Society. (2012). Wetenskap as 'n oop onderneming. Die Royal Society Science Policy Centre. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Hausstein, S. en Larivière, V. 2014. Die gebruik van bibliometrie vir die assessering van navorsing: moontlikhede, beperkings en nadelige effekte. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (reds.), Incentives and Performance, Cham, Springer, pp. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW en Glasziou, P. 2014 Biomediese navorsing: verhoging van waarde, vermindering van vermorsing. The Lancet, Vol. 383, No. 9912, pp. 101–104.

5. Bol, T., de Vaan, M. en van de Rijt, A. 2018. The Matthew effect in science funding. Verrigtinge van die Nasionale Akademie van Wetenskappe van die Verenigde State van Amerika, Vol. 115, No. 19, pp. 4887–4890.

6. Internasionale Wetenskapsraad. 2021. Opening the Record of Science: Making Scholarly Publishing Work for Science in the Digital Era. Parys, Frankryk, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. en de Ricke, S. 2017. Dink met aanwysers. Verkenning van die epistemiese impak van akademiese prestasie-aanwysers in die lewenswetenskappe. Navorsingsevaluering, Vol. 26, No. 3, pp. 157–168.

8. Ansede, M. 2023. Een van die wêreld se mees aangehaalde wetenskaplikes, Rafael Luque, is vir 13 jaar sonder betaling geskors. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Bestryding van roofsugtige akademiese joernale en konferensies. Triëst, Italië, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM en Negra, D. 2022. Persepsies oor die voorkoms en impak van roofsugtige akademiese joernale en konferensies: 'n globale opname van navorsers. Learned Publishing, Vol. 3, No. 4, pp. 516–528.

11. Collyer, TA 2019. 'Salami-sny' help loopbane, maar benadeel die wetenskap. Nature Human Behaviour, Vol. 3, pp. 1005–1006.

12. Abad-García, MF 2019. Plagiaat en roofjoernale: 'n bedreiging vir wetenskaplike integriteit. Anales De Pediatría (Afrikaans Edition), Vol. 90, No. 1, pp. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI en Adegboyega, K. 2013. Perifere beurs en die konteks van buitelandse betaalde publikasie in Nigerië. Huidige Sosiologie, Vol. 62, No. 5, pp. 666–684.

14. Ordway, D.-M. 2021. Akademiese joernale, joernaliste bestendig verkeerde inligting in die hantering van navorsingsterugtrekkings. Die Joernalis se hulpbron. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. en Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment: Progress, Hindernisse en die pad vorentoe. Londen, VK, Navorsing oor Navorsingsinstituut.

16. Die Global North verwys oor die algemeen na geïndustrialiseerde of ontwikkelde ekonomieë, soos gedefinieer deur die Verenigde Nasies (2021), terwyl die Global South, verwys na ekonomieë wat nuut geïndustrialiseer is of wat besig is om te industrialiseer of in ontwikkeling is, en wat dikwels aktueel is. of voormalige onderdane van kolonialisme.

17. InterAkademie Vennootskap. Sessie 12: Wen uit groter insluiting: Verwantskap tussen diversiteit en akademiese kultuur. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Wetenskaplike Uitnemendheid Werkgroep. Berlyn, Duitsland, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Wetenskap ontketen: missies vir volhoubaarheid lewer. Parys, Frankryk, ISC. doi: 10.24948/2021.04

20. ISC. 2022. 'n Uittreksel uit Peter Gluckman se toespraak by die Endless Frontier Simposium. Parys, Frankryk. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. en Pinto, D. 2021. 'n Hulpmiddel vir transdissiplinêre navorsingsbeplanning en -evaluering. Integrasie en Implementering Insigte. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR en Zornes, DA 2016. Definieer en assesseer navorsingskwaliteit in 'n transdissiplinêre konteks. Navorsingsevaluering, Vol. 25, No. 1, pp. 1–17.

23. Wilsdon, J. et al. 2015. The Metric Tide: Report of the Independent Review of the Rol of Metrics in Research Assessment and Management. HEFCE.

24. UNESCO. UNESCO-aanbeveling oor oop wetenskap. Parys, Frankryk, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. 'n UNESCO-bron het onthul dat hierdie werk tans stilstaan omdat die debat deur slegs 'n paar oorheers word en nie noodwendig by baie aanklank vind nie: uitgebreide dialoog moet die ontwikkeling van aanbevelings voorafgaan.

26. Barroga, E. 2020. Innoverende strategieë vir portuurbeoordeling. Tydskrif vir Koreaanse Mediese Wetenskap, Vol. 35, No. 20, pp. e138.

27. Woods, HB, et al. 2022. Innovasies in ewekniebeoordeling in vakkundige publikasie: 'n meta-opsomming. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB en Brumberg, J. 2022. Innoverende ewekniebeoordeling, herkonfigurasie van vakkundige kommunikasie: 'n Analitiese oorsig van deurlopende ewekniebeoordelingsinnovasie-aktiwiteite. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. en Wilsdon, J. 2022. Goeie praktyk in die gebruik van masjienleer en KI deur navorsingsbefondsingsorganisasies: Insigte uit 'n werkswinkelreeks. Londen, VK, Navorsing oor Navorsingsinstituut. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. en Jones, E. 2020. Navorsing 4.0 Navorsing in die era van outomatisering. Londen, VK, DEMOS.

31. Baker, M. 2015. Slim sagteware sien statistiese foute in sielkundevraestelle. Nature, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Die navorsers wat KI gebruik om portuurbeoordeling te ontleed. Nature 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. en Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. KI-gebaseerde aanhalingsevalueringsinstrumente: goed, sleg of lelik? Die Bybelkundige. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. en Gipp, B. 2020. Akademiese plagiaatopsporing: 'n sistematiese literatuuroorsig. ACM Computing Surveys, Vol. 52, No. 6, pp. 1–42.

36. Quach, K. 2022. Uitgewers gebruik KI om slegte wetenskaplikes op te vang wat data behandel. Die Register. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R en Bockting, C. 2023. ChatGPT: vyf prioriteite vir navorsing. Natuur, Vol. 614, pp. 224–226.

38. Chawla, D. 2022. Moet KI 'n rol speel in die beoordeling van navorsingskwaliteit? Natuur, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Kunsmatige intelligensie kies toelae-beoordelaars in China. Natuur, Vol. 569, pp. 316–317.

40. Mike, T. 2022. Kan die kwaliteit van gepubliseerde akademiese tydskrifartikels met masjienleer geassesseer word? Quantitative Science Studies, Vol. 3, No. 1, pp. 208–226.

41. Chomsky, N., Roberts, I. en Watumull, J. 2023. Die valse belofte van ChatGPT. Die New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Clarivateer. 2022. Navorsingsassessering: Oorsprong, Evolusie, Uitkomste. Clarivateer. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ en Zwitter, A. 2022. Kunsmatige intelligensie misdaad: 'n oorsig van kwaadwillige gebruik en misbruik van KI. IEEE Toegang, Vol. 10, pp. 77110–77122.

44. Castelvecchi, D. 2019. KI-pionier: 'Die gevare van misbruik is baie werklik'. Natuur, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Akademici se persepsies van navorsingsimpak en betrokkenheid deur interaksies op sosiale media-platforms. Leer, media en tegnologie, doi: 10.1080/17439884.2022.2065298

46. Wouters, P., Zahedi, Z. en Costas, R. 2019. Sosiale media-metrieke vir nuwe navorsingsevaluering. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (reds.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. en Stirling, A. 2020. Ontwerp aanwysers vir die opening van evaluering. Insigte uit navorsingsassessering. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. en Baul, J. 2022. Terug na die basiese beginsels. Halle, Duitsland, Global Young Academy.

49. Jong, L., Franssen, T. en Pinfield, S. 2021. Excellence in the Research Ecosystem: A Literature Review. Londen, VK, Navorsing oor Navorsingsinstituut.

50. Hatch, A. en Curry, S. 2020. Navorsingskultuur: Dit is moeilik, maar nie onmoontlik om te verander hoe ons navorsing evalueer nie. eLife, Vol. 9, bl. e58654.

51. IAP. 2022. Bestryding van roofsugtige akademiese joernale en konferensies. Triëst, Italië, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. en Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Natuur, Vol. 520, pp. 429–431.

53. Publons. 2018. Global Stand of Peer Review. Londen, Verenigde Koninkryk, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. en Trinquart, L. 2016. Die globale las van tydskrif-ewekniebeoordeling in die biomediese literatuur: sterk wanbalans in die kollektiewe onderneming. PLoS EEN, Vol. 11, No. 11, bl. e0166387.

55. Forrester, B. 2023. Keelvol en uitgebrand: 'quiet quitting' tref die akademie. Natuur, Vol. 615, pp. 751–753.

56. Hatch, A. en Curry, S. 2020. Navorsingskultuur: om te verander hoe ons navorsing evalueer, is moeilik, maar nie onmoontlik nie. eLife, Vol. 9, bl. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. en Dirnagi, U. 2020. The Hong Kong Beginsels vir die assessering van navorsers: die bevordering van navorsingsintegriteit. PLoS Biologie, Vol. 18, No. 7, bl. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. en Kerridge, S. 2015. The Metric Gety: Verslag van die Onafhanklike Oorsig van die Rol van Metrieke in Navorsingsassessering en -bestuur. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. en Wilsdon, J. 2022. Benutting van die Metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. Londen, VK, Navorsing oor Navorsingsinstituut.

60. Natuurredaksie. 2022. Ondersteun Europa se dapper visie vir verantwoordelike navorsingsevaluering. Natuur, Vol. 607, bl. 636.

61. Verklaring oor Navorsingsassessering (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. en Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Natuur, Vol. 520, pp. 429–431.

63. Curry, S., Gadd, E. en Wilsdon, J. 2022. Benutting van die metrieke gety: aanwysers, infrastruktuur en prioriteite vir die Britse Verantwoordelike Navorsingsassessering. Londen, VK, Navorsing oor Navorsingsinstituut. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DORA. San Francisco-verklaring oor navorsingsassessering. https://sfdora.org/read/

65. DORA. Gereedskap om navorsingsassessering te bevorder. DORA. https://sfdora.org/project-tara/

66. DORA. DORA Community Engagement Grants: Supporting Academic Assessment Reform https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Innorme. OMVANG Raamwerk vir navorsingsevaluering. https://inorms.net/scope-framework-for-research-evaluation/

68. Innorme. Die OMVANG Raamwerk. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Navorsingsgehalte Plus. Internasionale Ontwikkelingsnavorsingsentrum. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. en Grant, L. 2019. Ethical Action in Global Research: A Toolkit. Edinburgh, Skotland, Universiteit van Edinburgh. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Teorieë van verandering in internasionale ontwikkeling: kommunikasie, leer of aanspreeklikheid? Die Asia Foundation. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. en Dias, SM 2021. Verantwoordelike navorsingsevaluering. Wêreldnavorsingsraad. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Die Global Research Council. GRC Verantwoordelike Navorsingsassessering. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. en Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. Londen, VK, Navorsing oor Navorsingsinstituut. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Global Research Council. Verantwoordelike Navorsingsassesseringswerkgroep. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Wetenskaplike uitnemendheid. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. en Williams, K. 2022. Navorsingsassessering: Oorsprong, Evolusie, Uitkomste. Instituut vir Wetenskaplike Inligting. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DORA. Hulpbronbiblioteek. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. en Lakoduk, A. 2021. Reimagining Academic Career Assessment: Stories of Innovation and Change. DORA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalition for Advancing Research Assessment (CoARA). https://coara.eu/

81. CoARA. 2022. Ooreenkoms oor Hervormende Navorsingsassessering. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Natuurredaksie. 2022. Ondersteun Europa se dapper visie vir verantwoordelike navorsingsevaluering. Natuur, Vol. 607, bl. 636.

83. Oop en Universele Wetenskap. OPUS Tuis – Oop en Universele Wetenskap (OPUS) Projek. https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS beweeg vorentoe na 'n meer verantwoordelike navorsingsevaluering. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Europese Navorsingsraad. 2022. ERC Wetenskaplike Raad besluit veranderinge aan die evalueringsvorms en -prosesse vir die 2024-oproepe. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Alle Europese Akademies. 2022. ALLEA-verklaring oor hervorming van navorsingsassessering binne die Europese akademies. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA en GYA. 2022. Gesamentlike verklaring oor die gevolgtrekkings van die EU-raad oor navorsingsevaluering en die implementering van oop wetenskap. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. 'n Pad na multidimensionele akademiese loopbane – 'n LERU-raamwerk vir die assessering van navorsers. LERU, Leuven, België. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Royal Society. CV vir Navorsers. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Vertel narratiewe CV's die regte storie? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. RICYT. Navorsers volgens indiensnemingsektor (VE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Evaluering van wetenskaplike navorsingsevaluering. Op pad na 'n transformasie van wetenskaplike navorsingsevaluering in Latyns-Amerika en die Karibiese reeks van die Latyns-Amerikaanse Forum vir Navorsingsassessering (FOLEC). CLACSO, Buenos Aires, Argentinië. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Op pad na 'n transformasie van evalueringstelsels in Latyns-Amerika en die Karibiese Eilande, hulpmiddels om nuwe evalueringsbeleide te bevorder. Reeks van The Latin American Forum for Research Assessment (FOLEC). CLACSO, Buenos Aires, Argentinië. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Vorme van navorsingsassessering gerig op ontwikkelingsprobleme. Praktyke en perspektiewe van nasionale wetenskap- en tegnologie-organisasies en hoëronderwysinstellings in Latyns-Amerika en die Karibiese Eilande. FOLEC. CLACSO, Buenos Aires, Argentinië. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO is die Raad vir Sosiale Wetenskappe in die streek en 'n toonaangewende kampvegter vir sosiaal relevante en verantwoordelike wetenskap. Die Latyns-Amerikaanse Forum oor Navorsingsassessering (FOLEC) is 'n streeksruimte vir debat en deel van goeie praktyke, en ontwikkel streeksriglyne vir navorsingsassessering om hierdie beginsels te ondersteun. Albei bied sterk streekleierskap.

96. SGCI. Wetenskaptoekenningsrade-inisiatief (SGCI) in Afrika suid van die Sahara. https://sgciafrica.org/

97. SGCI. Tijssen, R. en Kraemer-Mbula, E. 2017. Beleidsopdrag: Perspektiewe op navorsingsuitnemendheid in die globale suide – assessering, monitering en evaluering in ontwikkelende landkontekste. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- land-kontekste.pdf

98. Tijssen, R. en Kraemer-Mbula, E. 2018. Navorsingsuitnemendheid in Afrika: Beleide, persepsies en prestasie. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. en Kraemer-Mbula, E. 2018. Navorsingsuitnemendheid in Afrika: Beleide, persepsies en prestasie. Wetenskap en Openbare Beleid, Vol. 45 No. 3, pp. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Goeie Praktyk-riglyn oor die kwaliteit van navorsingskompetisies. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. Die NNS bied strategiese vergaderings aan om navorsingsvennootskappe in Afrika te bevorder – Nasionale Navorsingstigting

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR en Zornes, DA 2016. Definieer en assesseer navorsingskwaliteit in 'n transdissiplinêre konteks, Navorsingsevaluering, Vol. 25, pp: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Wetenskaptegnologie en -innovasie (STI)-metrieke – Afrikanavorsing en impaknetwerk (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. en Feinstein O. 2022. Navorsingskwaliteit Plus (RQ+) – Evalueer navorsing anders. Ottawa, Internasionale Ontwikkelingsnavorsingsentrum. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Internasionale Akademie vir Monitering en Evaluering

106. DORA. TARA Dashboard. https://sfdora.org/tara-landing-page/

107. IARU, Internasionale Vereniging van Navorsingsintensiewe Universiteite; LERU, Liga van Europese Navorsingsuniversiteite; AAU, Afrikaanse Vereniging van Universiteite

Image deur Guillaume de Germain on Unsplash

Publikasiedatum: Mag 11, 2023

Skrywers: Karina Batthyány

downloads

Volledige verslag

Verwante werk

Verwante publikasies

Sien alles

Die toekoms van navorsingsevaluering: 'n Sintese van huidige debatte en ontwikkelings

downloads

Verwante werk

Verwante publikasies

Die stil werk van transformasie: wetenskap en ingenieurswese in die beslissende sprong na 2030

Jaarverslag 2025

Op pad na geslagsgelykheid in wetenskaplike organisasies: assessering en aanbevelings

Die toekoms van navorsingsevaluering: 'n Sintese van huidige debatte en ontwikkelings

downloads

Deel hierdie publikasie

Verwante werk

Evaluering van wetenskap as 'n globale openbare goed

Toekoms van wetenskaplike publikasie

ISC Forum oor Publikasie en Navorsingsassessering

Verwante publikasies

Die stil werk van transformasie: wetenskap en ingenieurswese in die beslissende sprong na 2030

Jaarverslag 2025

Op pad na geslagsgelykheid in wetenskaplike organisasies: assessering en aanbevelings