Education for Romania / Învățământ universitar de calitate

Evaluarea proceselor în sistemul academic poate fi problematică

Ca orice proces instituțional, mediul universitar organizează diverse tipuri de evaluări, dar este și el evaluat la rândul său: de la evaluarea studenților, la cea a cadrelor didactice, și de la ierarhizarea universităților, la evaluarea calității în procesul academic. Secțiunea următoare își propune să mapeze o parte dintre aceste tipuri de evaluări, precum și dificultățile ce pot apărea fie în desfășurarea lor, fie în asigurarea eficienței și impactului pe care îl au.

Pentru a verifica și consolida cunoștințele și aptitudinile dobândite, studenții sunt evaluați la fiecare curs în parte, prin diferite metode: examene scrise, examene orale, analize, eseuri, proiecte sau lucrări de cercetare, prezentări, teste pe parcursul semestrului sau orice altă metodă care este considerată potrivită pentru testarea cunoștințelor și aptitudinilor pentru fiecare materie în parte. Este la latitudinea fiecărui profesor în parte să hotărască formatele utilizate, având însă obligația de a specifica această alegere în fișa disciplinei și de a o comunica studenților la începutul semestrului.

Raportul ANOSR pentru anul universitar 2021-2022 evidențiază faptul că reprezentanții organizațiilor studențești din aproximativ 42% dintre cele 24 de universități incluse în studiu s-au confruntat cu situații în care modul de evaluare a fost schimbat după începerea semestrului, fără ca studenții să fie de acord cu această modificare. Același raport evidențiază faptul că deși în majoritatea universităților din cele 24 incluse în studiu (aproximativ 79%) reprezentanții consideră că evaluarea este în mare sau foarte mare măsură „obiectivă, nediscriminatorie și conform fișei disciplinei”, în 21% dintre universități reprezentanții consideră că aceste caracteristici se aplică evaluării doar în mică măsură. În cazul în care un student consideră că nota primită nu este una obiectivă sau corectă, are dreptul de a contesta evaluarea. Cu toate acestea, studentul nu este mereu informat privind procedurile care trebuie urmate în caz de contestație. Conform raportului ANOSR, reprezentanții a aproximativ 21% dintre cele 24 universități incluse în studiu declară că o informare cuprinzătoare nu există mereu în cadrul universității lor.

Probleme în desfășurarea obiectivă și integră a evaluărilor pot apărea însă și din cauza studenților, care pot încerca să fraudeze sistemul pentru a promova examenele. Cel mai frecvent întâlnite strategii sunt plagiatul, utilizarea unor intermediari care să scrie în locul său examenele sau copiatul de la alți studenți sau din alte surse. Această problemă a fost semnalată și de studiul UEFISCDI privind abordarea managementului eticii în cadrul mediului universitar. Aceștia atribuie parte din vină sistemului de învățământ preuniversitar care pune accent pe „memorare și redare de conținut și mai puțin pe formare de competențe”, care la rându-i poate conduce la o orientare exclusivă pe note și mai puțin pe acumulări. Situația este accentuată de faptul că studenții au o înțelegere limitată a ceea ce înseamnă plagiatul când intră la facultate, care uneori nu este clarificată nici odată cu avansarea în cadrul studiilor. Deși mecanisme de verificare a plagiatului există, ele nu sunt mereu eficiente, fiind necesară o verificare și din partea cadrului didactic.

Aceste tentative de a frauda sistemul sunt acum facilitate și de dezvoltarea noilor tehnologii de tip IA (inteligență artificială). Acestea pot fi folosite pentru a genera date sau răspunsuri, fie chiar și pentru a compune lucrări sau materiale scrise în totalitate. Detectarea și demonstrarea utilizării unor astfel de instrumente poate fi dificilă pentru cadrul didactic, unii dintre experții consultați în timpul interviurilor descriind procesul de corectare ca o „formă de a face poliție”. Mecanismele de verificare a plagiatului care există la momentul actual pe piață au încă anumite dificultăți în a identifica un text sau date generate prin intermediul tehnologiilor IA, precum și cele în limba română, ceea ce poate îngreuna acest proces. De asemenea, nu toate cadrele didactice sunt familiarizate cu modul în care tehnologia îi poate ajuta în menținerea eticii și integrității metodelor de evaluare, fapt care crește riscul ca aceste tentative să reușească.

Pe lângă oferirea unui calificativ care să reflecte nivelul de competențe construite la momentul evaluării, scopul examinărilor este și de a oferi posibilitatea studentului de a învăța din greșelile făcute. Cu toate acestea, feedback-ul constructiv primit de student poate fi deseori limitat, iar în unele situații chiar poate lipsi cu desăvârșire. Conform studiului Eurostudent, jumătate dintre studenți (50%) sunt de acord cu afirmația conform căreia cadrele didactice oferă un feedback util în activitatea studenților, 26% consideră că nu sunt de acord cu această afirmație, în timp ce un sfert (24%) nu sunt nici în acord nici în dezacord cu această afirmație. Conform interviurilor, diferențele de feedback se datorează și faptului că formularea și oferirea acestuia necesită timp, mai ales în situații în care numărul de studenți este unul ridicat (câteva zeci sau sute), timp de care cadrele didactice nu dispun întotdeauna.

Nu doar studenții sunt evaluați și primesc feedback de la cadrele didactice, ci și viceversa. Studenții pot oferi feedback și evalua cadrele didactice prin formulare de evaluare trimise la finalul fiecărui semestru, care sunt anonime și includ toate materiile parcurse în acel semestru. Aceste formulare nu sunt obligatorii nici pentru studenți (completarea lor) și nici pentru cadrele didactice (implementarea sugestiilor lor), însă scopul este de a ajuta cadrul didactic să înțeleagă cum au interacționat studenții cu cursul său și cum poate fi îmbunătățit de la an la an.

În practică, însă, din interviurile cu experți a reieșit faptul că, în multe situații, aceste formulare sunt văzute mai degrabă ca o formalitate la nivel instituțional, trimise pentru a satisface criteriile ARACIS. Acestea din urmă includ aceste formulare cu caracter obligatoriu de a fi administrate, însă rareori există mecanisme adiționale care să susțină implementarea de schimbări în baza lor. Mai mult, nu toate facultățile trimit cadrelor didactice formularul completat, uneori acesta primind doar un rezumat sau o serie de sugestii din partea directorului de departament, dacă probleme semnificative au fost identificate.

Efectul limitat al acestor formulare este amplificat și de faptul că doar un număr mic de studenți le completează, chiar dacă universitatea le diseminează. Conform raportului ANOSR pe 2021-2022, reprezentanții organizațiilor studențești din cele 24 de universități incluse în studiu declară că doar în 17% dintre universități studenții participă în mare măsură sau foarte mare măsură la evaluarea cursurilor și în aproximativ 25% la evaluarea cadrelor didactice. Unul dintre motivele pentru participarea scăzută este faptul că studenții nu văd o finalitate a acestor formulare, ceea ce creează percepția unei completări inutile sau chiar a unei pierderi de timp. Doar pentru 8.3% dintre universitățile incluse în studiul ANOSR reprezentanții studenților au raportat că rezultatele acestor evaluări sunt publicate pe site-ul universității, iar autorii cercetării au menționat că doar 2 universități publică rezultatele în extenso, iar 6 universități le publică parțial. Mai mult, în peste o treime (33%) din cele 24 de universități incluse în studiu, reprezentanții respondenți consideră că nu există rezultate sau consecințe ale acestor formulare de care studenții să fi fost informați.

Pe lângă acest feedback formal, pot exista și sesiuni de feedback organizate de cadrul didactic, un reprezentant al echipei programului sau chiar (unde există) de student officer, în mod mai informal. În acest sens, feedback-ul poate fi folosit de către responsabilul de disciplină pentru a îmbunătăți cursul pentru anii viitori, însă acest proces nu este vizibil la scară largă, poate nici la nivel de universitate. Așadar, este greu de măsurat la nivel național impactul unor astfel de inițiative, sau în ce măsură sunt aplicate de către programele de studiu.

La momentul actual, la nivel național, nu există un sistem de ierarhizare a universităților (nici ca universități, nici ca facultăți sau programe de studiu/ specializări) pe baza unor criterii și a unei metodologii de evaluare locală. În schimb, universitățile din România se raportează la instrumente de ierarhizare din afara țării, precum Shanghai Ranking 2023, Times Higher Education World University Ranking sau QS World University Rankings pentru a-și evalua calitatea programelor. Aceste topuri (eng. rankings) au o prezență limitată din partea universităților românești, dar prezența în ele este considerată un aspect de prestigiu. Indicatorii folosiți de aceste rankinguri sunt calculați pe dimensiunea de cercetare (spre exemplu, numărul de citări, numărul de articole publicate în diverse reviste de prestigiu sau colaborări la nivel internațional), de educare (spre exemplu, raportul dintre numărul de studenți și de cadre didactice, raportul dintre studenți de doctorat și de licență, numărul de studenți internaționali) și de resursă umană (spre exemplu, premii primite de cadrele didactice din cadrul universității sau de alumni ai universității).

Deși aceste sisteme sunt larg folosite, la nivel internațional există numeroase critici aduse acestora, printre care: (1) lipsa de transparență când vine vorba de criteriile exacte de clasificare și ponderea lor, (2) o atenție foarte mare acordată criteriilor legate de cercetare, dar un accent insuficient pus pe contribuțiile la nivel național ale acesteia (spre exemplu, anumite reviste internaționale sunt cotate mai bine, de regulă cele care sunt în limba engleză, fiind luate în considerare mai puțin publicații în limba națională cu un impact local) și (3) uneori, anumite interese de profit personal al organizațiilor ce desfășoară și publică aceste clasificări, ceea ce poate crea un conflict de interese. În general, criticile aduse sunt legate de un focus excesiv pe metrici cantitativi (care se pot cuantifica ușor) și mai puțin pe calitatea actului educațional. În anumite situații, aceste critici au condus și la decizia unor universități de a părăsi aceste clasificări. Spre exemplu, 52 de universități din Coreea de Sud din ranking-ul QS în 2023 (invocând deficiențe în metodologia actuală și o defavorizare a colaborărilor la nivel național) (Jung and Sharma, 2023, Chirikov, 2023 și Kisley, 2023). Exemple există și la nivel european, precum retragerea Universității din Zürich și a Universității din Utrecht din ranking-ul Times Higher Education World (invocând ca motiv indicatorii de evaluare, ce se concentrează mai mult pe cantitate decât pe calitate) (Keystone-SDA, 2024 și Brent, 2023). Aceste îngrijorări au fost exprimate și în cadrul interviurilor cu experți din țara noastră, care au menționat că, deși poziționarea universităților românești în cadrul acestor rankinguri este benefică (întrucât le crește vizibilitatea și prestigiul), dependența de ele și o atenție excesivă asupra obținerii unei poziții (cu un focus excesiv pe metricii luați în considerare de aceste topuri) poate fi problematică pentru calitatea actului educațional.

O metodă prin care poate fi evaluat succesul programelor de studii este reprezentată de traseul profesional al absolvenților: angajabilitatea acestora, măsura în care aceștia reușesc să urmeze un traseu profesional conectat cu domeniul de studiu urmat în facultate, precum și măsura în care facultatea a contribuit la dezvoltarea de competențe pentru viitoarea meserie. Deși există inițiative care își propun acest obiectiv, la momentul redactării acestui raport nu există un instrument funcțional de colectare a datelor necesare pentru această monitorizare, fără de care este imposibil de făcut evaluarea și analiza menționată. La momentul actual, o platformă care ar facilita această interconectare este în curs de dezvoltare prin UEFISCDI. La momentul scrierii acestui raport, sistemul are doar un set de date de test într-o consolă publică.

Istoric vorbind, universitățile obțin astfel de date prin chestionare trimise absolvenților după finalizarea studiilor. Acestea, însă, au o rată de completare destul de scăzută, nefiind astfel reprezentative pentru toată cohorta de studenți, după cum a fost evidențiat și în interviurile cu experți. Dincolo de dificultățile logistice de a administra astfel de chestionare, ele nu oferă universităților posibilitatea de a urmări cum sau dacă traseul absolventului se schimbă pe parcurs, când trece de la o meserie la alta. De asemenea, faptul că se administrează la un anumit moment în timp nu permite evaluarea constantă a statutului absolventului, ceea ce face aceste chestionare instrumente statice cu o imagine imperfectă a evaluării pe termen scurt, mediu și lung.

Un mod alternativ de colectare a acestor date, mai reprezentativ și ca număr și ca perioadă de timp, este utilizarea bazelor de date oferite la nivel de ministere relevante pentru subiect. Spre exemplu, Registrul Matricol Unic gestionat de Ministerul Educației (care mapează parcursul educațional) și Registrul General de Evidenta a Salariatilor, gestionat de Inspecția Muncii, aflată în subordinea Ministerului Muncii și Solidarității Sociale (care mapează salariații) ar putea fi baze de date cu potențial de integrare pentru un astfel de scop. Prin folosirea celor două registre, universitatea ar putea vedea atât traseul studentului, cât și domeniul în care lucrează. Interconectarea acestor platforme este, însă, un proces complicat, atât din punct de vedere tehnic (de creare a unui sistem digital care preia informații din ambele surse și de menținere și actualizare a sa pe termen lung), cât și logistic și legal (transferul de date cu caracter personal, colaborarea cu două ministere diferite simultan). Pe acest model se bazează și platforma UEFISCDI menționată la începutul acestui capitol. Urmează să observăm cum va fi aceasta implementată și măsura în care datele vor fi deschise publicului.

La nivel național, calitatea educației în mediul universitar românesc este evaluată prin intermediul agențiilor de evaluare a calității, în special ARACIS. Acesta dispune de o serie de standarde de calitate pe care universitățile trebuie să le îndeplinească, precum și de evaluări periodice și inspecții prin care este verificată respectarea acestor standarde - aspecte explicate în mai mare detaliu în secțiunea introductivă a acestui raport.

În interviurile cu experții a fost sugerată, însă, o nevoie de a regândi, măcar în parte, standardele de calitate ce există la momentul actual. Aceștia au semnalat faptul că evaluarea tinde să se concentreze prea mult pe cifre și prea puțin pe realitatea din spatele cifrelor. Procesul și rezultatele efective sunt mai dificil de măsurat și evaluat unitar pentru toate instituțiile de învățământ pentru a putea standardiza evaluarea. În plus, a fost semnalat faptul că există un număr limitat de persoane cu expertiză specifică în zona asigurării calității, parțial și din cauza faptului că nu există un program de formare academică dedicat în mod exclusiv acestei specializări.

Dificultăți pot apărea și în procesul de acreditare, atât când vine vorba de prima aprobare a disciplinei, cât și când vine vorba de evaluările recurente. Birocrația care însoțește acest proces este greoaie. Ea necesită întocmirea unui număr mare de documente adesea integral de mână, întrucât procesul de întocmire a dosarelor nu este suficient automatizat. Aceasta poate crea și percepția că mecanismele de evaluare sunt doar o „formalitate birocratică”, un act care trebuie performat o dată la câțiva ani, dar fără a fi privit neapărat ca un proces centrat pe asigurarea unei calități cât mai ridicate a programelor educaționale.