Avaluació programàtica per a l’educació en ciències de la salut

Molts punts de dades. Una decisió.

eLEA.to registra alhora el que és quantitatiu i el que és qualitatiu —puntuacions, nivells de confiança i retroacció narrativa, recollits al llarg de tot el pla d’estudis— perquè la comissió d’avaluació decideixi pel pes de l’evidència acumulada i no per una sola prova.

Pensat per a programes CBME de medicina, odontologia, veterinària i infermeria. Allotjat a la UE.

Un estudiant · un curs 0 punts de dades recollits

Passa el cursor per un punt per veure què s’hi va registrar; al mòbil, toca’l. Tria un instrument per veure quina part del conjunt aporta. Els punts pàl·lids després del daurat són la resta del curs: la comissió es reuneix en una data que fixa el programa i decideix amb el que s’hagi recollit fins llavors.

El que els programes ens diuen que no funciona

01

S’avalua molt. S’entén poc.

El vostre programa ja recull moltíssima informació. Viu en formularis en paper, fulls de càlcul i activitats de Moodle que mai no es van dissenyar per llegir-se conjuntament, i ningú no té els temps que caldria per llegir-los conjuntament.

02

Les decisions depenen de qui se’n recorda.

Quan la comissió es reuneix, l’evidència està escampada entre sistemes i semestres. El buit l’omple el record, i el record més segur de si mateix sol guanyar.

03

L’acreditació demana un mapa que ningú no ha dibuixat.

Cobertura per competència, per assignatura, per curs. Muntada a mà les setmanes abans del termini, a partir de fonts que ja han canviat.

L’enfocament

El caràcter longitudinal és un pilar. L’avaluació programàtica en té quatre.

Recollir evidència al llarg del temps és un principi entre diversos. eLEA.to es basa en el model formulat per Van der Vleuten i col·laboradors i codificat pel consens d’Ottawa 2020, en què cap avaluació individual no sosté tota sola una decisió d’alt impacte.

Progrés de rúbriques clíniques Odontologia, 4t curs · un estudiant Il·lustratiu
  • Restauracions directes Supervisió indirecta 12 / 15
  • Endodòncia unirradicular Supervisió directa 7 / 12
  • Terapèutica periodontal Supervisió indirecta 14 / 14
  • Maneig conductual infantil Supervisió directa 4 / 10
  • Pròtesi removible Observació 3 / 8

Les rúbriques clíniques són la forma que pren el DOPS en odontologia, i aquesta mateixa vista serveix per a qualsevol instrument que faci servir un programa. Els recomptes, els llindars i els nivells de supervisió els fixa el programa — nosaltres hi posem el mecanisme, no una opinió sobre quines han de ser les xifres correctes per a la vostra disciplina.

Longitudinalitat

La competència es desenvolupa; una sola prova en mostra només un instant. L’evidència es recull al llarg de tot el programa, de manera que el que es fa visible és una trajectòria i no una sèrie de veredictes inconnexos.

Triangulació

Cada instrument veu una cosa diferent. Un mini-CEX veu una consulta, un DOPS veu un procediment, un 360° veu el que viu l’equip. El que fa sostenible un judici és la coincidència entre mètodes, contextos i avaluadors.

Proporcionalitat

El pes d’una decisió correspon al pes de l’evidència que la sustenta. Cada punt de dades es manté de baix impacte i formatiu; només el conjunt acumulat pot sostenir una decisió de progressió.

Orientació a la retroacció

Cada observació s’escriu primer de tot perquè sigui útil a qui aprèn. Una avaluació que només alimenta una nota genera dades que no ensenyen res, i avaluadors que deixen d’escriure res que valgui la pena llegir.

Van der Vleuten, C.P.M., Schuwirth, L.W.T., Driessen, E.W. et al. (2012) «A model for programmatic assessment fit for purpose», Medical Teacher 34(3), 205–214. · Heeneman, S., de Jong, L.H., Dawson, L.J. et al. (2021) «Ottawa 2020 consensus statement for programmatic assessment — 1. Agreement on the principles», Medical Teacher 43(10), 1139–1148.

Per a qui

Quin benefici en traureu?

Sis persones s’han de posar d’acord perquè es compri una plataforma, i cadascuna resol un problema diferent. Aquí teniu la frase que li importa a cadascuna, i un text més llarg al darrere.

Institució

Si penseu que l’educació per competències és una prioritat estratègica però cada departament fa l’avaluació programàtica a la seva manera, hauríeu de provar una plataforma compartida com eLEA.to perquè cada titulació treballi amb un mateix model, preparat per a l’acreditació, que encaixi amb el vostre Moodle, el vostre SSO i els vostres requisits de protecció de dades.

Llegeix l’argument

Cap d’estudis

Si penseu que el vostre programa avalua molt però no sabeu dir quines competències es cobreixen, per part de qui, ni on són els buits, hauríeu de provar una matriu de cobertura curricular com eLEA.to per veure on prima el vostre blueprint abans no ho descobreixin els estudiants o l’agència d’acreditació.

Llegeix l’argument

TI i protecció de dades

Si penseu que una plataforma d’avaluació nova vol dir un segon sistema que reclama les notes, una altra avaluació d’impacte i un encarregat que no veieu, hauríeu de provar un registre de competències només d’afegit com eLEA.to perquè l’autoritat sobre les qualificacions es quedi al vostre LMS, les dades es quedin a la UE, i el tractament que heu de documentar sigui prou estret per descriure’l en un paràgraf.

Llegeix l’argument

Comissió d’avaluació

Si penseu que les decisions de progressió encara depenen de fulls de càlcul escampats i de qui parla més fort a la reunió, hauríeu de provar un espai de comissió com eLEA.to perquè cada decisió reposi sobre molts punts de dades, indicadors de progrés visibles i un registre d’auditoria que pugueu defensar.

Llegeix l’argument

Tutor i supervisor clínic

Si penseu que només veieu un fragment del progrés del vostre estudiant, i que la vostra retroacció desapareix en un formulari que ningú no torna a llegir, hauríeu de provar un portafolis longitudinal com eLEA.to perquè cada mini-CEX, DOPS i reflexió construeixi una imatge des de la qual es pugui acompanyar de veritat.

Llegeix l’argument

Estudiant

Si penses que només saps com vas quan ja és massa tard per fer-hi res, hauries de provar un portafolis longitudinal com eLEA.to perquè puguis seguir el teu propi progrés, veure quines competències et falten i arribar a cada revisió sabent què t’hi trobaràs.

Llegeix l’argument

La plataforma

Què fa, en l’ordre en què ho fareu servir

Agrupat pel cicle d’avaluació i no per categoria de funcionalitat. Tot allò que no és a la versió actual està etiquetat, perquè la diferència importa en un procés de compra.

Primer pas

Configurar el marc competencial

  • Biblioteca de marcs: ADEE Graduating European Dentist, competències de les Ordres CIN/ECI, annexos de la Directiva 2005/36/CE, capa transversal ESCO
  • Remapatge RD 822/2021: de competències antigues a resultats d’aprenentatge oficials, amb taula de correspondència i etiqueta de versió
  • Control de versions del marc i del mapatge, perquè una modificació de la memòria continuï sent traçable
  • Configuració d’instruments: quines competències, quina rúbrica, mínims i terminis
  • Model de rols: tutor, supervisor, coordinació, membre de comissió, administració

Segon pas

Recollir l’evidència

  • Set instruments en entorn assistencial: mini-CEX, DOPS, discussió de casos, 360°/multifont, escales de confiança EPA, reflexions estructurades, registres de procediments
  • Retroacció narrativa estructurada al costat de cada puntuació, no afegida després
  • Captura fora de línia per a entorns clínics amb poca connectivitat, amb sincronització en reconnectar
  • Aplicació web instal·lable en escriptori i mòbil
  • Importació massiva de matrícules i assignació massiva de supervisors

Tercer pas

Agregar la imatge de conjunt

  • Portafolis longitudinal de l’estudiant: cada observació, en seqüència, per competència
  • Matriu de cobertura curricular: competència × assignatura × curs × instrument, com a document viu
  • Indicadors de progrés per competència respecte del nivell de supervisió esperat
  • Cerca i filtratge sobre una cohort sencera, que és el que cal de debò per revisar 200 estudiants
  • Anàlisi amb IA: síntesi de la retroacció narrativa d’un portafolis, que fa emergir el que es repeteix entre avaluadors i al llarg del temps. Configurada a partir de les preguntes que es fa realment el vostre programa, i no com un joc fix de quadres de comandament

Quart pas

Decidir, i poder mostrar per què

  • Vista de comissió sobre l’evidència agregada de cada estudiant
  • Decisions de progressió registrades amb la seva justificació
  • Registre d’auditoria: qui ha canviat què, quan i des de quin valor
  • Plans de progrés individualitzats per a estudiants per sota del llindar
  • Alertes i escalat: notificacions configurables a tutoria, coordinació i comissió quan el progrés, la compleció o els terminis se’n van
  • Exportacions per a acreditació en CSV, Excel i PDF

A sota

Plataforma i compliment

  • Integració amb Moodle via LTI 1.3, amb SSO/SAML i sincronització de matrícules
  • Interfície trilingüe: català, castellà i anglès
  • WCAG 2.1 AA com a requisit de construcció, no com a esmena posterior
  • Aïllament entre institucions, arquitectònic des del primer dia
  • Compliment de l’RGPD amb residència de dades a la UE

A continuació

En desenvolupament

  • Alerta primerenca per a estudiants que se surten de trajectòria En desenvolupament
  • Esborrany d’informes de comissió a partir del registre agregat En desenvolupament
  • Skill Passport: credencials de competència portables i verificables en graduar-se En desenvolupament

En desenvolupament

Com funciona la IA aquí. L’anàlisi amb IA ja està disponible, i es configura a partir del vostre programa en lloc de lliurar-se com un joc fix de quadres de comandament: el que es fa emergir depèn de les preguntes que es fan realment la vostra comissió i els vostres tutors. El que hi ha a sota continua sent deliberat: cada capacitat d’IA s’engega després de la seva pròpia avaluació d’impacte en protecció de dades i d’una avaluació segons el Reglament Europeu d’IA, s’activa per decisió vostra i no en una actualització, i l’evidència que hi ha darrere de qualsevol anàlisi es pot continuar llegint sencera. La inferència automàtica sobre la progressió d’un estudiant canvia el perfil de risc d’un sistema, no només la seva llista de funcions, i preferim dir-ho clarament abans que ens ho preguntin a mitja licitació.

Verificable

Fets que podem sostenir

En aquesta pàgina no hi ha cap projecció arrodonida a l’alça. Són fets del producte i resultats publicats, i cadascun és el tipus d’afirmació que qui compra té tot el dret de comprovar.

3

Idiomes d’interfície: català, castellà i anglès, tots tres de primera categoria.

7

Instruments validats d’entorn assistencial a la biblioteca per defecte.

UE

Residència de dades. PostgreSQL a Scaleway, en regions de la UE, amb aïllament per institució.

Mode Offline

0 barres de cobertura necessàries per registrar una avaluació. La captura funciona fora de línia i se sincronitza en reconnectar, des de qualsevol mòbil.

Una revisió integradora de 27 estudis empírics va concloure que l’avaluació programàtica genera prou informació per prendre decisions sòlides, i va identificar l’excés d’informació d’avaluació com un dels seus reptes recurrents. Totes dues meitats d’aquesta conclusió han donat forma al que hem construït.

Schut, S. et al. (2021), Perspectives on Medical Education

Una fiabilitat acceptable en avaluació en entorn assistencial s’assoleix combinant instruments diferents, no acumulant-ne més d’un de sol. Aquest és l’argument dels molts punts de dades i de la triangulació, formulat com un resultat de mesura i no com un eslògan.

Moonen-van Loon, J.M.W. et al. (2013), Advances in Health Sciences Education

Com treballem

Quatre compromisos

Integritat i transparència

Preus publicats, límits explicitats i un full de ruta etiquetat com a full de ruta. De tant en tant ens costa una demostració.

Col·laboració àgil

Construïm amb les institucions que ho fan servir. El motor de mapatge de marcs existeix perquè una vicedegana ens va dir que la migració era la part difícil.

Aprenentatge continu

La literatura sobre avaluació programàtica és jove i en part crítica. També llegim la crítica, i el producte canvia.

Excel·lència modular

Un nucli capaç, i la resta com a mòduls que s’activen. Cap institució no hauria de pagar per un planificador de rotacions que no obrirà mai.

Abast

El que eLEA.to deliberadament no fa

  • Substituir el llibre de qualificacions de Moodle o Blackboard, ni l’expedient acadèmic oficial.
  • Custodiar l’expedient. L’autoritat sobre les notes i la residència de les dades d’expedient es queden al vostre LMS.
  • Gestionar estacions ACOE/OSCE. Els resultats es poden importar; la gestió d’estacions és al full de ruta.
  • Exigir una consultoria de sis xifres abans que la primera promoció estigui en marxa.

Per què comencem per aquí

La primera pregunta del servei d’informàtica d’una universitat és quin sistema és el sistema de registre. eLEA.to funciona com un registre de competències només d’afegit al costat del vostre LMS, no per sobre. Posar-ho per escrit aviat no és una debilitat de l’argument: és el que converteix un procés de compra de sis mesos en un de més curt.

Una facultat de medicina a Madrid, una facultat d’odontologia a Bombai, un grau d’infermeria a Manchester.

eLEA.to s’adapta al vostre marc competencial i al vostre flux d’avaluació. Expliqueu-nos com avalueu avui i us ensenyarem quin aspecte té dins la plataforma, amb el vostre marc i no amb dades de demostració genèriques.