Evaluación programática para la educación en ciencias de la salud

Muchos puntos de datos. Una decisión.

eLEA.to registra a la vez lo cuantitativo y lo cualitativo —puntuaciones, niveles de confianza y feedback narrativo, recogidos a lo largo de todo el plan de estudios— para que la comisión de evaluación decida por el peso de la evidencia acumulada y no por una sola prueba.

Pensado para programas CBME de medicina, odontología, veterinaria y enfermería. Alojado en la UE.

Un estudiante · un curso 0 puntos de datos recogidos

Pasa el cursor por un punto para ver qué se registró; en el móvil, tócalo. Elige un instrumento para ver qué parte del conjunto aporta. Los puntos pálidos tras el dorado son el resto del curso: la comisión se reúne en una fecha que fija el programa y decide con lo que se haya recogido para entonces.

Lo que los programas nos dicen que no funciona

01

Se evalúa mucho. Se entiende poco.

Vuestro programa ya recoge muchísima información. Vive en formularios en papel, hojas de cálculo y actividades de Moodle que nunca se diseñaron para leerse juntas, y nadie tiene el tiempo que haría falta para leerlas juntas.

02

Las decisiones dependen de quién se acuerda.

Cuando la comisión se reúne, la evidencia está dispersa entre sistemas y semestres. El hueco lo llena el recuerdo, y suele ganar el recuerdo más seguro de sí mismo.

03

La acreditación pide un mapa que nadie ha dibujado.

Cobertura por competencia, por asignatura, por curso. Montada a mano las semanas previas al plazo, a partir de fuentes que ya han cambiado.

El enfoque

Longitudinal es un pilar. La evaluación programática se sostiene sobre cuatro.

Recoger evidencia a lo largo del tiempo es un principio entre varios. eLEA.to se basa en el modelo formulado por Van der Vleuten y colaboradores y codificado por el consenso de Ottawa 2020, en el que ninguna evaluación aislada sostiene por sí sola una decisión de alto impacto.

Progreso de rúbricas clínicas Odontología, 4º curso · un estudiante Ilustrativo
  • Restauraciones directas Supervisión indirecta 12 / 15
  • Endodoncia unirradicular Supervisión directa 7 / 12
  • Terapéutica periodontal Supervisión indirecta 14 / 14
  • Manejo conductual infantil Supervisión directa 4 / 10
  • Prótesis removible Observación 3 / 8

Las rúbricas clínicas son la forma que toma el DOPS en odontología, y esta misma vista sirve para cualquier instrumento que use un programa. Los recuentos, los umbrales y los niveles de supervisión los fija el programa — nosotros ponemos el mecanismo, no una opinión sobre cuáles deben ser las cifras correctas para vuestra disciplina.

Longitudinalidad

La competencia se desarrolla; una sola prueba muestra un instante de ella. La evidencia se recoge a lo largo de todo el programa, de modo que lo que se hace visible es una trayectoria y no una serie de veredictos inconexos.

Triangulación

Cada instrumento ve algo distinto. Un mini-CEX ve una consulta, un DOPS ve un procedimiento, un 360° ve lo que vive el equipo. Lo que hace sostenible un juicio es la coincidencia entre métodos, contextos y evaluadores.

Proporcionalidad

El peso de una decisión corresponde al peso de la evidencia que la sostiene. Cada punto de datos se mantiene de bajo impacto y formativo; sólo el conjunto acumulado puede sostener una decisión de progresión.

Orientación al feedback

Cada observación se escribe, ante todo, para que le sirva a quien aprende. Una evaluación que sólo alimenta una nota produce datos que no enseñan nada, y evaluadores que dejan de escribir algo que merezca leerse.

Van der Vleuten, C.P.M., Schuwirth, L.W.T., Driessen, E.W. et al. (2012) «A model for programmatic assessment fit for purpose», Medical Teacher 34(3), 205–214. · Heeneman, S., de Jong, L.H., Dawson, L.J. et al. (2021) «Ottawa 2020 consensus statement for programmatic assessment — 1. Agreement on the principles», Medical Teacher 43(10), 1139–1148.

Para quién

¿Qué beneficio sacaríais?

Seis personas tienen que estar de acuerdo para que se compre una plataforma, y cada una resuelve un problema distinto. Aquí está la frase que le importa a cada una, y un texto más largo detrás.

Institución

Si crees que la educación por competencias es una prioridad estratégica pero cada departamento hace la evaluación programática a su manera, deberías probar una plataforma compartida como eLEA.to para que cada titulación trabaje con un mismo modelo, preparado para la acreditación, que encaje con vuestro Moodle, vuestro SSO y vuestros requisitos de protección de datos.

Lee el argumento

Responsable docente

Si crees que tu programa evalúa mucho pero no sabes decir qué competencias se cubren, por parte de quién, ni dónde están los huecos, deberías probar una matriz de cobertura curricular como eLEA.to para ver dónde flaquea tu blueprint antes de que lo descubran tus estudiantes o la agencia de acreditación.

Lee el argumento

TI y protección de datos

Si crees que una nueva plataforma de evaluación significa un segundo sistema que reclama las notas, otra evaluación de impacto y un encargado que no ves, deberías probar un registro de competencias de sólo anexado como eLEA.to para que la autoridad sobre las calificaciones se quede en vuestro LMS, los datos se queden en la UE, y el tratamiento que tenéis que documentar sea lo bastante estrecho como para describirlo en un párrafo.

Lee el argumento

Comisión de evaluación

Si crees que las decisiones de progresión todavía dependen de hojas de cálculo dispersas y de quién habla más alto en la reunión, deberías probar un espacio de comisión como eLEA.to para que cada decisión repose sobre muchos puntos de datos, indicadores de progreso visibles y un registro de auditoría que puedas defender.

Lee el argumento

Tutor y supervisor clínico

Si crees que sólo ves un fragmento del progreso de tu estudiante, y que tu feedback desaparece en un formulario que nadie vuelve a leer, deberías probar un portafolio longitudinal como eLEA.to para que cada mini-CEX, DOPS y reflexión construya una imagen desde la que se pueda acompañar de verdad.

Lee el argumento

Estudiante

Si crees que sólo te enteras de cómo vas cuando ya es tarde para hacer algo al respecto, deberías probar un portafolio longitudinal como eLEA.to para poder seguir tu propio progreso, ver qué competencias te faltan y llegar a cada revisión sabiendo qué esperar.

Lee el argumento

La plataforma

Qué hace, en el orden en que lo vais a usar

Agrupado por el ciclo de evaluación y no por categoría de funcionalidad. Todo lo que no está en la versión actual va etiquetado, porque la diferencia importa en un proceso de compra.

Primer paso

Configurar el marco competencial

  • Biblioteca de marcos: ADEE Graduating European Dentist, competencias de las Órdenes CIN/ECI, anexos de la Directiva 2005/36/CE, capa transversal ESCO
  • Remapeo RD 822/2021: de competencias antiguas a resultados de aprendizaje oficiales, con tabla de correspondencia y etiqueta de versión
  • Control de versiones del marco y del mapeo, para que una modificación de la memoria siga siendo trazable
  • Configuración de instrumentos: qué competencias, qué rúbrica, mínimos y plazos
  • Modelo de roles: tutor, supervisor, coordinación, miembro de comisión, administración

Segundo paso

Recoger la evidencia

  • Siete instrumentos de entorno asistencial: mini-CEX, DOPS, discusión de casos, 360°/multifuente, escalas de confianza EPA, reflexiones estructuradas, registros de procedimientos
  • Feedback narrativo estructurado junto a cada puntuación, no añadido después
  • Captura sin conexión para entornos clínicos con poca cobertura, con sincronización al reconectar
  • Aplicación web instalable en escritorio y móvil
  • Importación masiva de matrículas y asignación masiva de supervisores

Tercer paso

Agregar la imagen de conjunto

  • Portafolio longitudinal del estudiante: cada observación, en secuencia, por competencia
  • Matriz de cobertura curricular: competencia × asignatura × curso × instrumento, como documento vivo
  • Indicadores de progreso por competencia frente al nivel de supervisión esperado
  • Búsqueda y filtrado sobre una cohorte entera, que es lo que hace falta de verdad para revisar 200 estudiantes
  • Análisis con IA: síntesis del feedback narrativo de un portafolio, que hace emerger lo que se repite entre evaluadores y a lo largo del tiempo. Configurado a partir de las preguntas que se hace realmente vuestro programa, y no como un juego fijo de cuadros de mando

Cuarto paso

Decidir, y poder mostrar por qué

  • Vista de comisión sobre la evidencia agregada de cada estudiante
  • Decisiones de progresión registradas con su justificación
  • Registro de auditoría: quién cambió qué, cuándo y desde qué valor
  • Planes de progreso individualizados para estudiantes por debajo del umbral
  • Alertas y escalado: notificaciones configurables a tutoría, coordinación y comisión cuando el progreso, la finalización o los plazos se desvían
  • Exportaciones para acreditación en CSV, Excel y PDF

Debajo

Plataforma y cumplimiento

  • Integración con Moodle vía LTI 1.3, con SSO/SAML y sincronización de matrículas
  • Interfaz trilingüe: catalán, castellano e inglés
  • WCAG 2.1 AA como requisito de construcción, no como enmienda posterior
  • Aislamiento entre instituciones, arquitectónico desde el primer día
  • Cumplimiento del RGPD con residencia de datos en la UE

A continuación

En desarrollo

  • Alerta temprana para estudiantes que se salen de trayectoria En desarrollo
  • Borrador de informes de comisión a partir del registro agregado En desarrollo
  • Skill Passport: credenciales de competencia portables y verificables al graduarse En desarrollo

En desarrollo

Cómo funciona la IA aquí. El análisis con IA ya está disponible, y se configura a partir de vuestro programa en lugar de entregarse como un juego fijo de cuadros de mando: lo que se hace emerger depende de las preguntas que se hacen realmente vuestra comisión y vuestros tutores. Lo que hay debajo sigue siendo deliberado: cada capacidad de IA se enciende tras su propia evaluación de impacto en protección de datos y una evaluación conforme al Reglamento Europeo de IA, se activa por decisión vuestra y no en una actualización, y la evidencia que hay detrás de cualquier análisis se puede seguir leyendo entera. La inferencia automática sobre la progresión de un estudiante cambia el perfil de riesgo de un sistema, no sólo su lista de funciones, y preferimos decirlo claramente antes de que nos lo pregunten a mitad de una licitación.

Verificable

Hechos que podemos sostener

En esta página no hay ninguna proyección redondeada al alza. Son hechos del producto y resultados publicados, y cada uno es el tipo de afirmación que quien compra tiene todo el derecho a comprobar.

3

Idiomas de interfaz: catalán, castellano e inglés, los tres de primera categoría.

7

Instrumentos validados de entorno asistencial en la biblioteca por defecto.

UE

Residencia de datos. PostgreSQL en Scaleway, en regiones de la UE, con aislamiento por institución.

Modo Offline

0 barras de cobertura necesarias para registrar una evaluación. La captura funciona sin conexión y se sincroniza al reconectar, desde cualquier móvil.

Una revisión integradora de 27 estudios empíricos concluyó que la evaluación programática genera información suficiente para tomar decisiones sólidas, e identificó el exceso de información de evaluación como uno de sus retos recurrentes. Ambas mitades de esa conclusión dieron forma a lo que construimos.

Schut, S. et al. (2021), Perspectives on Medical Education

Una fiabilidad aceptable en evaluación en entorno asistencial se alcanza combinando instrumentos distintos, no acumulando más de uno solo. Ése es el argumento de los muchos puntos de datos y de la triangulación, formulado como resultado de medida y no como eslogan.

Moonen-van Loon, J.M.W. et al. (2013), Advances in Health Sciences Education

Cómo trabajamos

Cuatro compromisos

Integridad y transparencia

Precios publicados, límites explicitados y una hoja de ruta etiquetada como hoja de ruta. De vez en cuando nos cuesta una demostración.

Colaboración ágil

Construimos con las instituciones que lo usan. El motor de mapeo de marcos existe porque una vicedecana nos dijo que la migración era la parte difícil.

Aprendizaje continuo

La literatura sobre evaluación programática es joven y en parte crítica. También leemos la crítica, y el producto cambia.

Excelencia modular

Un núcleo capaz, y el resto como módulos que se activan. Ninguna institución debería pagar por un planificador de rotaciones que no va a abrir nunca.

Alcance

Lo que eLEA.to deliberadamente no hace

  • Sustituir el libro de calificaciones de Moodle o Blackboard, ni el expediente académico oficial.
  • Custodiar el expediente. La autoridad sobre las notas y la residencia de los datos de expediente se quedan en vuestro LMS.
  • Gestionar estaciones ACOE/OSCE. Los resultados se pueden importar; la gestión de estaciones está en la hoja de ruta.
  • Exigir una consultoría de seis cifras antes de que la primera promoción esté en marcha.

Por qué empezamos por aquí

La primera pregunta del servicio de informática de una universidad es qué sistema es el sistema de registro. eLEA.to funciona como un registro de competencias de sólo anexado junto a vuestro LMS, no por encima. Ponerlo por escrito pronto no es una debilidad del argumento: es lo que convierte un proceso de compra de seis meses en uno más corto.

Una facultad de medicina en Madrid, una facultad de odontología en Bombay, un grado de enfermería en Manchester.

eLEA.to se adapta a vuestro marco competencial y a vuestro flujo de evaluación. Contadnos cómo evaluáis hoy y os enseñaremos qué aspecto tiene dentro de la plataforma, con vuestro marco y no con datos de demostración genéricos.