Automatización de bancos de preguntas en educación superior mediante modelos de lenguaje

Presentación

Adam Sánchez Ayte. PhD.

Investigador e ingeniero de IA en la UNESS, desarrollando métodos para que los modelos de lenguaje generen respuestas basadas en evidencias y datos reales.
La UNESS (Université numérique en Santé et Sport) es una entidad pública colaborativa que agrupa a 40 universidades francesas y a France Universités, operando bajo el Ministerio de Educación Superior e Investigación de Francia.
La UNESS ofrece un entorno digital y experiencia para acompañar la transformación pedagógica de las profesiones de la salud y el deporte en el marco de la formación inicial y a lo largo de toda la vida.

El problema

Hay mucha demanda de banco de preguntas para entrenar médicos para el ECNI.
El ECNI en Francia significa "Épreuves Classantes Nationales Informatisées" (Exámenes Nacionales Clasificatorios Informatizados). Es el examen nacional que presentan los estudiantes de medicina al final de su carrera para poder acceder a una especialidad médica.
Los profesores de medicina demoran en construir preguntas porque los criterios para desarrollar preguntas son muy complejos para garantizar alta calidad.

¿Puede la IA ayudar a generar preguntas (profesionales)?

La respuesta es sí, los modelos propietarios como GPT, Claude, Grok, etc. sí pueden pero no podemos usarlos.
La privacidad de la data es obligatoria en entidades públicas.
¿Podemos usar modelos opensource (open weights)? Sí, pero la calidad dependerá de las capacidades cognitivas del modelo que seleccionemos.

La veracidad de las preguntas y sus respuestas

Los modelos propietarios u opensource siempre pueden "alucinar" en sus respuestas.
La "alucinación" puede reducirse:
- Proporcionando un texto externo como fuente para generar las respuestas.
- Proporcionando un prompt profesional generado por un experto en el dominio.
- Seleccionando el mejor modelo para nuestra tarea.
- Convocando expertos para revisar y validar las preguntas y respuestas.

La experiencia de la UNESS

Más de 10 años en e-learning y entrenando estudiantes de medicina para sus exámenes.
Tiene una base de datos de más de un millón de preguntas.
Cuenta con el apoyo de profesores de universidades francesas y un staff de desarrolladores e ingenieros pedagógicos para la preparación de contenidos educativos.

Tipos de preguntas (1/2)

Acrónimo	Tipo de Pregunta	Definición	Estructura	Criterios de Selección
QRU	Pregunta de Respuesta Única	Pregunta cerrada con una sola opción válida	5 proposiciones (P01 a P05)	Exactamente 1 respuesta correcta
QRM	Pregunta de Respuesta Múltiple	Pregunta cerrada con múltiples opciones válidas	5 proposiciones (P01 a P05)	Entre 2 y 4 respuestas correctas
QROC	Pregunta de Respuesta Abierta Corta	Pregunta que requiere una producción escrita mínima	Sin proposiciones; respuesta en texto libre	De 1 a 5 palabras como máximo

Tipos de preguntas (2/2)

Acrónimo	Tipo de Pregunta	Definición	Estructura	Criterios de Selección
QRP	Pregunta de Respuesta Proporcional	Formato de opción múltiple estándar para casos progresivos	5 proposiciones (P01 a P05)	Según clave de respuestas
QRPL	Pregunta de Respuesta Proporcional Larga	Formato de opción múltiple con una lista extendida de opciones	De 10 a 15 proposiciones	Selección dentro de una lista amplia
mDP	Mini Dossier Progresivo	Evaluación secuencial basada en un caso clínico	Serie de 3 preguntas lógicas	Revelación progresiva de información; no se puede retroceder

Ejemplo: QRU

Pregunta de Respuesta Única - Evalúa reconocimiento directo

N: 01
T: QRU
Ref: Item 225
O: Conocer las manifestaciones clínicas y la clasificación de l'AOMI
Q: Un paciente de 68 años refiere dolor tipo calambre en la pantorrilla 
   al caminar 200 metros que desaparece tras un minuto de reposo. 
   ¿A qué nivel anatómico sugiere este síntoma que se encuentra la lesión arterial?
P01: Arterias ilíacas.
P02: Arterias hipogástricas.
P03: Aorta abdominal.
P04: Arterias fémoro-poplíteas.
P05: Arteria subclavia.
R: P04
C: La claudicación localizada en la pantorrilla corresponde típicamente 
   a una afectación del eje fémoro-poplíteo.

Ejemplo: QRM

Pregunta de Respuesta Múltiple - Evalúa conocimiento exhaustivo

N: 02
T: QRM
Ref: Item 225
O: Conocer la etiopatogenia y los factores de riesgo de la AOMI
Q: ¿Cuáles de los siguientes se consideran factores de riesgo "Big 5" 
   modificables para el desarrollo de arteriopatía?
P01: Tabaquismo.
P02: Diabetes.
P03: Edad mayor a 65 años.
P04: Hipertensión arterial.
P05: Sedentarismo.
R: P01, P02, P04, P05
C: Los 5 grandes factores modificables son tabaco, diabetes, HTA, 
   dislipidemia y sedentarismo; la edad no es modificable.

Ejemplo: QROC

Pregunta de Respuesta Abierta Corta - Evalúa recuerdo activo de terminología técnica

N: 03
T: QROC
Ref: Item 225
O: Saber definir las manifestaciones clínicas de isquemia aguda
Q: ¿Cómo se denomina el signo clínico que consiste en la imposibilidad 
   de pellizcar la piel del segundo dedo del pie, indicativo de linfedema 
   o edema crónico?
R: Signo de Stemmer

Ejemplo: QRPL

Pregunta de Respuesta Proporcional Larga - Evalúa capacidad de discriminación

N: 04
T: QRPL
Ref: Item 225
O: Saber evocar los diagnósticos diferenciales de la claudicación
Q: Seleccione las patologías que forman parte del diagnóstico diferencial 
   no vascular de la claudicación intermitente:
P01: Coxartrosis          P06: Aneurisma de aorta
P02: Canal lumbar estrecho P07: Isquemia aguda
P03: Gonartrosis          P08: Síndrome del dedo azul
P04: Radiculalgia         P09: Artritis inflamatoria
P05: Insuficiencia venosa P10: Tenosinovitis
R: P01, P02, P03, P04, P09, P10
C: Las opciones seleccionadas representan causas mecánicas, neurológicas 
   o inflamatorias que simulan claudicación arterial.

Ejemplo: mDP (1/2)

Mini Dossier Progresivo - Evalúa razonamiento clínico paso a paso

E: mDP-225-01
G: Paciente de 68 años, fumador activo (40 paquetes/año), consulta por 
   dolor en el miembro inferior derecho al caminar distancias cortas.

N: 01
T: QRU
Ref: Item 225
O: Conocer las manifestaciones clínicas y la clasificación de la AOMI
Z: A
D: El paciente refiere que el dolor aparece tras caminar 150 metros en 
   terreno llano, se localiza en la pantorrilla y le obliga a detenerse.
Q: Según la descripción clínica del esfuerzo, ¿cuál es el diagnóstico más probable?
P01: Claudicación intermitente arterial.
P02: Claudicación venosa por obstrucción.
P03: Canal lumbar estrecho.
P04: Coxartrosis derecha.
P05: Radiculalgia S1.
R: P01
C: El dolor muscular inducido por el esfuerzo y que cede con el reposo 
   es el signo cardinal de la claudicación arterial.

Ejemplo: mDP (2/2)

N: 02
T: QRM
Ref: Item 225
O: Saber definir e identificar las manifestaciones clínicas de isquemia aguda
Z: A
D: Seis meses después, el paciente acude a urgencias por dolor brutal e intenso 
   en el mismo pie, que ahora está pálido y frío al tacto. El dolor persiste en reposo.
Q: ¿Qué signos físicos adicionales buscaría para evaluar la gravedad inmediata?
P01: Déficit sensitivo (anestesia). | P02: Déficit motor (parálisis).
P03: Presencia de varices superficiales. | P04: Abolición de los pulsos distales.
P05: Temperatura cutánea aumentada.
R: P01, P02, P04

N: 03
T: QROC
O: Saber prescribir los exámenes complementarios de primera intención
D: Tras la exploración, no se palpan pulsos pedios ni tibiales posteriores.
Q: ¿Cuál es el examen clínico-físico que permite calcular objetivamente el 
   grado de arteriopatía en este paciente?
R: Índice de Presión Sistólica

Automatización de Prompts (1/5)

Contexte et Sources

### CONTEXTE ET SOURCES

Mode: STRICT — L'IA utilise UNIQUEMENT le contenu des fichiers fournis. 
Aucune information externe ne doit être ajoutée.

Contexte général: Patient de 68 ans, tabagique, consultant pour douleur 
des membres inférieurs à la marche

### CONSIGNES GÉNÉRALES DE RÉDACTION

Consignes pour la rédaction des questions :
- Respecter exclusivement les informations et objectifs explicitement 
  présents dans les items fournis
- Rédiger en français clair, précis et sans ambiguïté
- Écarter toute information hors du périmètre des items et objectifs choisis

Consignes pour la rédaction des propositions :
- Les propositions doivent être homogènes, parallèles et d'un niveau 
  de granularité similaire
- Les propositions doivent être exprimées à la forme affirmative
- Les propositions ne doivent pas apporter d'information complémentaire

Automatización de Prompts (2/5)

Format et Items

### FORMAT D'ÉLÉMENT D'ÉPREUVE

- Type: mDP
- Contexte (G): Patient de 68 ans, tabagique, consultant pour douleur 
  des membres inférieurs à la marche

Formats de questions autorisés : QRU, QRM, QRP, QRPL, QROC
Formats de questions obligatoires : Aucun
Formats de questions interdits : TCS

### ITEMS ET DOCUMENTS

- Item 225 : Artériopathie de l'aorte, des artères viscérales et 
  des membres inférieurs ; anévrysmes — Semio_Arterielle.pdf

Automatización de Prompts (3/5)

Objectifs (Rang A - partie)

### OBJECTIFS (liste)

Item 225:
- Connaître la définition de l'ischémie intestinale aiguë et chronique [A]
- Connaître la définition et l'histoire naturelle d'un anévrisme de l'aorte 
  abdominale et savoir rechercher d'autres localisations anévrismales [A]
- Connaître la définition et la fréquence de l'artériopathie oblitérante 
  des membres inférieurs (AOMI) [A]
- Connaître la sémiologie de l'ischémie intestinale aiguë et chronique [A]
- Connaître le traitement médical et principes du traitement chirurgical [A]
- Connaître les manifestations cliniques et la classification de l'AOMI [A]
- Savoir définir et identifier les manifestations cliniques d'ischémie 
  aiguë complète ou incomplète [A]
- Savoir prescrire les examens complémentaires de première intention [A]
- Connaître l'étiologie et les facteurs de risque de l'AOMI [B]
- Connaître les autres causes de l'ischémie aiguë [B]

Automatización de Prompts (4/5)

Configuration des Questions

### CONSIGNES SPÉCIFIQUES D'ÉPREUVE

- Créer un enchaînement séquentiel obligatoire
- Révélation progressive des informations
- Questions exclusivement contextualisées au cas
- Point critique de l'item à évaluer

### CONFIGURATION DES QUESTIONS

- Q1 → Ref:Item 225 | Obj:Connaître les manifestations cliniques et la 
  classification de l'AOMI et savoir évoquer les diagnostics différentiels | 
  Rang:A | Format:QRU | Instruction:Évaluer la reconnaissance des signes 
  de claudication intermittente

- Q2 → Ref:Item 225 | Obj:Savoir définir et identifier les manifestations 
  cliniques d'ischémie aiguë complète ou incomplète | Rang:A | Format:QRM | 
  Instruction:Progression du cas clinique avec aggravation des symptômes

- Q3 → Ref:Item 225 | Obj:Connaître les signes cliniques des anévrismes 
  de l'aorte | Rang:A | Format:QROC | Instruction:Découverte fortuite 
  d'une masse abdominale à l'examen physique

Automatización de Prompts (5/5)

Formats et Schéma de Sortie

### FORMATS DE QUESTIONS UTILISÉS

Format QRU : 5 propositions : une seule exacte
Format QRM : 5 propositions : entre 2 et 4 exactes
Format QROC : Pas de propositions ; réponse attendue en texte libre (1 à 5 mots)

### INSTRUCTIONS DU FORMAT D'ÉPREUVE

Mini Dossier Progressif (mDP) :
- Nombre de questions : 3
- Structure : Cas clinique court avec évolution progressive
- Les questions doivent s'enchaîner logiquement
- Chaque question révèle de nouvelles informations pour la suivante
- Formats autorisés : QRU, QRM, QRP, QRPL, QROC | Format interdit : TCS

### SCHÉMA DE SORTIE ATTENDU

Entête attendue : E, G, D
Structure par question : N, T, F, Ref, O, Z, D, Q, Propositions, R, C

Règles de propositions :
- QRU/QRM/QRP : P01 à P05 uniquement (5 propositions)
- QRPL : P01 à P10-P15 (10 à 15 propositions)
- QROC : aucune ligne P0X (passer directement de Q à R)