En los últimos meses se ha realizado una serie de exámenes para cubrir plazas de especialistas y médicos de familia en el Servicio Valenciano de Salud. Estos exámenes han sido de los llamados tipo test. Cada pregunta se acompaña de 5 respuestas una (o varias) de las cuales es la correcta.

Hace años cuando nos dedicábamos a la docencia médica aprendimos algunas cosas sobre este tipo de exámenes. Desde luego lo primero es consultar con un especialista. De docentes pues, pasamos a ser alumnos. Los especialistas en docencia médica nos enseñaron a formular objetivos, generales y
específicos, a preparar un método y a utilizar los recursos más apropiados para impartir la docencia y sobre todo a evaluar los resultados de nuestra enseñanza.      Uno de los métodos de evaluación era precisamente este tipo de exámenes con respuestas de múltiple elección. No somos desde luego ni especialistas ni siquiera expertos autodidactas. Pero sí recordamos algo de lo mucho que nos enseñaron. Sin duda poco pero a lo mejor lo más importante. La objetividad de los exámenes.

¿Es posible medir de una manera objetiva los conocimientos sobre un tema?. La objetividad de la respuesta viene como regla general ligada a la objetividad de la pregunta. Cuanto más concreta y precisa es la pregunta tanto más lo será la respuesta. Si le pedimos a quien se examina que diga cuántos y cómo se llaman los huesos del carpo, la respuesta es una sola e igual para todos los examinados.

Pero si la pregunta es más compleja, digamos, por ejemplo: ¿cuáles son las funciones de la mano? nos encontraremos entonces con muchos y variados matices en la respuesta. Sin duda no habrá dos iguales. Y queda a la apreciación subjetiva del examinador escoger la mejor y la peor de las respuestas. (Véase "Cantar temas"       de E. Payá.( http://ortopedia.rediris.es/tribuna/tribuna.html) Para minimizar el factor subjetivo se popularizó hace ya más de 30 años los exámenes tipo test. La pregunta amplia y poco definida se sustituye por un conjunto de preguntas más cortas, más precisas y por lo tanto que se deben contestar de una manera igualmente concisa, eligiendo como verdadera o correcta una de las cinco posibilidades que se ofrecen. A primera vista pues, este método parece una manera más objetiva de
evaluar los conocimientos. Pero exige preparar numerosas preguntas y sus correspondientes respuestas como alternativas, lo que es un trabajo harto arduo y difícil.   Y más difícil cuánto más se quiere conocer la capacidad de raciocinio del candidato que se examina. Es más fácil explorar la memoria que la habilidad para formular un juicio clínico o una hipótesis diagnóstica o terapéutica. En aras de la objetividad perdemos la posibilidad de explorar, o se hace más difícil, el pensamiento abstracto,
especulativo, hipotético e imaginativo del candidato, algo esencial y muy deseable para el buen ejercicio de la Medicina. Los test se han ido perfeccionando para superar esta dificultad. Pero sigue siendo este aspecto el más criticado.

La formulación de las preguntas.

Cuando preparamos las preguntas para un examen tipo test podemos pues repartir las preguntas entre aquellas que buscan conocer la capacidad retentiva del examinado y las que quieren conocer su capacidad de razonamiento. Dependerá pues de lo que queramos conocer del candidato profundizar más con las
preguntas en un sentido (memoria) u otro (raciocinio). Una vez establecido este primer objetivo viene la preparación propiamente tal de las preguntas y de sus correspondientes respuestas sugeridas. Algunas reglas deben respetarse sin excepción:

1) Las preguntas deben ajustarse al contenido de lo enseñado, puesto que es esto en definitiva lo queremos medir.

2) La formulación debe ser simple, inequívoca, con una gramática y sintaxis adecuada (formulaciones afirmativas: por ej: ¿Cuáles de los siguientes son los signos de ...?   ; y evitar las formulaciones negativas: por ej: No hay un patrón de destrucción ósea en los quistes óseos de tipo...). No tiene ni lugar ni justificación alguna las preguntas capciosas.

3) El lenguaje debe ser el que maneja el candidato. Por lo tanto, se respetará las denominaciones o nomenclaturas de uso generalizado, evitando los nombres propios de autores o epónimos que varían según el uso o costumbre de un país a otro, de una escuela a otra o de un hospital a otro.

4) Por lo general las preguntas deben ser cortas y concisas de tal manera que la lectura y compresión del significado exige un mínimo esfuerzo , para concentrarse entonces en las respuestas.

5) Puede plantearse un supuesto clínico en pocas líneas y una serie de preguntas correlacionadas entre sí. La primera puede referirse por ejemplo a la hipótesis diagnóstica, la siguiente a los exámenes complementarios, otra al tratamiento, etc..

Las respuestas sugeridas.

Cada pregunta tiene cinco respuestas una de las cuales, y sólo una, es la verdadera que se aceptará como correcta o acertada.

Pocas cosas son más difíciles en este tipo de evaluaciones:

1) Las cinco respuestas deben ser verosímiles. Pueden ser aparentemente muy parecidas, y el asunto relacionado entre sí. Si se pregunta sobre huesos, no tiene sentido que una de las alternativas tenga que ver con músculos. Ocurre con frecuencia que alguna de las 5 alternativas resulta evidente que no es la
respuesta acertada. Entonces el candidato en la práctica está eligiendo sobre 4. Por ej: si preguntamossobre los factores endocrinos que modifican el metabolismoóseo y facilitan las fracturas del cuello del fémur, no tiene lugar poner como alternativa posible el uso del transporte público como causa de estas fracturas.

2) Lo mismo que en las preguntas, las respuestas sugeridas deben estar debidamente redactadas, en sentido afirmativo, no ser confusas, ambiguas o capciosas y        el lenguaje con los términos utilizados habitualmente.

El análisis de los resultados.

Como todos los exámenes el objetivo final es establecer una calificación ordenada de los examinados. Desde el mejor al peor. Pero al ordenar los resultados se  obtiene la conocida distribución normal. Una curva de Gauss donde la gran mayoría de los resultados se encuentra a dos desviaciones "standard" de lamedia. Será entonces interesante, si ocurre, preguntarse por qué algunos resultados caen fuera de esta curva y sacar las conclusiones pertinentes. Podemos descubrir un genio por ejemplo, muy por encima de la distribución normal. O lo contrario, un muy mal resultado. Cabrá preguntarse por qué ha ocurrido esto.

Pero este análisis estadístico tan elemental hay que aplicarlo a todas y cada una de las respuestas. Supongamos que la pregunta nº 43 sólo ha sido contestada correctamente por el candidato nº 25 que precisamente es uno de los peores calificados. Y por el contrario los tres o cuatro mejores examinados
han contestado erróneamente esta pregunta. La conclusión lógica es deducir que la pregunta 43 no sirve para discriminar los buenos de los malos candidatos.             Tal vez el candidato 25 acertó por casualidad el resultado correcto. O por el contrario la pregunta 51 ha sido contestada correctamente por el 98% de
los examinados, y tan poco nos sirve para saber quién sabe más y quién sabe menos. Las preguntas que no discriminan suelen entonces, eliminarse antes de hacer el cálculo definitivo.

Y una vez completado este análisis y sólo entonces, se establece el mínimo previamente acordado para considerar que un candidato ha superado el examen. Generalmente al mejor resultado se le asigna el máximo (100%) y los candidatos que no alcanzan el 75% de éste se considera que han fracasado.

Este análisis tan simple se convierte en la esencia misma de los exámenes tipo test. Es una herramienta que confiere un rigor e imparcialidad que no se puede    conseguir con los exámenes tradicionales. El examinador descubre preguntas mal formuladas, inútiles (no discriminan), errores en las alternativas (alternativas   vacías), y cuando el resultado final se aleja francamente de la media estadística uno puede sospechar filtraciones, copias o trampas de otro tipo.

Resumen:

Preparar un examen de los llamados tipo test es una labor difícil que necesita de una formación que sólo se puede obtener consultando a los especialistas en docencia médica. Pero cuando el examen cumple con los requisitos previstos, algunos de los cuales hemos comentado ahora, no hay otro sistema de evaluación más justo, imparcial, objetivo y preciso.

C.P.L.                                                                                                                                                                                   Febrero 2000