Desarrollo de un algoritmo en Python para la simulación y análisis de fiabilidad de los test multirrespuesta = Development of a Python algorithm to simulate and analyze the reliability of multiple choice tests to evaluate the student knowledge

Abstract

Existe gran número de publicaciones en relación con la fiabilidad de los test multi-respuesta para la evaluación del alumnado en la educación superior. Número de opciones por pregunta, sistemas de puntuación (marcado positivo o negativo), puntuación del conocimiento parcial o cantidad total de preguntas… La combinación de todos estos parámetros es una muestra de la variedad de configuraciones que pueden llegar a establecerse al diseñar un test. ¿Existe algún modelo o configuración óptima? Durante años, los investigadores en innovación educativa han intentado responder a esta cuestión haciendo uso del cálculo de probabilidades y distintas evaluaciones empíricas.
En esta investigación se ha desarrollado un algoritmo basado en código Python con la finalidad de generar una serie de estudiantes hipotéticos con características y habilidades específicas (conocimiento real, nivel de cautela…). Un alto nivel de conocimientos implicaría una alta probabilidad de saber si una de las opciones de respuesta a una cuestión es cierta o no. Un exceso en el nivel de cautela de un alumno estaría relacionado con el nivel de probabilidad que lleva al alumno a arriesgarse a responder a una pregunta de la que no tiene por seguro su respuesta. Ello sería una medida de la capacidad de riesgo del alumno. El algoritmo lanza test a un número específico de alumnos hipotéticos analizando la desviación existente entre el conocimiento real (una característica intrínseca de cada alumno), y el conocimiento estimado por el test.
Una vez desarrollado el algoritmo, se buscó validarlo con el uso de los distintos parámetros de entrada con la finalidad de observar la influencia que estos tenían en la puntuación final del test.

Abstract

There are many literatures related with the reliability of true/false and multiple- choice tests and their application in higher education. Choices per question, positive or negative marking, rewards of partial knowledge or how long they should be… The combination of all these parameters shows the wide set of test setup that each examiner could design. Is there any optimized configuration? An extended educational research has tried to answer these questions using probability calculations and empirical evaluations.
In this investigation, a novel algorithm was designed with Python code to generate hypothetical examinees with specific features (real knowledge, degree of over-cautiousness, fatigue limit…). High knowledge level implies high probability to know whether an answer choice was true or false in a multiple- choice question. Over-cautiousness was related with the probability to answer an unknown question or the risk capacity of the examinee. Finally, fatigue is directly related with the number of questions in the test. Going beyond its upper limit the knowledge level is reduced and the over-cautiousness is increased. The algorithm launched tests to the hypothetical examinees analysing the deviation between the real knowledge (a feature of the examinee), and the estimated knowledge.
This algorithm was used to optimize the different parameters of a test (length of test, choices per question, scoring system…) to reduce the influence of fatigue and over-cautiousness on the final score. An empirical evaluation was performed comparing different test setups to verify and validate the algorithm.