Blog

Seguridad en las evaluaciones en línea

En este última año se han popularizado los sistemas de supervisión en línea conocidos como proctoring. Estos sistemas utilizan las cámaras y el micro de las computadoras para registrar fotografías, video y audio del examinado (persona que esta presentando un examen).

He tenido la oportunidad de utilizar algunas alternativas de este tipo de servicios. En esa línea les puedo dar algunas recomendaciones al momento de elegir uno de estos servicios.

  1. En las evaluaciones de altas consecuencias es absolutamente necesario un navegador seguro.
  2. Si utiliza vigilancia en vivo es necesario que se transmita video del examinado y del escritorio del examinado.
  3. De permitirlo el sistema una segunda cámara para observar al examinado de perfil es muy recomendable.

Con estos tres puntos cubiertos se puede obtener o garantizar seguridad a la evaluación. Siempre hay posibilidad de realizar algún tipo de fraude, pero si se tienen cubiertos estos tres puntos se puede garantizar una muy alta probabilidad de evitarlo.

En la imagen, el estudiante vigilado tiene tres flujos de video vigilancia: la cámara de frente, una cámara de perfil (para esto se suele usar la cámara del teléfono móvil) y una tercera la grabación del escritorio. Además, de la vigilancia en línea, los tres flujos se video se graban y se les realiza una verificación adicional de intentos de fraude con IA (Inteligencia Artificial).

Problemas de no cumplir las recomendaciones

Ahora analicemos si no cumplimos con alguno de los puntos exigidos para una vigilancia en línea:

  • Si no utilizamos un navegador seguro, los examinados podrían utilizar máquinas virtuales para permitir que alguna persona responda la evaluación remotamente, o puede transmitir o compartir su escritorio con otra persona que lo ayude a presentar la evaluación.
  • Es necesario el video de examinado y escritorio para poder confirmar que el examinado es quien resuelve la evaluación. Algunos servicios muestran tomas del escritorio que incluyen una pequeña imagen de la cámara del examinado que se encuentra frente a al computadora.
  • La cámara de perfil permite evitar o disuadir que le alcancen al examinado información adicional por alguno de los lados no visibles en la cámara principal.

Con respecto a la vigilancia en vivo, un supervisor solo puede verificar a 5 o máximo 6 examinados. Seguir a más de 6 es una tarea compleja y difícil si no se cuenta con el equipo informático adecuado.

La vigilancia por IA es una buena alternativa, pero se corre el riesgo de seguridad. Por ejemplo, alguno de los examinados esté encargado de capturar el examen para facilitarlo a otros examinados o ayudarlo a presentarlo a otros de los examinados. Lo que si abarata costos ya que prescinde de los ‘vigilantes’.

Hay algunos servicios que son por fotogramas (capturas cada cierto intervalo de tiempo). Estos suele ser una alternativa más económica y puede servir bien para quienes tengan problema de ancho de banda. Sin embargo, se sacrifica seguridad en la evaluación.

Estas son algunas recomendaciones para la seguridad de las evaluaciones en línea. Hay muchos otros aspectos de seguridad que se pueden abordar, como es el registro biométrico, grabación de ambiente de evaluación.

De estos hablaremos en una próxima entrega.

Evaluaciones educativas censales

Evaluación estudiantes

Conversando sobre las pruebas censales en el Perú, discutíamos sobre el modelo que se sigue en la evaluación. La discusión iba en el sentido de que el modelo de medición utilizado ofrece muchas ventajas, una de las mayores es la posibilidad de obtener mucha información sobre los evaluados.

Me extrañaba que uno de las premisas era que en las pruebas censales el instrumento tenía que ser el mismo para todos los evaluados y que en la pruebas muestrales se utilizaba técnicas diferentes para poder obtener mayor información de los examinados ya que se podían utilizar técnicas de formas rotadas u otro modelo similar.

La consecuencia de esta afirmación era que en las pruebas censales no se podía informa en detalle sobre las habilidades desarrolladas por los evaluados. Solamente se podía informa sobre lo presentado en la evaluación. No comprendía el porque de esta afirmación.

Los sistemas de medición que mantienen bancos de ítems durante varios años y utilizan modelos probabilísticos, están en la posibilidad de informar al detalle del desarrollo de los evaluados. Con la precisión que el instrumento permita.

En esa oportunidad no fue posible profundizar en la discusión y no he tenido la posibilidad de continuarla. Es posible que se existan otros requisitos que sustenten la afirmación. Pero sería interesante continuar la discusión para conocer mejor el sistema de medición del país.

Imagen: https://portal.andina.pe/EDPfotografia3/Thumbnail/2017/09/27/000452818W.jpg

Software para análisis psicométrico: jMetrik

Las aplicaciones o software destinadas la uso de psicometristas eran en su mayoría de pago. Desde ya unos años se puede acceder a software que realizan las tareas de análisis con muy buena confiabilidad  El inconveniente es que no hay mucha información sobre su uso que sea de fácil acceso a los estudiantes o interesados que empiezan a desarrollarse en el área.

Un software de libre acceso y fácil de usar es jMetrik, elaborado por J. Patrick Meyer profesor de la Universidad de Virginia. El software se puede obtener en el sitio https://itemanalysis.com/.

Las funcionalidades que otorga el software son notables, realizando análisis de Teoría Clásica y de varios de los modelos de Teoría de respuesta al ítem. Además de tener un interfaz amigable, ofrece una gran variedad de gráficos para los análisis a los que se puede acceder a partir de la interfaz y descargarlos para ser incluídos en los reportes finales.

El autor del software publicó un libro en el que muestra su utilización en varios escenarios de aplicación. Se encuentra en inglés con el título de «Applied Measurement with jMetrik».

El software ya tiene varios años y es utilizado como herramienta indispensable en los cursos impartidos en la escuela de educación de la Universidad de Virginia. Se mejora constantemente y tiene versiones para diferentes plataformas (Windows, Mac y Linux). Además, en sus últimas versiones puede interactuar con plataformas e análisis estadístico como IBM SPSS. El acceso a los análisis se realiza a través del interfaz pero también ofrece la posibilidad de realizar scripts (listado de comandos) que permite guardar los pasos ejecutados en los análisis para revisión o uso posterior.

Como todos los programas de análisis psicométrico tiene sus particularidades en el uso. Periódicamente el autor realiza cursos de capacitación: https://curry.virginia.edu/jmetrik-short-course-offerings . He utilizado el software en varias oportunidades y es recomendable que lo incorporen en sus herramientas de análisis psicométrico.