La IA generativa ha facilitado más que nunca que los candidatos obtengan ayuda externa durante las pruebas en línea no supervisadas, y las herramientas que intentan reconocer el contenido generado por IA tienen dificultades para seguir el ritmo. Esta investigación adopta un enfoque diferente: en lugar de preguntar qué herramienta utilizó un candidato, observa cómo se comporta mientras realiza la prueba, por lo que sigue funcionando a medida que aparecen nuevas herramientas de IA.
El informe expone el marco de integridad de cuatro capas de Podium (Diseñar, Disuadir, Detectar y Defender) y lo pone a prueba en cinco estudios: un experimento controlado y evidencia de campo procedente de más de 106 000 administraciones de GCAT en múltiples países, sectores y clientes.
El marco de integridad
Cuatro capas, cada una dirigida a una forma distinta de obtener ayuda externa. La protección más sólida se logra aplicando las cuatro a la vez.
Diseñar
Bancos dinámicos de ítems
Protege contra Intercambio de ítems, obtención de claves de respuestas y exposición repetida.
Invisible para los candidatos
Disuadir
Mensaje de integridad de la evaluación
Protege contra Racionalizar o normalizar las trampas.
Se muestra antes de la prueba
Detectar
Puntuación de confianza
Protege contra Consultar herramientas de IA u otros recursos en el mismo dispositivo.
Funciona en segundo plano
Defender
Validación facial
Protege contra Suplantación en la realización de la prueba, ayuda de otra persona y uso de un segundo dispositivo.
Visible para los candidatos
Hallazgos clave
Cinco estudios, desde un experimento controlado hasta más de 106 000 administraciones reales de GCAT.
Estudio 1
¿Funciona la puntuación de confianza?
En un experimento controlado, la puntuación de confianza distinguió a los candidatos que recibieron ayuda externa de los que no la recibieron (.810 con validación cruzada; d = 1.47). Tener destreza con las herramientas de IA no ayudó a los candidatos a eludirla.
Experimento controlado, N = 372
.822AUC para distinguir entre sesiones asistidas e independientes
Estudio 2
¿Funcionan los mensajes disuasorios?
Mostrar el Mensaje de integridad de la evaluación antes de cada prueba mejoró significativamente la integridad conductual (p < .001) y redujo entre 5 y 7 puntos porcentuales la proporción de sesiones señaladas.
3072 sesiones emparejadas de 16 clientes
+5.2puntos en la puntuación de confianza media tras el mensaje
Estudio 3
¿Funciona la supervisión mediante IA?
Las sesiones con Validación facial mostraron una integridad conductual significativamente mayor que las sesiones emparejadas sin ella (p < .001), lo que la convierte en la capa individual más sólida del marco.
2194 sesiones emparejadas en Australia
+4.5puntos en la puntuación de confianza media con Validación facial
Estudio 4
¿Funciona de manera justa?
Las puntuaciones de confianza fueron consistentes entre los grupos de género, edad y etnia. Las comprobaciones de la regla de las cuatro quintas partes no encontraron impacto adverso por género ni por edad en los umbrales operativamente relevantes; se dieron dos casos aislados relacionados con la etnia, cada uno en un único cliente con muestras pequeñas, no un patrón sistémico.
Género, edad y etnia
0 de 64comparaciones entre grupos alcanzaron un tamaño del efecto de 0.30
Estudio 5
¿Con qué frecuencia se hacen trampas?
Aproximadamente entre 1 de cada 14 y 1 de cada 33 candidatos no supervisados obtienen ayuda que altera su puntuación. Evaluar a 1000 candidatos sin Validación facial dejaría pasar entre 30 y 70 puntuaciones infladas al proceso de selección.
Estimado a partir de datos de campo
3–7%de los candidatos no supervisados obtienen ayuda que altera su puntuación
Las alertas de integridad informan a las personas. Nunca toman la decisión.
Ni la puntuación de confianza ni la Validación facial se utilizan para la toma de decisiones automatizada. Cada sesión señalada se deriva a revisión humana, y cualquier decisión de actuar ante una preocupación sobre la integridad siempre involucra a un evaluador calificado.
Lea y cite el informe
Shaban, T., Rose, M., & Reed, F. (2026). Behavioral, model-agnostic integrity in online ability testing: Evidence from deterrence messaging, behavioral telemetry, and AI proctoring [Technical report]. Podium Systems Limited. https://doi.org/10.17605/OSF.IO/CKNRA