L’IA generativa ha reso più facile che mai per i candidati ottenere un aiuto esterno durante i test online non supervisionati, e gli strumenti che cercano di riconoscere i contenuti generati dall’IA faticano a tenere il passo. Questa ricerca adotta un approccio diverso: anziché chiedersi quale strumento abbia usato un candidato, osserva come si comporta mentre svolge il test, e per questo continua a funzionare anche quando compaiono nuovi strumenti di IA.
Il rapporto illustra il quadro di integrità a quattro livelli di Podium, Progettare, Dissuadere, Rilevare e Difendere, e lo mette alla prova in cinque studi: un esperimento controllato ed evidenze sul campo provenienti da oltre 106.000 somministrazioni di GCAT in più paesi, settori e clienti.
Il Quadro di Integrità
Quattro livelli, ciascuno rivolto a un diverso modo di ottenere un aiuto esterno. La protezione più efficace si ottiene applicandoli tutti e quattro insieme.
Progettare
Pool di Item Dinamici
Protegge da Condivisione degli item, raccolta delle chiavi di risposta ed esposizione ripetuta.
Invisibile ai Candidati
Dissuadere
Messaggio sull’Integrità della Valutazione
Protegge da Razionalizzare o normalizzare la truffa.
Mostrato Prima del Test
Rilevare
Punteggio di Fiducia
Protegge da Consultare strumenti di IA o altre risorse sullo stesso dispositivo.
Funziona in Silenzio
Difendere
Validazione Facciale
Protegge da Svolgimento del test per interposta persona, aiuto da parte di un’altra persona e uso di un secondo dispositivo.
Visibile ai Candidati
Risultati Principali
Cinque studi, da un esperimento controllato a oltre 106.000 somministrazioni reali di GCAT.
Studio 1
Il Punteggio di Fiducia Funziona?
In un esperimento controllato, il Punteggio di Fiducia ha distinto i candidati che hanno usato un aiuto esterno da quelli che non lo hanno fatto (.810 con validazione incrociata; d = 1.47). Essere abili nell’uso degli strumenti di IA non ha aiutato i candidati a eluderlo.
Esperimento controllato, N = 372
.822AUC nel distinguere le sessioni assistite da quelle indipendenti
Studio 2
I Messaggi di Dissuasione Funzionano?
Mostrare il Messaggio sull’Integrità della Valutazione prima di ogni test ha migliorato significativamente l’integrità comportamentale (p < .001) e ha ridotto la quota di sessioni segnalate da 5 a 7 punti percentuali.
3.072 sessioni abbinate di 16 clienti
+5.2punti sul Punteggio di Fiducia medio dopo il messaggio
Studio 3
La Sorveglianza tramite IA Funziona?
Le sessioni con Validazione Facciale hanno mostrato un’integrità comportamentale significativamente più elevata rispetto a sessioni abbinate senza di essa (p < .001), rendendola il singolo livello più efficace del quadro.
2.194 sessioni abbinate in Australia
+4.5punti sul Punteggio di Fiducia medio con la Validazione Facciale
Studio 4
Funziona in Modo Equo?
I Punteggi di Fiducia sono risultati coerenti tra i gruppi per genere, età ed etnia. Le verifiche basate sulla regola dei quattro quinti non hanno rilevato alcun impatto avverso legato al genere o all’età alle soglie rilevanti a livello operativo; due casi isolati legati all’etnia si sono verificati presso singoli clienti con campioni ridotti, e non costituiscono un andamento sistemico.
Genere, età ed etnia
0 su 64confronti tra gruppi hanno raggiunto una dimensione dell’effetto di 0.30
Studio 5
Quanto Sono Frequenti le Truffe?
Tra i candidati non monitorati, all’incirca da 1 su 14 a 1 su 33 ottiene un aiuto che altera il punteggio. Sottoporre a screening 1.000 candidati senza Validazione Facciale lascerebbe entrare nella pipeline di selezione da 30 a 70 punteggi gonfiati.
Stima basata sui dati sul campo
3–7%dei candidati non monitorati ottiene un aiuto che altera il punteggio
Le segnalazioni di integrità informano le persone. Non prendono mai la decisione.
Né il Punteggio di Fiducia né la Validazione Facciale vengono utilizzati per processi decisionali automatizzati. Ogni sessione segnalata viene sottoposta a revisione umana e qualsiasi decisione di intervenire in merito a un problema di integrità coinvolge sempre un valutatore qualificato.
Leggi e Cita il Rapporto
Shaban, T., Rose, M., & Reed, F. (2026). Behavioral, model-agnostic integrity in online ability testing: Evidence from deterrence messaging, behavioral telemetry, and AI proctoring [Technical report]. Podium Systems Limited. https://doi.org/10.17605/OSF.IO/CKNRA