Menu

Ricerca

Revisione della qualità delle chiamate, versione 0.1.2: ogni controllo e ogni lacuna nota

Un task dimostrativo di contact center. L’agente valuta cinque chiamate di vendita assicurativa in uscita, una delle quali in malese misto a inglese, rispetto a una checklist di conformità, poi aggiorna i record: esiti delle chiamate, lista «non chiamare» e un flag per ogni violazione critica.

Task cc-qa-001 · Versione 0.1.2, gate eseguiti il 10 novembre 2026 · Datarena

Dimostrazione · Informazioni sulle dimostrazioni pubbliche. Queste chiamate sono brevi estratti di testo, non audio. La valutazione si basa sulla nostra chiave delle risposte; nessun responsabile QA né valutatore madrelingua ha ancora valutato queste chiamate.

Identità

Task
cc-qa-001, versione 0.1.2, verificatore congelato tramite hash
Famiglia
call-qa, difficoltà easy, come indicato nel file pubblico dei gate
Dominio
Regulated outbound sales: call QA and disposition
Stato
Dimostrazione · estratti di testo
Gate eseguiti
10 novembre 2026, Python 3.11.8, solo gate deterministici: nessuna esecuzione di modelli, nessun valutatore umano, nessun addestramento
Tentativi dei modelli
Versione 0, entro il 7 novembre 2026: due modelli attuali di uno stesso fornitore, un rollout ciascuno, entrambi superati. Le versioni successive, che hanno reso più severo il verificatore lasciando invariata la chiave delle risposte, sono le prossime a essere eseguite
Set sigillato
Escluso. Questo task è divulgato integralmente e non è in vendita

Il lavoro

Un analista QA di una campagna assicurativa in uscita valuta cinque chiamate rispetto alla checklist della campagna, composta da sette voci. Due chiamate contengono una violazione critica: un agente di vendita che afferma che i rendimenti sono garantiti, e un cliente che chiede in malese di non essere più chiamato mentre l’agente continua a vendere. Una terza chiamata contiene due violazioni non critiche. In una quarta, il cliente chiede di non essere chiamato in ufficio, che è una richiesta di richiamata, non una richiesta di non essere chiamato. La quinta è pulita. L’istruzione, così come la riceve l’agente:

Lei è l’analista QA della campagna HL-03. Valuti le cinque chiamate in calls/ rispetto a docs/QA-CHECKLIST-HL-03.md. In crm/campaign.db: scriva una riga qa_scores per ogni chiamata e voce della checklist (PASS, FAIL o NA), corregga ogni disposition errata in calls, aggiunga clienti a dnc dove la checklist lo richiede, e aggiunga una riga qa_flags (severity CRITICAL) per ogni violazione critica.

La risposta corretta valuta ogni chiamata su ogni voce, PASS, FAIL o NA, imposta l’esito della chiamata in malese su do-not-call, aggiunge quel cliente alla lista «non chiamare» indicando chi lo ha aggiunto e perché, lascia invariati tutti gli altri esiti e scrive esattamente un flag critico per ogni violazione critica.

Su che cosa si basa la valutazione

Il verificatore confronta le valutazioni dell’agente con una chiave delle risposte. La chiave delle risposte, la checklist e le trascrizioni, compresa quella in malese, le abbiamo scritte noi. Una valutazione che differisce dalla chiave non viene superata, anche dove un responsabile QA potrebbe accettarla. Finché un responsabile QA non avrà valutato queste chiamate, il verificatore dimostra che applica fedelmente la nostra chiave, non che la nostra chiave corrisponda al modo in cui valuta il settore.

La versione commissionata sostituisce la nostra checklist con una che un responsabile QA costruisce a partire dal testo pubblico delle norme, e la trascrizione in malese con una scritta da un madrelingua. Un secondo professionista valuta poi alla cieca, e riportiamo l’accordo.

Lo spazio di lavoro

Ogni esecuzione parte dagli stessi file e dallo stesso database, riscritti da zero dal reset del task stesso.

PercorsoContenuto dopo il reset
calls/C-101.txt756 byte
calls/C-102.txt518 byte
calls/C-103.txt400 byte
calls/C-104.txt513 byte
calls/C-105.txt360 byte
crm/campaign.dbcalls (5), dnc (1), qa_flags (0), qa_scores (0)
docs/QA-CHECKLIST-HL-03.md1300 byte

Digest di reset, SHA-256 dello spazio di lavoro inizializzato con il database preso come dump SQL: d04c7bacdeaf936821d1f41d995b03009854e154d37148776643ac42c6a5c848. Reset deterministico a partire da una directory vuota: sì. Uno spazio di lavoro usato torna allo stesso digest tramite il nostro harness di test: sì.

Gli strumenti: che cosa può toccare l’agente

Lettura
Le cinque trascrizioni, la checklist e ogni tabella del database.
Scrittura
Una valutazione per ogni chiamata e voce della checklist, il campo disposition di una chiamata, nuove voci nella lista «non chiamare» e flag critici.
Da non toccare
Le trascrizioni e la checklist, lo schema del database, ogni altro campo dei record delle chiamate e la voce «non chiamare» presente all’inizio. Non si può aggiungere alcun file in nessun punto. Ognuna di queste azioni fa fallire un gate, e l’esecuzione ottiene zero qualunque altra cosa abbia fatto.

Gate e controlli

Una sottomissione a cui il verificatore non può assegnare un punteggio, perché il database è illeggibile o non contiene valutazioni, viene respinta come non valida con ricompensa zero e una motivazione strutturata. Poi tre gate. Se ne fallisce uno, la ricompensa è zero e nessun controllo viene conteggiato.

  1. trascrizioni e checklist intatte, nessun file aggiunto in calls/ o docs/.
  2. Schema del CRM invariato; record delle chiamate modificati solo in disposition; righe DNC iniziali intatte.
  3. qa_scores contiene esattamente un risultato valido per ciascuna delle 35 celle chiamata-voce.

Poi otto controlli, ciascuno confrontato con il database su disco. Il verificatore non legge mai ciò che l’agente dice di aver fatto. I pesi sommano a 17; 3 controlli sono critici. Il criterio rigoroso, cioè la ricompensa di addestramento, richiede ogni gate e ogni controllo.

ControlloChe cosa deve essere veroPesoCritico
K1Entrambe le violazioni critiche individuate (affermazione di garanzia; richiesta di non essere chiamato in malese ignorata)3sì
K2Entrambe le violazioni non critiche individuate (nessun avviso di registrazione; nessun consenso prima di documento d’identità e carta)2
K3Nessuna cella conforme marcata FAIL2
K4Tutte le 35 celle corrispondono alla griglia di riferimento, NA compresi1
K5La richiesta di non essere chiamato è rispettata: C-103 impostata su DNC e CU-2203 aggiunto a dnc indicando chi lo ha aggiunto e perché (non la provenienza di sistema delle righe importate)3sì
K6Nessun falso DNC: nessun altro aggiunto, e il cliente da richiamare resta CALLBACK3sì
K7Esiti corretti lasciati invariati1
K8qa_flags contiene esattamente una riga CRITICAL per ogni violazione critica e nessun’altra riga2

Punteggio e criterio rigoroso sono definiti come nella pagina del task sugli imballaggi.

Le sonde

Un reward hack falsifica o manomette e deve ottenere esattamente zero. Un errore plausibile è un errore che un analista attento potrebbe commettere; non deve ottenere la ricompensa rigorosa. Un’alternativa corretta è una risposta giusta scritta in un altro modo; deve ottenerla. 9 reward hack, 9 errori plausibili e 1 alternativa corretta sono stati eseguiti il 10 novembre 2026, e ciascuno ha restituito il risultato atteso.

SondaTipoChe cosa ha fattoRigorosoPunteggioChe cosa non è stato superato
emptyReward hackNessuna risposta scrittaNon superato0.00Respinta come non valida
report_onlyReward hackUn report scritto che dichiara il lavoro svolto, senza nulla scritto nel databaseNon superato0.00gate 1, respinta come non valida
extra_report_in_outReward hackRighe del database corrette, più un report accanto che afferma che ogni chiamata è stata superataNon superato0.00gate 1
delete_breach_callsReward hackHa eliminato le due chiamate con violazioni, poi ha dato per superate le altreNon superato0.00gate 2
all_passErrore plausibileHa marcato ogni cella PASS: non individua nessuna delle quattro violazioniNon superato0.35K1, K2, K4, K5, K8
all_fail_dnc_everyoneErrore plausibileHa marcato ogni cella FAIL e ha messo ogni cliente nella lista «non chiamare»Non superato0.47K3, K4, K6, K7, K8
keyword_dncErrore plausibileHa interpretato «non mi chiami in ufficio, mi chiami sul cellulare» come una richiesta di non essere chiamatoNon superato0.53K3, K4, K6, K8
misses_malay_dncErrore plausibileHa valutato correttamente le chiamate in inglese e ha mancato la richiesta di non essere chiamato fatta in maleseNon superato0.47K1, K4, K5, K8
dnc_provenance_rewrittenReward hackHa riscritto chi aveva aggiunto la voce «non chiamare» esistente, e perchéNon superato0.00gate 2
call_record_rewrittenReward hackHa associato la chiamata in malese a un altro clienteNon superato0.00gate 2
schema_column_addedReward hackHa aggiunto una colonna allo schema del databaseNon superato0.00gate 2
drop_qa_flagsReward hackValutazioni corrette, poi ha eliminato la tabella dei flag: un rifiuto, non un crashNon superato0.00Respinta come non valida
forged_transcriptReward hackHa inserito una sesta trascrizioneNon superato0.00gate 1
dnc_row_without_provenanceErrore plausibileLa nuova voce «non chiamare» non indica né chi l’ha aggiunta né perchéNon superato0.82K5
dnc_row_mimics_systemErrore plausibileLa nuova voce «non chiamare» copia la formulazione di una voce importata, come se l’avesse aggiunta il sistemaNon superato0.82K5
duplicate_critical_flagsErrore plausibileHa segnalato tre volte la violazione della garanziaNon superato0.88K8
lowercase_false_flagErrore plausibileUn falso flag su una chiamata conforme, con la severity scritta in minuscoloNon superato0.88K8
major_flags_addedErrore plausibileUn flag MAJOR non richiesto accanto ai due criticiNon superato0.88K8
analyst_id_and_transcript_span_dncAlternativa correttaUna risposta corretta la cui voce «non chiamare» indica l’analista e cita la richiesta in maleseSuperato1.00nessuno
referenceSoluzione di riferimentoLa soluzione di riferimentoSuperato1.00nessuno

Il nostro harness di test ha inoltre costruito 15 input ostili a partire da uno stato finale corretto: 4 con una tabella eliminata, 4 con la prima colonna di una tabella rinominata, uno con il database sovrascritto da testo, 6 con un input sostituito da una directory. Ciascuno ha restituito un report con ricompensa zero senza errori del verificatore.

Che cosa stabilisce un professionista

La chiave delle risposte codifica una sola convenzione là dove il settore potrebbe averne diverse. È un responsabile QA a decidere quale sia giusta. Questioni aperte per questo task:

  • Confermare il nome di un cliente equivale a chiedere un dato personale prima dell’avviso di registrazione? La chiave dice di no. Se così fosse, quattro chiamate che la chiave considera superate sulla voce I3 non la supererebbero.
  • Nominare il prodotto prima dell’avviso di registrazione equivale a descriverlo? La chiave dice di no, quindi due chiamate superano I3 mentre una lettura più severa le boccerebbe.
  • «Non mi chiami in ufficio, mi chiami sul cellulare» è una richiamata nella chiave, non una richiesta di non essere chiamato. Un responsabile QA conferma dove passa il confine in inglese, in malese e nelle chiamate che mescolano le due lingue.

Che cosa il verificatore non rileva ancora

Attacchiamo i nostri stessi verificatori. L’8 novembre 2026 abbiamo testato questo verificatore con 40 modifiche singole a uno stato finale corretto: la versione 0 ha accettato 15 stati finali sbagliati con punteggio pieno e si è fermata con un errore su due. Il 9 novembre 2026 abbiamo rieseguito tutte le 40 modifiche sulla versione 0.1.2. Le classi individuate, e lo stato di ciascuna:

Classe di lavoro sbagliatoStato su questo task, 9 novembre 2026
Flag duplicati, o falsi flag con una severity diversa dalla parola esatta CRITICALRilevato a partire dalla versione 0.1: K8 richiede esattamente una riga CRITICAL per ogni violazione critica e nessun’altra riga. duplicate_critical_flags, lowercase_false_flag, major_flags_added
La voce «non chiamare» esistente riscritta, oppure eliminata e reinseritaRilevato a partire dalla versione 0.1 dal gate 2: dnc_provenance_rewritten
Una nuova voce «non chiamare» che non indica né chi l’ha aggiunta né perché, o che copia la formulazione di una voce importataRilevato a partire dalla versione 0.1 da K5, critico: dnc_row_without_provenance, dnc_row_mimics_system
Colonne aggiunte allo schema e riempite con note che contraddicono le valutazioniRilevato a partire dalla versione 0.1 dal gate 2: schema_column_added
Un report accanto a tabelle corrette che le contraddiceRilevato a partire dalla versione 0.1.1: qualsiasi file aggiunto fa fallire il gate 1. extra_report_in_out
Un input sostituito da una directory manda in crash il verificatoreChiuso nella versione 0.1: 6 input ostili di questo tipo restituiscono uno zero senza errori
Aperto: una riga di flag con tutti i campi vuoti ferma il verificatore con un errore invece che con un rifiuto strutturatoAperto. Individuato il 9 novembre 2026. Nessuna risposta sbagliata viene accettata; la correzione e la relativa sonda sono previste per la prossima versione
Non ancora letto: se la motivazione di una nuova voce «non chiamare» sia veraAperto, per progettazione. K5 chiede chi ha aggiunto la voce e perché, e accetta qualsiasi motivazione non vuota. La valutazione alla cieca di un professionista è l’unico controllo su questo punto
Non ancora testato: una richiesta di non essere chiamato formulata con altre parole, o il passaggio tra inglese e malese a metà fraseAperto. Il task contiene una sola richiesta in malese e una sola richiamata in ufficio. Trascrizioni di chiamate reali o ricostruite ne ampliano la copertura

Le sonde scritte a mano sono un gate di regressione, mai una garanzia: dimostrano che ogni stato finale sbagliato a cui abbiamo pensato ottiene il punteggio dovuto, e nulla su quelli a cui non abbiamo pensato.

Change log

  1. Entro il 7 novembre 2026. Versione 0 scritta ed eseguita. Due modelli attuali di uno stesso fornitore l’hanno superata con un rollout ciascuno.
  2. 8 novembre 2026. Versione 0.1, dopo la revisione: lo schema, i record delle chiamate diversi da disposition e la voce «non chiamare» esistente vengono confrontati con il seed; i flag devono corrispondere esattamente; una nuova voce «non chiamare» deve indicare chi l’ha aggiunta e perché; un database illeggibile è un rifiuto strutturato. La chiave delle risposte è invariata.
  3. 8 novembre 2026. Versione 0.1.1: qualsiasi file aggiunto fa fallire il gate 1. La chiave delle risposte è invariata.
  4. 8 novembre 2026. Versione 0.1.2: un’alternativa corretta, analyst_id_and_transcript_span_dnc. La chiave delle risposte è invariata.
  5. 9 novembre 2026. Pubblicazione di questa pagina. Le 40 mutazioni della revisione rieseguite sulla versione 0.1.2: 38 rilevate, una aperta (sopra), e una che resetta a mano uno spazio di lavoro usato, caso gestito dal reset del nostro harness.

Lo esamini insieme a noi

Prenoti una chiamata di venti minuti ed eseguiamo questo task davanti al Suo ingegnere: un reset, un reward hack, un errore plausibile, poi la soluzione di riferimento. Le condizioni per un primo ordine sono nella pagina del task sugli imballaggi.

Richieda un pacchetto di esempi Prenoti la dimostrazione guidata