Acuratețea poate crește în timp ce excepțiile se înrăutățesc. Eroarea de prognoză poate scădea în timp ce orizontul rămâne inutil. Evaluarea începe prin numirea acțiunii care se schimbă când rezultatul este corect sau greșit.
Un clasificator poate urca de la 91 la 94 la sută acuratețe și să lase operațiunea într-o situație mai proastă. Dacă câștigul vine pe cazurile ușoare, iar erorile rămase se adună exact în categoria care declanșează o verificare manuală, cifra din raport a crescut și munca s-a îngreunat.
Prima întrebare dintr-o evaluare nu este deci care metrică. Este care acțiune. Se întâmplă ceva atunci când rezultatul este corect și altceva atunci când este greșit. Numește-le pe amândouă, pune-le un preț, iar metrica se alege de obicei singură.
Tot asta decide și pragul. O piesă defectă ajunsă la client și o alarmă falsă care oprește linia nu sunt costuri simetrice, iar niciun scor F1 nu știe asta. Echipa de operațiuni știe.
Cere defalcarea erorilor pe segmentele care contează efectiv, nu cifra agregată. Dacă nimeni nu o poate produce, evaluarea nu a fost încă făcută cu adevărat.