Un model preantrenat mai mic, cu intrări controlate și revizie explicită, poate depăși o dependență mai mare când includem costul, izolarea erorii și limitele datelor.
Alegerea modelului se discută de obicei pe leaderboard-uri și se decide pe facturi de producție. Niciunul dintre cele două locuri nu este suficient singur.
Un model mai mic, pe care îl poți găzdui în limita ta, elimină o categorie de probleme, nu un punct procentual. Fără cost per token care crește odată cu succesul tău, fără limită de rată exact în ora ta de vârf, fără discuția despre rezidența datelor cu juridicul, fără o capabilitate care se schimbă discret într-o marți.
Renunță și el la lucruri, iar ignorarea acestui fapt este exact modul în care decizia iese prost. Pierzi marjă pe intrările cele mai grele și preiei muncă operațională pe care nu o aveai. Cineva ajunge să răspundă de patch-uri, scalare și factura de GPU.
Soluția este să măsori sarcinile tale, nu benchmark-ul: prompturile reale, documentele reale, cazurile reale de eșec. De multe ori modelul mai mic pierde doar pe intrările care oricum mergeau la un om, ceea ce înseamnă că nu era factorul decisiv.