Când lucrezi cu modele AI, vei întâlni des trei termeni: token, fereastră de context și parametri. Iată ce înseamnă, pe înțelesul tuturor.
Token
Un token este unitatea de text cu care lucrează modelul — aproximativ o bucată de cuvânt. În engleză, un token înseamnă, în medie, ~4 caractere sau ~¾ dintr-un cuvânt. Modelele nu „văd” litere sau cuvinte întregi, ci tokeni. Costurile și limitele se măsoară, de obicei, în tokeni (de intrare + de ieșire).
Fereastra de context
Fereastra de context este cantitatea maximă de tokeni pe care modelul o poate „ține minte” într-o singură cerere (promptul tău + istoricul + răspunsul). De exemplu, un model cu context de 128.000 de tokeni poate procesa documente lungi dintr-o dată. Dacă depășești fereastra, informația mai veche este „uitată” sau trebuie scurtată.
Parametri
Parametrii sunt valorile interne reglate în timpul antrenării, exprimate de obicei în miliarde (B) — de exemplu 8B, 70B, 405B. În general, mai mulți parametri înseamnă un model mai capabil, dar și mai solicitant ca resurse (memorie, viteză, cost).
De ce contează pentru tine
- Tokeni → îți afectează costul și viteza. Prompturi concise = mai ieftin și mai rapid.
- Context → cât de mult material poți da modelului odată (documente, istoric).
- Parametri → calitate vs cerințe hardware, mai ales dacă rulezi modelul local.
Sfat: Pentru sarcini simple, un model mic (puțini parametri) este adesea suficient și mult mai ieftin. Rezervă modelele mari pentru sarcini care chiar necesită raționament complex.
