Cât de precisă este inteligența artificială? [Video și chestionar]

Răspuns scurt: IA poate fi extrem de precisă în sarcini restrânse, bine definite, cu adevăr clar, dar „precizia” nu este un scor unic în care să poți avea încredere universal. Este valabilă doar atunci când sarcina, datele și metrica se aliniază cu cadrul operațional; când datele de intrare se schimbă sau sarcinile devin deschise, erorile și halucinațiile sigure cresc.

Concluzii cheie:

Potrivirea sarcinii: Definiți cu precizie postul, astfel încât „corect” și „greșit” să fie testabile.

Alegerea indicatorilor de evaluare: Potriviți indicatorii de evaluare cu consecințele reale, nu cu tradiția sau comoditatea.

Testarea realității: Utilizați date reprezentative, zgomotoase și teste de stres în afara distribuției.

Calibrare: Măsurați dacă încrederea se aliniază cu corectitudinea, în special pentru praguri.

Monitorizarea ciclului de viață: Reevaluați continuu pe măsură ce utilizatorii, datele și mediile se modifică în timp.

Articole pe care ți-ar putea plăcea să le citești după acesta:

🔗 Cum să înveți inteligența artificială pas cu pas
O foaie de parcurs ușor de utilizat pentru începători, pentru a începe să înveți cu încredere despre inteligența artificială.

🔗 Cum detectează inteligența artificială anomaliile din date
Explică metodele pe care inteligența artificială le folosește pentru a detecta automat tipare neobișnuite.

🔗 De ce IA poate fi dăunătoare pentru societate
Acoperă riscuri precum prejudecăți, impactul asupra locurilor de muncă și preocupările legate de confidențialitate.

🔗 Ce este un set de date AI și de ce este important
Definește seturile de date și modul în care acestea antrenează și evaluează modelele de inteligență artificială.

1) Deci… Cât de precisă este inteligența artificială?🧠✅

IA poate fi extrem de precisă în sarcini restrânse și bine definite - mai ales atunci când „răspunsul corect” este lipsit de ambiguitate și ușor de evaluat.

Însă în sarcinile cu durată nelimitată (în special în cazul inteligenței artificiale generative , cum ar fi chatboții), „precizia” devine rapid alunecoasă deoarece:

• pot exista mai multe răspunsuri acceptabile

• Rezultatul ar putea fi fluent, dar nefondat în fapte

• modelul poate fi reglat pentru vibrații de „utilitate”, nu pentru corectitudine strictă

• lumea se schimbă, iar sistemele pot rămâne în urma realității

Un model mental util: acuratețea nu este o proprietate pe care o „ai”. Este o proprietate pe care o „dobândești” pentru o sarcină specifică, într-un mediu specific, cu o configurație de măsurare specifică. De aceea, îndrumările serioase tratează evaluarea ca pe o activitate a ciclului de viață - nu ca pe un moment unic de stabilire a scorului. [1]

2) Precizia nu este un singur lucru - este o întreagă familie pestriță 👨👩👧👦📏

Când oamenii spun „precizie”, s-ar putea referi la oricare dintre acestea (și adesea se referă la două dintre ele simultan, fără să-și dea seama):

• Corectitudine: a produs eticheta / răspunsul corect?

• Precizie vs. reamintire: a evitat alarmele false sau a surprins totul?

• Calibrare: când spune „Sunt 90% sigur”, este de fapt corect în ~90% din cazuri? [3]

• Robustețe: funcționează în continuare atunci când datele de intrare se schimbă puțin (zgomot, fraze noi, surse noi, date demografice noi)?

• Fiabilitate: se comportă constant în condițiile așteptate?

• Adevăr / factualitate (IA generativă): inventează lucruri (halucinează) pe un ton încrezător? [2]

Acesta este și motivul pentru care cadrele axate pe încredere nu tratează „precizia” ca pe o metrică singulară. Ele vorbesc despre validitate, fiabilitate, siguranță, transparență, robustețe, corectitudine și multe altele ca pe un pachet - deoarece poți „optimiza” una și, accidental, să o deteriorezi pe cealaltă. [1]

3) Ce face ca o versiune bună de măsurare a „Cât de precisă este IA”? 🧪🔍

Iată lista de verificare pentru „versiunea bună” (cea pe care oamenii o sar peste... apoi o regretă mai târziu):

✅ Definiție clară a sarcinii (adică: testabilă)

• „A rezuma” este vag.

• Expresia „Rezumați în 5 puncte, includeți 3 cifre concrete din sursă și nu inventați citări” este testabilă.

✅ Date de testare reprezentative (adică: opriți notarea în modul ușor)

Dacă setul de teste este prea curat, acuratețea va părea falsă. Utilizatorii reali aduc greșeli de scriere, cazuri marginale ciudate și o energie de genul „Am scris asta pe telefon la 2 dimineața”.

✅ O metrică care corespunde riscului

Clasificarea greșită a unei meme nu este același lucru cu clasificarea greșită a unui avertisment medical. Nu alegi parametrii pe baza tradiției - îi alegi pe baza consecințelor. [1]

✅ Testare în afara distribuției (alias: „ce se întâmplă când realitatea iese la iveală?”)

Încercați formulări ciudate, intrări ambigue, solicitări contradictorii, categorii noi, perioade de timp noi. Acest lucru contează deoarece schimbarea distribuției este o modalitate clasică de modelare a imaginii în producție. [4]

✅ Evaluare continuă (adică: acuratețea nu este o funcție de tipul „o setezi și o uiți”)

Sistemele se schimbă. Utilizatorii se schimbă. Datele se schimbă. Modelul tău „excelent” se degradează în liniște - cu excepția cazului în care îl măsori continuu. [1]

Un mic model din lumea reală pe care îl veți recunoaște: echipele livrează adesea cu o „precizie demonstrativă” puternică, apoi descoperă că adevăratul mod de eșec nu reprezentat de „răspunsuri greșite”... ci de „răspunsuri greșite livrate cu încredere, la scară largă”. Aceasta este o problemă de design al evaluării, nu doar o problemă de model.

4) Unde este de obicei IA foarte precisă (și de ce) 📈🛠️

IA tinde să strălucească atunci când problema este:

• îngust

• bine etichetat

• stabil în timp

• similar cu distribuția antrenamentului

• ușor de punctat automat

Exemple:

• Filtrarea spamului

• Extragerea documentelor în machete consistente

• Bucle de clasare/recomandare cu multe semnale de feedback

• Multe sarcini de clasificare a vederii în medii controlate

Superputerea plictisitoare din spatele multora dintre aceste victorii: adevărul clar + o mulțime de exemple relevante. Nu e o glumă, ci e extrem de eficient.

5) Unde precizia inteligenței artificiale scade adesea 😬🧯

Asta e partea pe care oamenii o simt în adâncul oaselor.

Halucinații în IA generativă 🗣️🌪️

Masteratele în drept pot produce plauzibil, dar nefactual - iar partea „plauzibilă” este exact motivul pentru care este periculoasă. Acesta este unul dintre motivele pentru care îndrumările generative privind riscurile bazate pe inteligența artificială pun atât de multă importanță pe fundamentare, documentare și măsurare, mai degrabă decât pe demonstrații bazate pe vibrații. [2]

Schimbare de distribuție 🧳➡️🏠

Un model antrenat într-un mediu se poate împiedica în altul: limbaj de utilizare diferit, catalog de produse diferit, norme regionale diferite, perioadă de timp diferită. Benchmark-uri precum WILDS există practic pentru a striga: „performanța în distribuție poate supraestima dramatic performanța din lumea reală”. [4]

Stimulente care recompensează ghicitul cu încredere 🏆🤥

Unele configurații recompensează accidental comportamentul de „răspunde întotdeauna” în loc de „răspunde doar când știi”. Astfel, sistemele învață să sune corect în loc să fie corecte. De aceea, evaluarea trebuie să includă comportamentul de abținere / incertitudine - nu doar rata brută de răspuns. [2]

Incidente din lumea reală și defecțiuni operaționale 🚨

Chiar și un model puternic poate eșua ca sistem: recuperare defectuoasă, date învechite, bariere de siguranță defecte sau un flux de lucru care direcționează discret modelul ocolind verificările de siguranță. Îndrumările moderne încadrează acuratețea ca parte a unei fiabilități mai largi a sistemului, nu doar ca un scor al modelului. [1]

6) Superputerea subestimată: calibrarea (alias „a ști ce nu știi”) 🎚️🧠

Chiar și atunci când două modele au aceeași „precizie”, unul poate fi mult mai sigur deoarece:

• exprimă incertitudinea în mod corespunzător

• evită răspunsurile greșite prea încrezătoare

• oferă probabilități care corespund realității

Calibrarea nu este doar academică - este ceea ce face ca încrederea să fie acționabilă. O constatare clasică în rețelele neuronale moderne este că scorul de încredere poate fi nealiniat cu corectitudinea reală, cu excepția cazului în care îl calibri sau îl măsori în mod explicit. [3]

Dacă pipeline-ul tău folosește praguri precum „aprobare automată peste 0,9”, calibrarea este diferența dintre „automatizare” și „haos automatizat”

7) Cum este evaluată precizia IA pentru diferite tipuri de IA 🧩📚

Pentru modele clasice de predicție (clasificare/regresie) 📊

Indicatori comuni:

• Acuratețe, precizie, rechemare, F1

• ROC-AUC / PR-AUC (adesea mai potrivit pentru probleme dezechilibrate)

• Verificări ale calibrării (curbe de fiabilitate, gândire bazată pe eroarea de calibrare așteptată) [3]

Pentru modele lingvistice și asistenți 💬

Evaluarea devine multidimensională:

• corectitudine (unde sarcina are o condiție de adevăr)

• respectarea instrucțiunilor

• comportament de siguranță și refuz (refuzurile bune sunt ciudat de dificile)

• fundamentarea factuală / disciplina citării (atunci când cazul dumneavoastră de utilizare o necesită)

• robustețe în funcție de solicitări și stiluri de utilizator

Una dintre marile contribuții ale gândirii „holistice” în evaluare este clarificarea ideii: aveți nevoie de mai multe valori metrice în mai multe scenarii, deoarece compromisurile sunt reale. [5]

Pentru sisteme construite pe LLM-uri (fluxuri de lucru, agenți, recuperare) 🧰

Acum evaluezi întreaga conductă:

• calitatea regăsirii (a obținut informațiile corecte?)

• logica instrumentului (a urmat procesul?)

• calitatea rezultatului (este corectă și utilă?)

• balustrade (au evitat comportamentele riscante?)

• monitorizare (ați observat defecțiuni în mediul virtual?) [1]

O verigă slabă, oriunde, poate face ca întregul sistem să pară „inexact”, chiar dacă modelul de bază este decent.

8) Tabel comparativ: modalități practice de a evalua „Cât de precisă este IA?” 🧾⚖️

Mărturisire despre o ciudățenie legată de formatare: „Free-ish” face mult efort aici, deoarece costul real este adesea reprezentat de orele de lucru, nu de licențe 😅

9) Cum să faci IA mai precisă (pârghii practice) 🔧✨

Date mai bune și teste mai bune 📦🧪

• Extindeți cazurile limită

• Echilibrează scenariile rare, dar critice

• Păstrează un „set de aur” care reprezintă problemele reale ale utilizatorilor (și actualizează-l constant)

Pregătire pentru sarcini factuale 📚🔍

Dacă aveți nevoie de fiabilitate factuală, utilizați sisteme care extrag informații din documente de încredere și răspund pe baza acestora. Multe îndrumări generative privind riscurile din domeniul inteligenței artificiale se concentrează pe documentație, proveniență și configurații de evaluare care reduc conținutul inventat, în loc să spere doar că modelul „se comportă”. [2]

Bucle de evaluare mai puternice 🔁

• Executați evaluări pentru fiecare schimbare semnificativă

• Fiți atenți la regresii

• Test de stres pentru solicitări ciudate și intrări rău intenționate

Încurajează un comportament calibrat 🙏

• Nu pedepsi prea aspru pentru „nu știu”

• Evaluați calitatea abținerii, nu doar rata de răspuns

• Tratează încrederea ca pe ceva ce măsori și validezi, nu ca pe ceva ce accepți pe baza vibrațiilor [3]

10) O scurtă verificare a intuiției: când ar trebui să ai încredere în acuratețea inteligenței artificiale? 🧭🤔

Ai mai multă încredere atunci când:

• sarcina este restrânsă și repetabilă

• ieșirile pot fi verificate automat

• sistemul este monitorizat și actualizat

• încrederea este calibrată și se poate abține [3]

Ai mai puțină încredere în el când:

• Miza este mare, iar consecințele sunt reale

• întrebarea este deschisă („spune-mi totul despre…”) 😵💫

• nu există nicio punere la pământ, nicio etapă de verificare, nicio verificare umană

• sistemul acționează în mod implicit cu încredere [2]

O metaforă ușor eronată: a te baza pe inteligența artificială neverificată pentru decizii cu miză mare e ca și cum ai mânca sushi care a stat la soare... s-ar putea să fie în regulă, dar stomacul tău își asumă un risc la care nu te-ai angajat.

11) Note de încheiere și rezumat rapid 🧃✅

Așadar, cât de precisă este IA?
IA poate fi incredibil de precisă - dar numai în raport cu o sarcină definită, o metodă de măsurare și mediul în care este implementată. Iar pentru IA generativă, „precizia” se referă adesea mai puțin la un singur scor și mai mult la un design de sistem de încredere: fundamentare, calibrare, acoperire, monitorizare și evaluare onestă. [1][2][5]

Rezumat rapid 🎯

• „Acuratețea” nu înseamnă un singur scor - este corectitudine, calibrare, robustețe, fiabilitate și (pentru IA generativă) veridicitate. [1][2][3]

• Benchmark-urile ajută, dar evaluarea cazurilor de utilizare te menține onest. [5]

• Dacă aveți nevoie de fiabilitate factuală, adăugați pași de fundamentare + verificare + evaluarea abținerii. [2]

• Evaluarea ciclului de viață este abordarea matură... chiar dacă este mai puțin interesantă decât o captură de ecran cu clasamentul. [1]

Exemplu din lumea reală: Măsurarea unui asistent de suport pentru triaj cu inteligență artificială

Scenariu

Imaginați-vă o mică companie SaaS care dorește să utilizeze inteligența artificială pentru a sorta tichetele de asistență primite în patru cozi:

Facturare

Probleme de conectare

Rapoarte de erori

Cereri de funcții

Compania nu permite inteligenței artificiale să răspundă direct clienților. Sarcina sa este mai restrânsă: citește tichetul, alege coada potrivită, acordă un scor de încredere și semnalează orice este incert pentru revizuire umană.

Asta face ca problema preciziei să fie mult mai ușor de testat. Există o coadă clară pentru răspunsurile „corecte”, o ființă umană poate verifica greșelile, iar echipa poate măsura dacă inteligența artificială ajută, în loc să pară doar utilă.

De ce are nevoie asistentul

Pentru a testa acest lucru în mod corespunzător, echipa pregătește:

Un set de testare etichetat de 100 de tichete de asistență reale sau realiste

Coada corectă pentru fiecare bilet, aprobată de un evaluator uman

O scurtă politică care explică ce aparține fiecărei coade

O regulă pe care asistentul trebuie să o spună „necesită verificare umană” atunci când încrederea este scăzută

O foaie de urmărire simplă cu: ID-ul tichetului, coada de așteptare cu inteligență artificială, coada de așteptare cu oameni, scorul de încredere, rezultatul recenziei și timpul necesar

Exemplu de instrucțiuni

Ești asistent de asistență pentru triaj. Citești mesajul clientului și îl atribui unei singure cozi: Facturare, Probleme de conectare, Rapoarte erori, Solicitări de funcții sau Necesită revizuire umană.

Folosește Facturare pentru facturi, rambursări, erori de plată, modificări de plan și întrebări legate de abonament.

Folosește Probleme de conectare pentru resetarea parolei, accesarea contului, autentificarea cu doi factori, conturile blocate sau problemele de verificare a adresei de e-mail.

Folosește rapoarte de erori pentru funcții defecte, mesaje de eroare, date lipsă, blocări sau comportamente care nu corespund cu documentația produsului.

Folosește solicitările de funcții atunci când clientul solicită o nouă funcționalitate, integrare, setare sau îmbunătățire a fluxului de lucru.

Dacă mesajul este ambiguu, conține mai multe probleme sau ar putea afecta securitatea sau confidențialitatea, alegeți Necesită revizuire umană.

Return: coadă, încredere de la 0 la 100, motiv dintr-o singură propoziție și dacă o ființă umană ar trebui să îl verifice.

Cum să îl testezi

Începeți cu un mic „set de aur” înainte de a încrede sistemul în producție.

De exemplu:

20 de bonuri de facturare

20 de bilete de autentificare

20 de rapoarte de erori

20 de solicitări de funcții

20 de bilete încâlcite sau ambigue

Apoi rulează asistentul pe toate cele 100 de tichete și compară coada aleasă cu coada aprobată de om.

Verificările utile includ:

Acuratețe generală: câte bilete au ajuns la coada corectă?

Precizie în funcție de coadă: când inteligența artificială spune „Facturare”, cât de des facturează?

Rechemare după coadă: câte tichete de facturare reale a detectat?

Calitatea escaladării: a trimis corect tichetele încurcate spre examinare umană?

Calibrare: când spunea o încredere de 90% sau mai mare, era corect în majoritatea cazurilor?

Rezultat

Rezultat ilustrativ: bazat pe cronometrarea a 100 de tichete eșantion înainte și după utilizarea acestui flux de lucru.

Înainte de a utiliza asistentul, un responsabil de asistență petrecea aproximativ 2 minute și 30 de secunde pentru fiecare tichet, citind și direcționând manual tichetele. Pentru 100 de tichet, asta însemna aproximativ 250 de minute de muncă de triaj.

După utilizarea asistentului, responsabilul de asistență a verificat doar opțiunile de coadă ale inteligenței artificiale și a verificat cazurile cu nivel de încredere scăzut. Timpul de verificare a scăzut la aproximativ 55 de secunde per tichetsau aproximativ 92 de minute pentru 100 de tichet.

Aceasta reprezintă o economie estimată de 158 de minute la 100 de bilete, sau cu aproximativ 63% mai puțin timp de triaj.

Precizia setului de teste fictiv cu 100 de bilete arăta astfel:

Precizie generală a cozii: 87/100 bilete corecte

Bilete cu încredere ridicată peste 85%: 61 bilete

Precizie pentru biletele cu nivel ridicat de încredere: 58/61 corecte

Bilete trimise pentru evaluare umană: 18 bilete

Tichetele ambigue au fost escaladate corect: 15/20

Detaliul important nu este doar precizia de 87%. Rezultatul mai sigur este că asistentul a fost mai precis atunci când era încrezător și a transmis multe cazuri neclare unei persoane în loc să ghicească. Aceasta este diferența dintre automatizarea utilă și absurditatea încrezătoare.

Ce poate merge prost

Cea mai frecventă greșeală este testarea doar a unor exemple curate. Tichetele reale sunt încurcate. Un client ar putea scrie: „Am fost taxat de două ori și acum nu mă pot conecta”. Acestea ar putea fi probleme de facturare, de conectare sau necesită revizuire umană, în funcție de procesul companiei.

Alte riscuri includ:

Folosirea biletelor vechi care nu mai corespund produsului

Permiterea inteligenței artificiale să inventeze reguli de politică care nu se află în manualul de asistență

Tratarea scorurilor de încredere ca fiind fiabile fără verificarea calibrării

Măsurarea doar a preciziei generale și trecerea cu vederea a performanței slabe pe o singură coadă

Pedepsirea „Necesită revizuire umană” atât de aspră încât asistentul începe să ghicească

Un test bun ar trebui să recompenseze escalarea corectă. Pentru multe fluxuri de lucru de afaceri, „Nu sunt sigur” nu este un eșec. Este o caracteristică de siguranță.

Concluzie practică

Cea mai bună modalitate de a răspunde la întrebarea „Cât de precisă este IA?” este să nu o mai întrebi în abstract. Alege o sarcină, construiește un set mic de teste, definește ce este considerat corect, măsoară erorile pe categorii și verifică dacă IA știe când să dea sarcina înapoi unei persoane. Aceasta îți oferă un număr concret de precizie pe care îl poți îmbunătăți - nu doar un scor de referință șlefuit.

FAQ

Precizia inteligenței artificiale în implementarea practică

IA poate fi extrem de precisă atunci când sarcina este restrânsă, bine definită și legată de un adevăr clar pe care îl poți evalua. În utilizarea în producție, „precizia” depinde de reflectarea datelor de evaluare a unor intrări zgomotoase de la utilizatori și de condițiile cu care se va confrunta sistemul tău pe teren. Pe măsură ce sarcinile devin mai deschise (cum ar fi chatboții), greșelile și halucinațiile încrezătoare apar mai des, cu excepția cazului în care adaugi fundamentare, verificare și monitorizare.

De ce „precizia” nu este un scor în care să te poți baza

Oamenii folosesc „precizie” cu diferite semnificații: corectitudine, precizie vs. rechemare, calibrare, robustețe și fiabilitate. Un model poate arăta excelent pe un set de teste curat, apoi poate eșua atunci când formulările se schimbă, datele se abat sau miza se schimbă. Evaluarea axată pe încredere folosește mai multe valori și scenarii, în loc să trateze un singur număr ca un verdict universal.

Cea mai bună metodă de a măsura precizia inteligenței artificiale pentru o anumită sarcină

Începeți prin a defini sarcina astfel încât „corect” și „greșit” să fie testabile, nu vagi. Folosiți date de testare reprezentative, zgomotoase, care reflectă utilizatori reali și cazuri limită. Alegeți valori care corespund consecințelor, în special pentru deciziile dezechilibrate sau cu risc ridicat. Apoi adăugați teste de stres în afara distribuției și continuați să reevaluați în timp, pe măsură ce mediul evoluează.

Cum precizia și rememorarea formează acuratețea în practică

Precizia și reamintirea sunt corelate cu diferite costuri de defecțiune: precizia pune accent pe evitarea alarmelor false, în timp ce reamintirea pune accent pe detectarea tuturor erorilor. Dacă filtrați spamul, câteva erori ar putea fi acceptabile, dar rezultatele fals pozitive pot frustra utilizatorii. În alte situații, omiterea cazurilor rare, dar critice, contează mai mult decât semnalizările suplimentare. Echilibrul corect depinde de costurile „greșite” din fluxul de lucru.

Ce este calibrarea și de ce este importantă pentru acuratețe

Calibrarea verifică dacă încrederea unui model corespunde realității - când spune „90% sigur”, este corect în aproximativ 90% din cazuri? Acest lucru este important ori de câte ori setați praguri precum aprobarea automată peste 0,9. Două modele pot avea o precizie similară, dar cel mai bine calibrat este mai sigur, deoarece reduce răspunsurile greșite prea încrezătoare și susține un comportament de abținere mai inteligent.

Precizia inteligenței artificiale generative și de ce apar halucinațiile

Inteligența artificială generativă poate produce text fluent și plauzibil chiar și atunci când nu este bazat pe fapte. Acuratețea devine mai greu de stabilit deoarece multe solicitări permit răspunsuri acceptabile multiple, iar modelele pot fi optimizate pentru „utilitate” mai degrabă decât pentru corectitudine strictă. Halucinațiile devin deosebit de riscante atunci când rezultatele ajung cu un nivel ridicat de încredere. Pentru cazurile de utilizare factuale, bazarea pe documente de încredere, plus pașii de verificare, ajută la reducerea conținutului fabricat.

Testarea schimbării distribuției și a intrărilor în afara distribuției

Benchmark-urile din cadrul distribuției pot supraestima performanța atunci când lumea se schimbă. Testați cu formulări neobișnuite, greșeli de scriere, intrări ambigue, perioade de timp noi și categorii noi pentru a vedea unde se prăbușește sistemul. Benchmark-uri precum WILDS sunt construite în jurul acestei idei: performanța poate scădea brusc atunci când datele se schimbă. Tratați testarea la stres ca pe o parte esențială a evaluării, nu ca pe ceva util.

Creșterea preciziei unui sistem de inteligență artificială în timp

Îmbunătățiți datele și testele prin extinderea cazurilor limită, echilibrarea scenariilor rare, dar critice, și menținerea unui „set de aur” care reflectă dificultatea reală a utilizatorului. Pentru sarcinile concrete, adăugați fundamentare și verificare, în loc să sperați că modelul se comportă corect. Rulați evaluarea pentru fiecare modificare semnificativă, urmăriți regresiile și monitorizați în producție abaterile. De asemenea, evaluați abținerea, astfel încât „nu știu” să nu fie pedepsit și transformat în ghicire sigură.

Referințe

[1] NIST AI RMF 1.0 (NIST AI 100-1): Un cadru practic pentru identificarea, evaluarea și gestionarea riscurilor IA pe întregul ciclu de viață. citește mai mult
[2] NIST Generative AI Profile (NIST AI 600-1): Un profil complementar AI RMF, axat pe considerațiile de risc specifice sistemelor IA generative. citește mai mult
[3] Guo și colab. (2017) - Calibrarea rețelelor neuronale moderne: O lucrare fundamentală care arată cum rețelele neuronale moderne pot fi calibrate greșit și cum poate fi îmbunătățită calibrarea. citește mai mult
[4] Koh și colab. (2021) - Benchmark WILDS: O suită de benchmark-uri concepută pentru a testa performanța modelului în condiții de schimbări de distribuție în lumea reală. citește mai mult
[5] Liang și colab. (2023) - HELM (Evaluarea holistică a modelelor lingvistice): Un cadru pentru evaluarea modelelor lingvistice în diferite scenarii și metrici pentru a scoate la iveală compromisuri reale. citește mai mult

Găsește cea mai recentă tehnologie AI în Magazinul oficial de asistenți AI

Despre noi