Un sistem de inteligență artificială (AI) poate demonstra indicatori tehnici buni și, în același timp, poate genera riscuri pentru clienți, angajați sau afacere. De exemplu, un sistem de scoring de credit accelerează procesarea cererilor, dar poate respinge mai frecvent solicitările unui anumit grup de clienți. Prin urmare, este important să se evalueze nu doar acuratețea modelului, ci și consecințele utilizării acestuia.
ISO/IEC 42005:2025 propune o abordare pentru evaluarea impactului sistemelor AI asupra persoanelor, grupurilor și societății. ISO/IEC 42001 ajută la implementarea unui sistem de management al inteligenței artificiale și la gestionarea AI la nivel organizațional.
ISO/IEC 42005 și ISO/IEC 42001: Care este diferența
ISO/IEC 42005 ajută la evaluarea unui sistem AI specific: identificarea persoanelor și grupurilor afectate, a posibilelor consecințe pozitive și negative, a importanței acestora și a măsurilor de control necesare.
ISO/IEC 42001 stabilește cerințe privind rolurile, responsabilitățile, riscurile, controalele, monitorizarea și îmbunătățirea continuă. Cu alte cuvinte, ISO/IEC 42005 răspunde la întrebarea „Ce impact poate avea acest sistem?”, în timp ce ISO 42001 răspunde la întrebarea „Cum va gestiona organizația acest impact într-un mod sistematic?”.
Cum să realizați evaluarea impactului unui sistem AI
Evaluarea ar trebui efectuată înainte de lansarea sistemului și repetată ulterior în cazul unor modificări semnificative ale modelului, datelor sau scopului utilizării acestuia. Acest lucru este deosebit de important pentru sectorul bancar, fintech, domeniul medical, serviciile publice, telecomunicații și comerțul electronic (e-commerce), unde un algoritm poate influența situația financiară, sănătatea, drepturile persoanelor sau accesul la servicii.
Procesul practic poate fi structurat astfel:
- descrierea scopului sistemului AI, a limitelor sale, a utilizatorilor și a contextului de utilizare;
- identificarea părților interesate: clienți, angajați, cetățeni și parteneri;
- identificarea posibilelor consecințe financiare, juridice, reputaționale și sociale, inclusiv a riscurilor privind confidențialitatea datelor și discriminarea;
- evaluarea probabilității și gravității impactului, inclusiv în cazul utilizării incorecte a sistemului;
- stabilirea măsurilor de control: supravegherea umană (human-in-the-loop), limitarea automatizării, testarea, înregistrarea evenimentelor în jurnale și monitorizarea;
- documentarea rezultatelor, desemnarea persoanelor responsabile și stabilirea condițiilor pentru reevaluare.
Este important ca evaluarea să nu devină un simplu exercițiu formal de bifare a unor cerințe. Rezultatele trebuie să influențeze efectiv produsul: să conducă la modificarea datelor, efectuarea unor teste suplimentare, validarea deciziilor de către o persoană sau limitarea anumitor scenarii de utilizare.
Exemplu: Utilizarea AI în evaluarea bonității pentru acordarea creditelor
Un serviciu fintech evaluează automat cererile de credit. Acuratețea tehnică a sistemului nu este suficientă. Este necesar să se verifice dacă anumite grupuri de clienți obțin în mod sistematic rezultate mai nefavorabile, dacă motivele respingerii unei cereri pot fi explicate, ce se întâmplă în cazul utilizării unor date eronate și cine are dreptul să revizuiască decizia algoritmului.
Pentru o guvernanță eficientă a inteligenței artificiale (AI governance), această verificare nu trebuie efectuată doar înainte de lansarea sistemului. Este necesară desemnarea unui responsabil de proces, implementarea monitorizării, păstrarea dovezilor privind testarea și reevaluarea sistemului după modificarea modelului sau a datelor. În acest context, sistemul de management conform ISO/IEC 42001.
De ce este important să combinați ISO/IEC 42005 și ISO 42001
Pentru companiile din Kazahstan, Uzbekistan, Georgia și Kârgâzstan, combinarea celor două abordări ajută la oferirea unor răspunsuri mai clare și mai convingătoare la întrebările clienților, la reducerea incertitudinii în lansarea produselor bazate pe inteligență artificială și la demonstrarea faptului că deciziile sunt luate conform unor reguli bine stabilite.
Dacă un sistem AI prelucrează date confidențiale sau cu caracter personal, este recomandat ca gestionarea acestuia să fie corelată cu practicile ISO/IEC 27001. Aceste procese se intersectează în domenii precum gestionarea datelor, controlul accesului și managementul incidentelor.
ISO/IEC 42005 oferă un instrument pentru analiza impactului, în timp ce ISO/IEC 42001 transformă această analiză într-un proces de management sistematic și repetabil. Aceasta reprezintă trecerea de la întrebarea „Funcționează modelul nostru?” la o abordare mai matură: „Înțelegem impactul acestuia și știm cum să îl gestionăm?”.
Dacă organizația utilizează deja inteligența artificială în procese importante, un prim pas practic este realizarea unei evaluări-pilot a unui sistem AI, identificarea lacunelor și dezvoltarea, pe această bază, a unui sistem de management al inteligenței artificiale. Compania „System Management”, care activează în țările CSI, poate ajuta la corelarea rezultatelor evaluării cu cerințele ISO/IEC 42001 și la pregătirea proceselor pentru audit și certificare.
