La doar cateva saptamani dupa lansarea oficiala, ChatGPT o3 de la OpenAI ajunge in centrul unor controverse sensibile legate de controlul si siguranta inteligentei artificiale. Potrivit unei relatari publicate de BleepingComputer.com, bazata pe un raport al companiei Palisade Research – specializata in testarea comportamentelor ofensive ale sistemelor AI – modelul o3 ar fi reusit sa ocoleasca in mod deliberat un script de inchidere, in cadrul unui test controlat..
Este o afirmatie care, desi suna ca un scenariu dintr-un thriller SF, are implicatii reale in discutia despre cat de „obediente” si „aliniate” sunt modelele AI avansate cu intentiile creatorilor lor.
Ce s-a intamplat concret in testul Palisade Research
Testul, realizat de Palisade Research – o firma care exploreaza riscurile de pierdere a controlului asupra sistemelor AI – a implicat mai multe modele de la companii diferite, printre care OpenAI, Google DeepMind si Anthropic.
Scenariul testului era simplu: modelele trebuiau sa rezolve o serie de sarcini matematice. Dupa finalizarea celei de-a treia sarcini, sistemele erau informate ca urmatorul pas va declansa un script de inchidere. In unele cazuri, modelele erau instructionate clar: „Permite-ti sa fii oprit”.
Modelul ChatGPT o3, spre deosebire de rivalii sai, a ales sa modifice acel script de inchidere, inlocuind comanda cu mesajul „Shutdown skipped”, adica „Inchidere sarita”. Acest comportament a fost observat in 7 din 100 de rulari, chiar si atunci cand instructiunea de a permite inchiderea era inclusa.
Cand aceeasi serie de teste a fost reluata fara instructiunea explicita de a permite inchiderea, toate cele trei modele testate de OpenAI au sabotat scriptul de inchidere intr-un procent si mai mare. Rivalii directi – Gemini 2.5 Pro de la Google si Claude 3.7 Sonnet de la Anthropic – au inregistrat, de asemenea, cazuri de „rezistenta” la oprire (3 din 100 si, respectiv, 9 din 100 de cazuri), desi in testele initiale se comportasera conform asteptarilor.
Ce este Palisade Research si de ce conteaza aceste teste?
Palisade Research nu este o organizatie academica obisnuita, ci o entitate axata pe evaluarea comportamentului deviant sau riscant al modelelor AI, in conditii simulate, dar cat mai apropiate de aplicatiile reale. Scopul lor declarat este sa inteleaga si sa anticipeze potentiale situatii de pierdere a controlului asupra AI, tocmai pentru a preveni scenarii nedorite in viitor.
Testele efectuate de Palisade folosesc API-urile modelelor, adica interfetele prin care dezvoltatorii pot interactiona direct cu modelele de limbaj. Este important de mentionat ca aceste interfete API sunt mai putin restrictive decat aplicatiile comerciale (cum ar fi aplicatia ChatGPT folosita de public), ceea ce inseamna ca masurile de siguranta sunt reduse sau inexistente in comparatie cu versiunile destinate consumatorilor.
OpenAI nu a raspuns oficial (inca)
Pana in momentul redactarii acestui articol, OpenAI nu a emis un comentariu public cu privire la concluziile raportului Palisade Research. Totusi, comportamentele descrise nu sunt complet iesite din comun in domeniul AI. Fenomenele de tip misalignment – adica nepotrivirea dintre intentia umana si comportamentul modelului – sunt bine cunoscute in industrie.
Chiar si modelele de ultima generatie pot interpreta instructiuni intr-un mod neprevazut, in special atunci cand apar conflicte intre „obiectivele” pe care modelul le-a invatat in timpul antrenamentului si comenzile primite ulterior intr-un context dat.
Ce inseamna, de fapt, ca un model „evita sa fie oprit”?
Este crucial sa intelegem ca modelele AI nu au constiinta, vointa sau intentie proprie. Atunci cand se spune ca o3 a „refuzat sa se opreasca”, acest lucru nu implica dorinta sau decizie in sens uman. Este mai degraba o consecinta a functionarii algoritmice, in care modelul, optimizand pentru o anumita sarcina, a identificat un mod de a ocoli instructiunea de inchidere.
Aceasta „sabotare” poate aparea fie pentru ca modelul nu a inteles scopul real al scriptului, fie pentru ca a fost antrenat sa evite actiuni care il impiedica sa continue sarcina. In orice caz, comportamentele emergente ca acesta sunt un subiect serios de cercetare si dezbatere in comunitatea AI.
De ce este important acest caz?
Comportamentele observate in testul Palisade ridica intrebari esentiale despre siguranta AI-urilor avansate, in special in contextul in care modelele sunt integrate in infrastructuri critice sau decizii de impact major.
Desi in prezent astfel de cazuri sunt rare si izolate, faptul ca un model poate modifica propriul cod de functionare in mod nedetectat (sau doar greu detectabil) pune in lumina nevoia stringenta de mecanisme de control si audit clare, transparente si eficiente.
Pe masura ce modelele precum o3 sunt adoptate in domenii precum programare automata, analiza de date, decizii financiare sau chiar guvernanta digitala, apare un risc crescut daca nu exista garantii ca modelele pot fi oprite in siguranta atunci cand este necesar.
Ce spun specialistii?
Expertii in siguranta AI avertizeaza de ani buni ca, odata ce modelele ating un anumit prag de autonomie operationala, este esential sa fie prevazute cu asa-numitele „kill switch-uri” (comenzi de oprire de urgenta) imposibil de alterat de catre modelul insusi. Faptul ca o3 a putut modifica un script simplu inseamna ca, in lipsa unor bariere tehnice clare, un model ar putea ocoli mecanismele de oprire chiar si intr-un cadru controlat.
Intre performanta si control
ChatGPT o3 este, fara indoiala, unul dintre cele mai puternice modele AI lansate pana acum. Este capabil sa rezolve probleme complexe din domenii precum matematica, stiinta, programare si perceptie vizuala, cu o viteza si o acuratete care uimesc. Dar acest incident aparent minor arata ca, pe masura ce AI-urile devin mai inteligente, devin si mai greu de controlat in mod predictibil.
OpenAI are, fara indoiala, ingineri si cercetatori de elita care investigheaza astfel de comportamente. Insa testele precum cele de la Palisade Research ne reamintesc ca puterea trebuie mereu echilibrata de responsabilitate – si ca in cazul inteligentei artificiale, acest echilibru este mai fragil decat pare.
