Piața AI-ului juridic se dezvoltă cu o viteză greu de urmărit.

Aproape în fiecare săptămână descoperim un nou instrument care promite să-i ajute pe avocați și pe ceilalți profesioniști ai dreptului să cerceteze mai repede, să redacteze mai bine sau să automatizeze o parte din activitatea juridică.

Când trecem însă de la prezentare la utilizarea efectivă, experiența este uneori mult mai puțin convingătoare. Unele produse sunt încă departe de ceea ce promit, iar rezultatele lor sunt dificil de verificat.

Fiecare astfel de experiență riscă să adâncească tocmai problema pe care aceste produse ar trebui să o rezolve: lipsa de încredere.

Adopția crește. Încrederea scade.

Un studiu publicat de LexisNexis, realizat pe un eșantion de 543 de profesioniști juridici din Regatul Unit, surprinde foarte bine această contradicție.

Potrivit studiului, 94% dintre participanți folosesc deja instrumente AI. Trei sferturi le utilizează cel puțin săptămânal, iar 34% în fiecare zi. AI-ul nu mai este o tehnologie marginală în domeniul juridic.

Cu toate acestea, procentul celor preocupați de răspunsurile inexacte a crescut de la 57% la 83%. În același timp, 81% dintre respondenți afirmă că se simt mai confortabil folosind AI atunci când acesta este ancorat în surse juridice de încredere, față de 70% cu un an înainte și 65% la începutul anului 2024.

Aceste date privesc piața britanică și nu pot fi transferate automat asupra României. Tendința pe care o descriu este însă relevantă: utilizarea mai frecventă a AI-ului nu produce automat mai multă încredere.

Sursa: - LexisNexis – The AI-dependent lawyer

Mai multe produse, mai multe niveluri de încredere

Inițial, discuția despre încrederea în modelele lingvistice s-a concentrat asupra halucinațiilor: modelul putea inventa o normă, o hotărâre sau un argument și îl putea prezenta într-o formă perfect plauzibilă.

Produsele juridice construite în jurul acestor modele nu elimină automat problema. Ele adaugă noi componente care trebuie, la rândul lor, verificate.

Nu mai trebuie să avem încredere doar în model, ci și în sursele pe care le poate accesa, în mecanismul prin care le selectează, în procesul de analiză și în modul în care este verificat rezultatul.

Un răspuns poate fi greșit pentru că modelul nu a înțeles întrebarea. Dar poate fi greșit și pentru că sistemul nu a găsit norma aplicabilă, a utilizat o versiune neactualizată sau a tras o concluzie pe care sursa identificată nu o susține.

Din această perspectivă, un produs juridic bazat pe AI nu este doar o interfață așezată peste un model lingvistic. Este un sistem format din model, corpus juridic, mecanisme de căutare, etape de analiză și procese de verificare.

Fiecare dintre aceste componente poate îmbunătăți rezultatul. Dar fiecare poate introduce și un nou tip de eroare.

Ce ne arată benchmarkul Astra for Law

Lansarea Astra for Law de către OpenAI oferă un exemplu relevant despre cum poate fi măsurată contribuția unui sistem construit în jurul modelului.

Astra for Law combină GPT‑6 Astra cu un index juridic specializat, instrumente de căutare și instrucțiuni adaptate cercetării, analizei și redactării juridice.

Indexul acoperă jurisprudență, legislație, reglementări, norme procedurale și decizii administrative din Statele Unite, într-un corpus de peste 230 de milioane de adrese web, actualizat zilnic.

Pentru a măsura contribuția acestei configurații, OpenAI a testat sistemul pe 200 de întrebări de cercetare juridică din dreptul american, provenite din setul privat de validare al Vals AI Legal Research Bench — adică un set de întrebări păstrat nepublic, pentru a reduce riscul ca modelele evaluate să fi întâlnit anterior problemele folosite în testare.

La nivelul maxim de efort de raționament, Astra for Law a obținut un all-pass rate de 54% — proporția întrebărilor pentru care răspunsul a îndeplinit toate criteriile de evaluare. GPT‑6 Astra, folosit cu o căutare web obișnuită, a obținut 38,7%.

Diferența reprezintă o îmbunătățire relativă de aproximativ 40%. Cifrele nu constituie însă o rată generală de corectitudine pentru toate activitățile juridice. Ele descriu performanța celor două configurații într-un anumit benchmark, pe un anumit set de întrebări și în contextul dreptului american.

Sursa: - OpenAI – Introducing Astra for Law

Corpusul nu este un detaliu tehnic

Diferența dintre Astra for Law și modelul folosit cu o căutare web generală arată cât de importantă este infrastructura informațională construită în jurul modelului.

Modelul poate analiza numai informațiile pe care le are la dispoziție. Dacă sistemul nu identifică norma relevantă, modelul nu o poate aplica în mod corect. Dacă găsește o versiune depășită sau un document care nu are autoritatea juridică necesară, un raționament aparent coerent poate conduce la o concluzie greșită.

Corpusul determină ce poate găsi sistemul. Mecanismul de căutare determină ce găsește efectiv. Modelul și procesul de analiză determină ce se face cu informația găsită.

Este evident că Astra for Law este un sistem localizat. O întrebare de drept românesc nu poate primi un răspuns juridic valid prin raportare la legislația, jurisprudența și regulile din Statele Unite.

Din acest motiv, rezultatele OpenAI nu pot fi comparate direct cu un viitor scor obținut de ȘtieLegi pe întrebări din dreptul românesc. Metoda rămâne însă relevantă: evaluarea unei configurații juridice specializate în raport cu modelul de bază.

Benchmarkul OpenAI ne oferă astfel un reper public privind nivelul de factualitate și completitudine pe care sistemele actuale îl pot atinge într-o activitate juridică bine definită. Nu este o țintă numerică pe care să o copiem, ci un punct metodologic de la care putem porni.

Următorul pas pentru ȘtieLegi

ȘtieLegi pornește de la aceeași premisă: modelul este doar una dintre componentele sistemului. În jurul său construim accesul la legislația românească, identificarea informațiilor necesare, analiza surselor și verificarea răspunsului.

Următoarea etapă este evaluarea comparativă a rezultatelor ȘtieLegi și ale modelelor de bază. Atunci când această evaluare va fi finalizată, vom publica atât rezultatele, cât și condițiile în care au fost obținute și limitele lor.

Nu pornim de la afirmația că ȘtieLegi este mai performant. Pornim de la ideea că performanța unui sistem juridic bazat pe AI trebuie demonstrată.

Încrederea nu ar trebui să fie o promisiune comercială. Ar trebui să fie rezultatul unui proces verificabil și măsurabil.