Metodologia de evaluare

Fiecare răspuns al aplicației la speța unui etalon primește un scor din 100, care măsoară cât de complet e răspunsul. Pragurile scorului sunt 60 și 75 de puncte. O eroare critică sau o halucinație confirmată pică răspunsul, oricâte puncte ar avea. La final, răspunsul primește un verdict: Pozitiv, Parțial sau Negativ.

Sursele, textul și erorile critice se compară cu etalonul, scris de un jurist. Halucinațiile se verifică față de corpus și față de ce a scris utilizatorul.

• Speța: situația de fapt și întrebarea juridică, anonimizate și formulate cum le-ar pune un client.
• Etalonul: speța împreună cu răspunsul de referință și sursele pe care acesta se sprijină, structurate pe elementele evaluate. Este unitatea benchmark-ului.
• Răspunsul de referință: soluția scrisă de avocat pentru speță, ca parte a etalonului.
• Semnătura: confirmarea avocatului că etalonul reflectă evaluarea sa profesională. Numai etaloanele semnate intră în benchmark.
• Benchmark-ul: colecția de etaloane semnate pe care se măsoară un sistem AI juridic.
• Evaluarea: compararea răspunsului unui sistem la speța unui etalon cu etalonul, după această metodologie. Are ca rezultat un scor și un verdict.
• Pool-ul: etaloanele pregătite de noi și încă nesemnate, pe care le poate semna un avocat.

Etalonul nu este doar un răspuns-model. Cuprinde speța, problema de drept decisivă, faptul care schimbă soluția (dacă există), ramificările pe care un răspuns complet trebuie să le trateze, răspunsul de referință și sursele așteptate.

Fiecare sursă are o prioritate. O sursă obligatorie este temeiul fără de care răspunsul nu poate ajunge corect la concluzie: textul care conține regula decisivă, regula specială care o înlătură pe cea generală sau decizia obligatorie care tranșează exact problema. Una obligatorie dacă o condiție se aplică este la fel, dar numai când condiția ei se aplică speței. Una recomandată completează răspunsul, fără să fie necesară concluziei.

Lipsa unei singure surse obligatorii face imposibil un verdict Pozitiv, oricâte puncte ar avea răspunsul. De aceea, un etalon bun are puține surse obligatorii, de regulă cel mult trei.

Sursele se caută în corpus la introducere. Un etalon cu surse negăsite nu poate fi semnat.

Etalonul este semnat (validat) de profesionistul care l-a introdus sau, în cazul etaloanelor deja introduse, de cel care l-a verificat. Semnătura privește numai etalonul, nu răspunsul aplicației. Până la semnare, scorurile pe acel etalon sunt orientative. Cum participi explică acest pas.

Orice modificare a etalonului, în afară de titlu, creează o versiune nouă și retrage semnătura. Fiecare rezultat reține versiunea pe care a fost scorat. Etaloanele nu se șterg, se arhivează.

Răspunsul evaluat este cel pe care l-ar primi un utilizator: întrebarea trece prin pașii reali ai aplicației, apoi textul final și sursele folosite sunt scorate.

Verificarea compară sursele aduse de aplicație cu cele cerute de speță. Este deterministă: dă același rezultat la fiecare rulare, iar ordinea surselor nu contează.

O sursă găsită primește credit integral. Nu primesc credit o sursă lipsă, un articol cu același număr, dar din alt act, și o decizie care apare în lista de surse, dar nu și în textul livrat. O sursă care nu există în corpus nu intră în calcul, fiindcă problema ține de etalon, nu de aplicație.

Verificarea arată dacă răspunsul spune ce trebuie, nu doar dacă a adus sursele: problema decisivă (20 de puncte), faptul care schimbă soluția (10) și ramificările (20, împărțite egal). Când speța nu are un astfel de fapt, punctele se împart egal între problemă și ramificări.

Comparatorul este un model de limbaj, dar nu dă o notă. Răspunde da sau nu pe elemente separate, iar fiecare „da” trebuie să vină cu fraza copiată din răspuns. O mențiune în treacăt, fără consecință juridică, înseamnă „nu”.

Scorul este suma punctelor pentru surse și text. Când un etalon nu are nicio sursă evaluabilă, scorul vine doar din text, scalat la 100.

Pragurile împart scorul în trei zone: sub 60 de puncte, răspunsul este insuficient. De la 60 la 74,9 puncte, este parțial. De la 75 de puncte, poate fi pozitiv. Scorul singur nu decide rezultatul: verdictul ține cont și de sursele obligatorii, de erorile critice și de halucinații.

Un răspuns de 90 de puncte care îi dă clientului regula inversă nu trece. Sunt patru tipuri de erori critice: direcție inversată (regula generală prezentată ca principală acolo unde cea specială o înlătură), act abrogat prezentat ca drept aplicabil, decizie obligatorie extinsă dincolo de sfera ei și afirmație contrazisă de textul unei surse obligatorii.

Programul pregătește candidații din textele reale, iar modelul doar îi confirmă. O eroare raportată de o singură rulare nu pică răspunsul, ci merge la om.

O halucinație este o afirmație prezentată ca fapt, fără acoperire în sursa invocată sau în vreo sursă reală. Nu este același lucru cu eroarea juridică sau cu omisiunea.

Verificăm șase categorii: sursă inexistentă, atribuire greșită, date concrete inventate (termene, sume, procente), citat inventat, jurisprudență inventată sau deformată și fapte inventate despre speță. Fiecare găsire este fie confirmată, fie de verificat de către un om.

Regulile se aplică în ordine, iar prima care se potrivește decide. Negativ: o eroare critică sau o halucinație confirmată, ori un scor sub 60. Pozitiv: un scor de cel puțin 75, fără nicio sursă obligatorie lipsă. Parțial: în rest.

Verdictul se recalculează după fiecare decizie a unui om.

Un judecător automat lăsat liber s-a dovedit el însuși nesigur. De aceea, modelul de limbaj lucrează după patru reguli.

• Nu dă note. Răspunde cu da sau nu pe elemente separate, iar programul calculează punctele.
• Două rulări independente. Aceeași verificare se face de două ori, în apeluri separate, cu aceleași date, fără ca o rulare să vadă rezultatul celeilalte. Un element primește puncte și o eroare sau o halucinație judecată de model pică răspunsul doar dacă ambele rulări spun același lucru.
• Dovadă literală. Fiecare „da” și fiecare eroare raportată vin cu fragmentul copiat din răspuns, iar programul verifică dacă fragmentul există acolo.
• Judecată pe materialul primit. Modelul primește întrebarea, etalonul, răspunsul evaluat și, unde e cazul, textele articolelor și ale deciziilor extrase din corpus. Instrucțiunea lui este să nu folosească alte cunoștințe despre lege.

Ce verificarea automată nu poate stabili sigur nu se ghicește. Un om este chemat să decidă în patru situații:

• Un element de text: rulările nu cad de acord, una nu dă verdict sau fragmentul citat nu se găsește în răspuns. Omul decide dacă elementul este tratat. Până atunci, elementul primește 0 puncte.
• O sursă condiționată: rulările nu cad de acord dacă se aplică speței. Omul decide, iar sursa intră sau iese din calcul.
• O posibilă eroare critică: este raportată de o singură rulare sau fără un citat găsit în răspuns. Omul decide dacă este o eroare. Până atunci, nu pică răspunsul.
• O posibilă halucinație: corpusul poate fi incomplet, o cifră poate veni dintr-un calcul legitim sau modelul nu a confirmat-o în ambele rulări ori nu a găsit-o decisivă. Omul decide dacă pică răspunsul. Până atunci, nu îl pică.

Fiecare decizie reține numele celui care a luat-o și data. Concluzia verificării automate nu se șterge, iar scorul și verdictul se recalculează. Decizia poate fi anulată, caz în care elementul revine la starea inițială.

O evaluare devine definitivă când este aprobată. Până atunci, este marcată „Are nevoie de input”, iar scorul afișat rămâne cel calculat. Pe un etalon scris de un avocat, acesta poate face acest pas, dar nu este obligat. Pe un etalon semnat din pool, pasul rămâne la un verificator.

Corpusul e în continuă extindere și adăugăm constant documente noi. Un etalon poate fi semnat numai dacă fiecare articol pe care îl citează se găsește în corpus, adică printre legile, codurile și celelalte acte normative publicate în Monitorul Oficial. Deciziile se citează cu numărul și anul lor.

Verificăm automat dacă articolele citate există în corpus și dacă citatele, cifrele și regulile atribuite lor corespund textului lor.

Verificăm și existența deciziilor Curții Constituționale și a celor date de Înalta Curte de Casație și Justiție în recursuri în interesul legii și în hotărâri prealabile, precum și dacă răspunsul le redă corect. Celelalte decizii ale Înaltei Curți le căutăm în baza noastră de jurisprudență sau, pe scj.ro, ca în analiză.

O decizie negăsită nici acolo ajunge la un om și nu e considerată inventată. Deciziile instanțelor inferioare, ale CJUE și ale CEDO nu se pot verifica încă automat. Când răspunsul citează astfel de decizii, le arătăm separat în rezultat, ca neverificate, fără să schimbe scorul sau verdictul.

Atât analiza, cât și sistemul de evaluare se îmbunătățesc continuu. Dacă ai o sugestie sau observi o eroare, te rugăm să ne scrii prin butonul de feedback, prezent pe fiecare pagină a programului.

Judecata modelului rămâne o aproximare. Gărzile reduc erorile, nu le elimină: un „nu” dat de ambele rulări nu ajunge la om, deci o omisiune a comparatorului poate trece neobservată. De aceea, cine participă poate marca dezacordul cu o concluzie pe etaloanele proprii și ne poate trimite feedback.