Benchmark românesc pentru AI juridic

Un benchmark este o colecție stabilă de probe cu soluții cunoscute, pe care se măsoară performanța unui sistem în condiții comparabile. Benchmark-ul nostru este alcătuit din etaloane pe dreptul românesc, construite pornind de la situații din practica avocaților, nu din întrebări de tip examen.

Fiecare etalon cuprinde speța, răspunsul de referință și sursele pe care acesta se sprijină, structurate pe elementele evaluate: problema de drept decisivă, faptul care schimbă soluția, ramificările pe care un răspuns complet trebuie să le trateze și sursele obligatorii. Un etalon intră în benchmark numai după ce este semnat de avocatul care l-a introdus sau care l-a verificat (în cazul etaloanelor deja introduse).

• Speța: situația de fapt și întrebarea juridică, anonimizate și formulate cum le-ar pune un client.
• Etalonul: speța împreună cu răspunsul de referință și sursele pe care acesta se sprijină, structurate pe elementele evaluate. Este unitatea benchmark-ului.
• Răspunsul de referință: soluția scrisă de avocat pentru speță, ca parte a etalonului.
• Semnătura: confirmarea avocatului că etalonul reflectă evaluarea sa profesională. Numai etaloanele semnate intră în benchmark.
• Benchmark-ul: colecția de etaloane semnate pe care se măsoară un sistem AI juridic.
• Evaluarea: compararea răspunsului unui sistem la speța unui etalon cu etalonul, după această metodologie. Are ca rezultat un scor și un verdict.
• Pool-ul: etaloanele pregătite de noi și încă nesemnate, pe care le poate semna un avocat.

Benchmark-urile juridice existente sunt construite pe alte sisteme de drept, majoritatea în limba engleză. Ele nu arată cât de corect aplică un sistem AI Codul civil, Codul de procedură civilă sau jurisprudența obligatorie a Înaltei Curți de Casație și Justiție.

Un răspuns convingător în formă poate fi greșit tocmai în punctul decisiv: un text abrogat prezentat ca aplicabil, o decizie inexistentă, un termen calculat greșit. Astfel de erori pot fi măsurate numai pe etaloane de drept românesc, verificate de practicieni.

Proiectul este inspirat de benchmark-urile juridice internaționale, precum Vals AI, dar etaloanele, criteriile și verificarea sunt construite pentru dreptul românesc.

Avocații pot contribui în două moduri: fie scriu un etalon pornind de la o speță din practica proprie, fie semnează un etalon pregătit de noi, după ce l-au verificat.

Răspunsul sistemului evaluat este comparat cu etalonul după o metodologie publică, pe patru dimensiuni: sursele, conținutul răspunsului, erorile critice și halucinațiile. Detaliile sunt descrise în metodologia de evaluare.

Distingem patru noțiuni care sunt adesea confundate:

• Benchmark-ul este colecția de etaloane. Există independent de orice sistem evaluat.
• Evaluarea ȘtieLegi este aplicarea benchmark-ului asupra aplicației noastre. Publicăm rezultate agregate numai după ce benchmark-ul are cel puțin 30 de etaloane semnate; sub acest prag, un procent ar depinde excesiv de câteva cazuri.
• Alte instrumente similare sau aplicațiile publice, precum ChatGPT, nu sunt evaluate în prezent. Intenționăm să le evaluăm într-o sesiune viitoare, pe aceleași etaloane, după aceeași metodologie.
• Modelele de limbaj evoluează rapid, iar diferențele dintre ele nu sunt scopul acestei sesiuni. Pe parcursul acestei evaluări vom păstra aceleași modele, pe care le vom publica odată cu primele rezultate.

Etaloanele sunt scrise și semnate de avocați. Cei care și-au exprimat acordul sunt menționați pe pagina Contribuitori.