Evaluare împreună cu avocați
Contribuie cu o speță la evaluarea AI juridic
Cum arată un răspuns juridic corect? Invităm avocați să ne arate, pe spețe din practica lor, și să compare aplicația cu răspunsul lor.
Obiectiv
Construim un benchmark românesc pentru AI juridic
O colecție de etaloane pe dreptul românesc, scrise și semnate de avocați, pe care măsurăm cât de bine răspunde aplicația. Începem cu 100 de etaloane. Pentru fiecare, verificăm dacă răspunsul identifică problema decisivă, folosește sursele relevante și evită greșelile care schimbă soluția. Rezultatul privește etalonul evaluat: semnarea unui etalon nu validează întregul produs.
Despre benchmark →Pași
01
Scrii și semnezi etalonul
Introduci întrebarea, răspunsul tău și sursele, apoi corectezi elementele evaluate propuse din răspuns. Prin semnătură confirmi că etalonul vine de la un profesionist.
02
Rulezi evaluarea
Aplicația răspunde la aceeași întrebare, iar răspunsul ei este comparat cu etalonul tău. Vezi ce este corect, ce lipsește și ce este greșit.
03
Clarifici și definitivezi, dacă vrei
Poți decide ce a rămas deschis și poți aproba evaluarea. Nu ești obligat: fără aprobarea ta, evaluarea rămâne marcată „Are nevoie de input”.
Mecanism
Patru verificări pe același răspuns
Sursele
50 de puncteA adus aplicația articolele și deciziile cerute de speță?
Textul
50 de puncteRăspunsul prinde problema decisivă, faptul care schimbă soluția și ramificările?
Erorile critice
Pică răspunsulDă răspunsul o regulă greșită care l-ar face periculos?
Halucinațiile
Pică răspunsulInventează surse, citate, cifre, decizii sau fapte?
Scorul spune cât de complet e răspunsul, iar verdictul spune și dacă e sigur. Ce nu se poate decide cu certitudine nu se ghicește: decide un om.