Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System

Nie udało się dodać produktów

Nie możemy dodać tego artykułu, ponieważ Twój koszyk jest już pełny.

Nie udało się dodać tytułu do koszyka.

Spróbuj ponownie później

Nie udało się dodać tytułu do schowka.

Spróbuj ponownie później

„Usuń ze schowka“ nie powiodło się.

Spróbuj ponownie później

„Obserwuj podcast“ nie powiodło się

„Przestań obserwować podcast“ nie powiodło się

Do Large Language Models Know Colombian Law? A Reliability Benchmark for the Colombian Legal System

Słuchaj bezpłatnie, bez subskrypcji

Zobacz szczegóły

Saisonale Sparangebote | 0,99 € pro Monat für die ersten 3 Monate

Danach 6,99 €/Monat. Bedingungen gelten. Monatlich kündbar.

LLMs are increasingly used in legal work, yet their reliability outside the United States is poorly documented. This expert-validated benchmark has 1,042 items across ten areas of law and three formats, and was used to test 15 models. Closed-question accuracy reaches 0.905, but free-text correctness never exceeds 0.45, and only about half of cited norms are correct. Models often sound responsive while being wrong, which is risky for non-experts. Authors: Rubén Manrique, Michelle Castellanos, Jorge Morales, Juan David Gutiérrez, Antonio Barreto Rozo, Joaquín Vélez Navarro Paper: https://arxiv.org/abs/2610.03639v1

Brak recenzji