Legora says it evaluates models on more than 5,000 legal tasks
Legora’s CEO said external legal benchmarks are not very useful for evaluating practical tasks. The company has built an internal library of more than 5,000 real-world tasks with law firms and practitioners, he said. He described model performance as a “jagged frontier”: different models excel at different tasks, so Legora uses multiple models and needs to swap them quickly. He called model routing a core part of the company’s IP. He also claimed that this approach makes Legora significantly more efficient per token than frontier labs and competitors while delivering the same or better performance.
Legora заявила, что оценивает модели на более чем 5 000 юридических задачах
Глава Legora заявил, что внешние юридические бенчмарки недостаточно полезны для оценки практических задач. Компания, по его словам, создала собственную библиотеку более чем из 5 000 реальных рабочих задач совместно с юридическими фирмами и практиками. Он описал результаты моделей как «изрезанный фронтир»: разные модели сильны в разных задачах, поэтому для оптимизации качества Legora использует разные модели и должна быстро переключаться между ними. Руководитель назвал маршрутизацию моделей важной частью интеллектуальной собственности компании. Он также утверждал, что благодаря такому подходу Legora тратит на токен существенно меньше, чем лаборатории, разрабатывающие передовые модели, и конкуренты, обеспечивая, по его словам, сопоставимую или лучшую производительность.