Legora routes legal tasks across models and reports a 30-point cut in LLM spending
Legora says it initially built its legal product around GPT-3.5 in 2023, but now routes different tasks—including drafting, reviewing, fact-checking and legal research—to the models best suited to them. Its stack includes models from Meta, Groq, Anthropic and OpenAI.
The company says its key intellectual property is determining where to apply each model rather than relying on a single provider or narrowly fine-tuning one model. Legora argues that a model fine-tuned for a small short-term gain could depreciate as base models advance.
Legora also says it built its own router and reduced overall LLM spending across the platform by 30 percentage points over one weekend, with the savings flowing into gross margin.
Legora распределяет юридические задачи между моделями и сообщает о снижении расходов на LLM на 30 пунктов
Legora сообщает, что в 2023 году изначально строила юридический продукт вокруг GPT-3.5, но теперь направляет разные задачи — включая подготовку документов, проверку, фактчекинг и юридические исследования — к наиболее подходящим моделям. В ее стеке используются модели Meta, Groq, Anthropic и OpenAI.
Компания считает своей ключевой интеллектуальной собственностью определение того, где применять каждую модель, а не привязку к одному поставщику или узкую дообученную модель. Legora утверждает, что модель, дообученная ради небольшого краткосрочного прироста, может обесцениться по мере развития базовых моделей.
Legora также сообщает, что создала собственный маршрутизатор и за одни выходные снизила общие расходы на LLM по всей платформе на 30 процентных пунктов; сэкономленные средства увеличили валовую маржу.