Decagon направляет задачи агентов на меньшие модели, снижая стоимость и задержку голосовых агентов

Decagon заявляет, что после запуска работающего продукта на базе ИИ-агента многие обращения к моделям не требуют полной frontier-модели. Компания использует меньшие, в частности открытые, модели для внутренних задач — например, выбора темы и обнаружения галлюцинаций, — сохраняя frontier-модели для новых продуктов и возможностей.

По словам компании, после дообучения или постобучения меньшие модели в этих сценариях показывают тот же уровень качества. Для голосовых агентов Decagon считает задержку как минимум столь же важной, как стоимость, и говорит, что большая часть текущего выигрыша достигается за счёт уменьшения моделей, а не изменений чипов или размещения на периферии. Компания допускает, что после дальнейшей оптимизации моделей периферийные вычисления могут стать более значимыми.