Модели ИИ могут эффективнее оцениваться по порогам полезности для конкретных задач

В рамках анализа предлагается оценивать большие языковые модели по тому, достигают ли они порога интеллекта, необходимого для конкретной задачи, а не по единому абсолютному рейтингу. Ниже этого порога задачу выполнить нельзя, а выше него дополнительный интеллект дает резко убывающую отдачу.

По этой оценке, закрытые модели обычно достигают нужных порогов первыми, тогда как открытые могут догонять их примерно через шесть—девять месяцев, хотя задержка зависит от задачи. После достижения порога многие экономически ценные приложения могут предпочесть открытые модели ради контроля и специализированного улучшения; при этом для передовой науки и математики спрос на максимальный интеллект остается крайне неэластичным.

Ожидается, что компании, создающие ИИ-продукты, будут использовать отзывы пользователей, чтобы улучшать модели под приоритетные задачи, а не оставаться оболочками над чужими моделями. Экосистема пока считается недостаточно зрелой, чтобы большинство компаний самостоятельно обучали такие модели, но со временем это может стать более распространенным.