Стоимость ИИ-моделей, возможно, лучше измерять по выполненной задаче, а не по токену

Графики цен на токены и сравнения по бенчмаркам описываются как всё более вводящие в заблуждение, поскольку модели различаются по эффективности. Согласно приведённому сравнению, 3.8 Flash выглядит в 13 раз дешевле по цене токена, тогда как Astra дешевле в расчёте на выполненную задачу благодаря более высокой эффективности.

В анализе предлагается оценивать экономическую эффективность по стоимости задачи, а не токена. Неясно, снизит ли повышение эффективности токенов общий спрос на них: объём токенов может продолжить расти, но темпы роста способны замедлиться, если будущие модели станут намного эффективнее, даже выполняя более ценную работу. Сундар Пичаи говорил об экспоненциальном росте объёмов токенов в Google и Alphabet.