AI model costs may be better measured per completed task than per token
Token-pricing charts and benchmark comparisons are described as increasingly misleading because models differ in efficiency. A cited comparison says 3.8 Flash appears 13 times cheaper per token, while Astra is cheaper per completed task because it is more efficient.
The analysis argues that cost efficiency should be measured per task rather than per token. It is uncertain whether greater token efficiency would reduce overall token demand; token volumes may continue rising, but growth could decelerate if future models become dramatically more efficient, even as they perform more valuable work. Sundar Pichai has discussed exponential increases in token volumes at Google and Alphabet.
Стоимость ИИ-моделей, возможно, лучше измерять по выполненной задаче, а не по токену
Графики цен на токены и сравнения по бенчмаркам описываются как всё более вводящие в заблуждение, поскольку модели различаются по эффективности. Согласно приведённому сравнению, 3.8 Flash выглядит в 13 раз дешевле по цене токена, тогда как Astra дешевле в расчёте на выполненную задачу благодаря более высокой эффективности.
В анализе предлагается оценивать экономическую эффективность по стоимости задачи, а не токена. Неясно, снизит ли повышение эффективности токенов общий спрос на них: объём токенов может продолжить расти, но темпы роста способны замедлиться, если будущие модели станут намного эффективнее, даже выполняя более ценную работу. Сундар Пичаи говорил об экспоненциальном росте объёмов токенов в Google и Alphabet.