Snowflake plans for AI capability jumps while optimizing model and token costs
Snowflake expects future jumps in AI capabilities could increase spending, while cheaper models, open-source systems and efficiency improvements may reduce costs. The company considers AI token spending worthwhile when it produces real business results, but prioritizes product creation and customer adoption over minimizing token use at all costs.
To control spending, Snowflake optimizes default model selection and task graphs, assigning simpler tasks to less expensive models. It is also using an AI Gateway to make model access more efficient and experimenting with open-weight models through its CoCo harness. Support and site-reliability teams process tens of thousands of alerts daily, making those workflows a significant opportunity for token optimization.
Snowflake готовится к скачкам возможностей ИИ и оптимизирует выбор моделей и расходы на токены
В Snowflake ожидают, что будущие скачки возможностей ИИ могут увеличить расходы, хотя более дешёвые модели, системы с открытым исходным кодом и повышение эффективности способны их сократить. В компании считают затраты на токены оправданными, когда они дают реальные бизнес-результаты, но ставят создание продуктов и их внедрение клиентами выше попыток минимизировать расход токенов любой ценой.
Для контроля расходов Snowflake оптимизирует выбор моделей по умолчанию и графы задач, передавая более простые операции менее дорогим моделям. Компания также использует AI Gateway для повышения эффективности доступа к моделям и экспериментирует с моделями с открытыми весами через собственный инструментарий CoCo. Команды поддержки и обеспечения надёжности обрабатывают десятки тысяч предупреждений в день, что создаёт значительные возможности для оптимизации токенов.