Snowflake готовится к скачкам возможностей ИИ и оптимизирует выбор моделей и расходы на токены

В Snowflake ожидают, что будущие скачки возможностей ИИ могут увеличить расходы, хотя более дешёвые модели, системы с открытым исходным кодом и повышение эффективности способны их сократить. В компании считают затраты на токены оправданными, когда они дают реальные бизнес-результаты, но ставят создание продуктов и их внедрение клиентами выше попыток минимизировать расход токенов любой ценой.

Для контроля расходов Snowflake оптимизирует выбор моделей по умолчанию и графы задач, передавая более простые операции менее дорогим моделям. Компания также использует AI Gateway для повышения эффективности доступа к моделям и экспериментирует с моделями с открытыми весами через собственный инструментарий CoCo. Команды поддержки и обеспечения надёжности обрабатывают десятки тысяч предупреждений в день, что создаёт значительные возможности для оптимизации токенов.