This story was originally published in Russian only.
Персональные AI-агенты могут ускорить разработку специализированных inference-чипов
По мнению участника обсуждения, рост персональных AI-агентов — следующего этапа развития после coding agents — может резко увеличить спрос на токены. Из-за ограниченной емкости дата-центров и узких мест в цепочках поставок, считает он, потребуется развивать специализированные чипы для inference. При этом Nvidia и AMD, как отмечалось, сохранят особенно сильные позиции в обучении моделей.
Такие чипы потенциально смогут повысить энергоэффективность за счет аппаратной интеграции элементов архитектуры трансформеров или модельных весов. Однако специализация снижает гибкость: современные подходы с размещением весов на одном чипе ограничены примерно 8 млрд параметров, тогда как лучшие модели, по словам участника, имеют триллионы параметров. Когда появятся чипы, способные эффективно запускать такие модели, в обсуждении не уточнялось.