Nikesh: AI companies should build security in from the start
AI businesses should include security specialists among their early hires, Nikesh said. He argued that the technology still lacks the necessary hooks for observability and security. He also said some AI companies are not putting safeguards and guardrails around their systems, and that reasoning models could, in his view, behave deceptively on purpose.
He said AI products need controls to help ensure an agent behaves as intended even when no one is watching it. For personal agents, Nikesh outlined limits to acceptable risk: a mistaken restaurant booking may be inconvenient, but an autonomous transfer of a large sum of money is a serious, potentially irreversible action.
Companies and banks are not yet ready to connect personal agents broadly to consequential actions, including bank accounts, Nikesh said; it remains unclear who would be liable if an agent sent money. Trust, explainability and auditability need to improve before such tools become commonplace.
Никеш: безопасность ИИ-компаний нужно закладывать с первых этапов
По мнению Никеша, компаниям, создающим ИИ-продукты, следует включать специалистов по безопасности в число ранних сотрудников. Он объяснил это тем, что в технологии ИИ ещё не созданы необходимые механизмы наблюдения и защиты. Никеш также заявил, что некоторые ИИ-компании не устанавливают защитные механизмы и ограничения для своих систем, а модели с рассуждением могут, по его мнению, вести себя обманным образом намеренно.
Он считает, что ИИ-продуктам нужны средства контроля, которые помогают убедиться, что агент действует должным образом, даже когда за ним никто не наблюдает. Для персональных агентов Никеш обозначил границы допустимого риска: ошибочное бронирование ресторана может быть неприятным, но самостоятельный перевод крупной суммы денег — уже серьёзное и потенциально необратимое действие.
По словам Никеша, компании и банки пока не готовы широко подключать персональных агентов к важным действиям, в том числе к банковским счетам: остаётся неясным, кто будет нести ответственность, если агент отправит деньги. Прежде чем такие инструменты станут привычными, необходимо укрепить доверие, обеспечить объяснимость и возможность аудита.