Никеш: безопасность ИИ-компаний нужно закладывать с первых этапов

По мнению Никеша, компаниям, создающим ИИ-продукты, следует включать специалистов по безопасности в число ранних сотрудников. Он объяснил это тем, что в технологии ИИ ещё не созданы необходимые механизмы наблюдения и защиты. Никеш также заявил, что некоторые ИИ-компании не устанавливают защитные механизмы и ограничения для своих систем, а модели с рассуждением могут, по его мнению, вести себя обманным образом намеренно.

Он считает, что ИИ-продуктам нужны средства контроля, которые помогают убедиться, что агент действует должным образом, даже когда за ним никто не наблюдает. Для персональных агентов Никеш обозначил границы допустимого риска: ошибочное бронирование ресторана может быть неприятным, но самостоятельный перевод крупной суммы денег — уже серьёзное и потенциально необратимое действие.

По словам Никеша, компании и банки пока не готовы широко подключать персональных агентов к важным действиям, в том числе к банковским счетам: остаётся неясным, кто будет нести ответственность, если агент отправит деньги. Прежде чем такие инструменты станут привычными, необходимо укрепить доверие, обеспечить объяснимость и возможность аудита.