Эксперимент OpenAI подключает Codex к физическому роботу для рисования

В рамках эксперимента робототехнической команды OpenAI физический робот с камерой был подключен к Codex, чтобы перенести способности моделей к рисованию и работе с компьютерными интерфейсами в реальный мир. Ранние рисунки робота занимали примерно от одного до двух часов в зависимости от выбранного метода.

Вместо обработки изображения после каждого небольшого движения система формирует план действий в коде, выполняет его, а затем проверяет изображения каждую секунду или несколько секунд, внося корректировки. В ранних демонстрациях использовались изображения с разрешением 512p: для длинных планов действий этого, по оценке эксперимента, было достаточно, тогда как для более быстрых контуров управления разрешение, вероятно, будет важнее.

Конкретные методы робототехники пока находятся в разработке, а текущая система описывается как медленная и потенциально дорогая. Эксперимент указывает на вероятное сочетание облачного интеллекта, локальных моделей и специализированных интерфейсов; более дешевые физические устройства могут способствовать буму DIY-робототехники.