OpenAI experiment connects Codex to a physical robot for painting
An OpenAI robotics-team experiment connected a camera-equipped physical robot to Codex, extending models’ abilities in painting and computer-use tasks to real-world drawing. Early robot paintings took roughly one to two hours, depending on the method used.
Instead of repeatedly processing an image after every small movement, the system writes an action plan in code, executes it, and checks images every second or few seconds to make adjustments. Early demonstrations used 512p images; lower resolution was considered sufficient for longer action plans, while faster control loops are expected to depend more on image resolution.
The exact robotics methods are still being developed, and the current setup is described as slow and potentially expensive. The experiment points to a likely combination of cloud intelligence, local models and specialized interfaces, while cheaper physical devices could help drive a boom in DIY robotics.
Эксперимент OpenAI подключает Codex к физическому роботу для рисования
В рамках эксперимента робототехнической команды OpenAI физический робот с камерой был подключен к Codex, чтобы перенести способности моделей к рисованию и работе с компьютерными интерфейсами в реальный мир. Ранние рисунки робота занимали примерно от одного до двух часов в зависимости от выбранного метода.
Вместо обработки изображения после каждого небольшого движения система формирует план действий в коде, выполняет его, а затем проверяет изображения каждую секунду или несколько секунд, внося корректировки. В ранних демонстрациях использовались изображения с разрешением 512p: для длинных планов действий этого, по оценке эксперимента, было достаточно, тогда как для более быстрых контуров управления разрешение, вероятно, будет важнее.
Конкретные методы робототехники пока находятся в разработке, а текущая система описывается как медленная и потенциально дорогая. Эксперимент указывает на вероятное сочетание облачного интеллекта, локальных моделей и специализированных интерфейсов; более дешевые физические устройства могут способствовать буму DIY-робототехники.