Исследование показало, что строительные роботы учатся умнее и быстрее с помощью виртуальной реальности и имитации

Исследователи из Университета Британской Колумбии представили новаторский метод, который позволяет строительным роботам более эффективно обучаться выполнению задач, имитируя действия человека в виртуальной реальности, virtual reality, VR, и совершенствуя свое поведение с помощью вознаграждений из окружающей среды. Исследование Канкана Дуаня, Чжэнбо Цзоу и Т. Й. Янга, опубликованное в журнале Computer-Aided Civil and Infrastructure Engineering, представляет гибридную структуру обучения, которая сочетает имитационное обучение, imitation learning, IL, с обучением с подкреплением, reinforcement learning, RL, в виртуальной среде, что значительно улучшает процесс обучения автономных строительных роботов.

Наш подход обучает роботов не просто подражать работникам-людям, но и совершенствоваться по сравнению с ними, изучая окружающую среду, говорит один из соавторов, профессор Т. Й. Ян. Это позволяет достигать баланса между человеческим опытом и оптимизацией на уровне машины.

Вместо использования контроллеров эксперты демонстрируют задачи с помощью естественных жестов рук, зафиксированных в VR, которые напрямую преобразуются в роботизированные команды.

Роботы обучаются на примерах экспертов, это внутреннее вознаграждение, и одновременно получают обратную связь от окружающей среды, это внешнее вознаграждение, что в совокупности ускоряет подготовку.

В отличие от традиционного обучения с подкреплением, для которого требуются сложные функции вознаграждения, этот метод использует простую, разреженную систему вознаграждения, которая стала возможной благодаря предварительной подготовке с подкреплением.

Используя широко распространенный шестисуставный робот xArm, команда смоделировала задачу установки окна. Примененный подход превзошел самые современные методы обучения по качеству выполнения задач и стабильности. Потребовалось меньше демонстраций, и была продемонстрирована надежность даже при работе с небольшими наборами данных.

Достигнут показатель успешности 97 процентов при выполнении операций по подъему и перемещению грузов в условиях реальных ограничений. Обеспечена возможность работы без столкновений за счет сглаживания траектории и обратной кинематики.

Этот гибридный подход значительно повышает эффективность обучения и применимость результатов в реальной жизни, говорит ведущий автор Канкан Дуань. Это отражает смену парадигмы в том, как мы обучаем машины для работы в динамичных строительных условиях.

www.pbctoday.co.uk