Applied Dynamics &

Intelligent Prognosis Laboratory

Intelligent manipulation via imitation learning w/ human interaction

Overview

로봇 매니퓰레이션 작업의 자동화 및 일반화 성능 향상을 위해, 모방학습 기반 로봇 제어 프레임워크를 구축함. 가상 환경에서 다양한 작업 데이터를 생성하고 sim-to-real 전이를 통해 실제 환경에서도 강건한 작업 수행이 가능하도록 함. 또한 Vision-Language-Action (VLA) 모델을 활용하여 인간의 언어 및 시각 정보를 이해하고 상호작용 기반 작업 수행이 가능하도록 함. 이를 통해 복잡한 작업 환경에서의 유연한 로봇 조작 및 인간-로봇 협업 기반을 마련함.

An imitation learning-based robotic manipulation framework is developed to improve automation and generalization of manipulation tasks. Diverse training data are generated in virtual environment, and sim-to-real transfer is applied to enable robust performance in real-world environments. In addition, a Vision-Language-Action (VLA) model is integrated to enable interaction with humans through visual and language understanding. This establishes a foundation for flexible manipulation and human–robot collaboration in complex environments.

Key Contribution

Sim-to-Real transfer: 가상 환경에서 대규모 시연 데이터를 생성하고 이를 활용한 모방학습을 통해 다양한 매니퓰레이션 작업 학습
Domain randomization 기반 일반화 향상: 다양한 환경 조건을 반영한 도메인 랜덤화를 적용하여 실제 환경에서도 강건한 성능 확보
VLA 기반 인간-로봇 상호작용: 시각 및 언어 정보를 통합적으로 이해하여 사용자 지시에 따른 유연한 작업 수행

Sim-to-real transfer: Large-scale demonstration data are generated in virtual environments and utilized for imitation learning to acquire diverse manipulation skills
Domain randomization for generalization: Robust performance in real-world environments is achieved by incorporating diverse environmental variations
VLA-based human–robot interaction: Flexible task execution enabled by integrated understanding of visual and language inputs based on VLA models

Impact

효율적인 데이터 학습을 통한 로봇 작업 자동화 확장
실제 환경에서의 강건한 로봇 조작 성능 확보
인간과의 직관적인 상호작용 기반 협업 가능성 확대

Scalable robotic automation through efficient data learning
Robust manipulation performance in real-world environments
Enhanced human–robot collaboration through intuitive interaction

Google Sites

Report abuse