마누스 모션캡처 글러브 실사용 사례🖐 KAIST 모션캡처 데이터 수집 현장

용도 > 케어‧반려‧교육건물 종류 > 학교

#모션캡처#스마트글러브#마누스#텔레오퍼레이션#휴머노이드학습#원격조작로봇#강화학습#모방학습#마로솔#빅웨이브로보틱스

[공정 개요]

KAIST 공학대학 융복합연구센터에 양팔 협동로봇 Ufactory xArm7 2대, 휴머노이드 로봇핸드 Inspire Hand RH56DFX 2대, 모션캡쳐 글러브 Manus MetaGlove Pro로 구성된 텔레오퍼레이션(원격조작) 연구 환경을 구축한 사례입니다. 연구자의 손동작을 그대로 모방해 재봉틀 작업과 같은 단순 반복 공정의 로봇 자동화 데이터를 수집하고, 모방학습·강화학습 기반 피지컬 AI 연구에 바로 활용할 수 있도록 설계되었습니다.

[프로젝트 배경 및 목적]

최근 로봇·AI 연구 분야는 사람의 정밀 동작을 그대로 데이터화해 로봇에 옮기는 모방학습(Imitation Learning) 기반 텔레오퍼레이션 연구의 수요가 빠르게 증가하고 있습니다. 휴머노이드와 피지컬 AI(Physical AI) 시대로의 전환이 본격화되면서, 사람의 손기술과 양팔 협응 동작을 어떻게 학습 데이터로 확보할 것인가가 핵심 과제로 부상했기 때문입니다. 그러나 연구기관이 직접 텔레오퍼레이션 환경을 구축하려 할 경우, 모션캡쳐 글러브·양팔 협동로봇·휴머노이드 로봇핸드 등 서로 다른 제조사의 디바이스를 개별 선정하고, 좌표계 변환 미들웨어와 SDK 연동까지 각각 진행해야 하는 구조적 어려움이 존재했습니다.

KAIST 공학대학 융복합연구센터는 이러한 문제를 해결하고, 도입 직후부터 모방학습·강화학습 연구에 곧바로 착수할 수 있는 통합 환경을 필요로 하셨습니다. 단순한 로봇 단품 공급이 아니라, 모션캡쳐부터 양팔 로봇 제어, 휴머노이드 로봇핸드 동작까지 하나의 파이프라인으로 동작하는 올인원 텔레오퍼레이션 연구 플랫폼을 빠르게 구축하는 것이 본 프로젝트의 핵심 목적이었습니다.

구성요소

로봇	1. Ufactory xArm7 양팔 협동로봇 (2대) 7자유도(7-DOF) 구성으로 사람 팔과 유사한 운동 궤적과 작업 영역 구현 양팔 시스템이라 양손을 동시에 써야 하는 정밀 조립·재봉·포장 작업 모방 가능 Python·ROS·C++ 등 연구개발에 필수적인 API/SDK 폭넓게 지원 Inspire Hand 등 휴머노이드 로봇핸드, 외부 트래커와의 연동성이 우수 2. Inspire Hand RH56DFX (좌·우 각 1대) 휴머노이드 로봇 연구에 널리 채택되는 5지(5-finger) 휴머노이드 로봇핸드 손가락 말단까지의 미세 조작 및 다양한 파지(그립) 구현 가능 양팔 협동로봇 엔드이펙터에 장착해 '사람 손'을 그대로 재현하는 핵심 부품 3. Manus MetaGlove Pro (1세트) 손가락 관절을 정밀하게 캡쳐하는 글로벌 표준 모션캡쳐 글러브 다양한 VR 트래커(HTC VIVE 등)와 호환되어 손목·팔까지 통합 캡쳐 가능 텔레오퍼레이션, XR 연구, 휴머노이드 학습 데이터 수집에 최적화된 디바이스

로봇

1. Ufactory xArm7 양팔 협동로봇 (2대)

7자유도(7-DOF) 구성으로 사람 팔과 유사한 운동 궤적과 작업 영역 구현
양팔 시스템이라 양손을 동시에 써야 하는 정밀 조립·재봉·포장 작업 모방 가능
Python·ROS·C++ 등 연구개발에 필수적인 API/SDK 폭넓게 지원
Inspire Hand 등 휴머노이드 로봇핸드, 외부 트래커와의 연동성이 우수

2. Inspire Hand RH56DFX (좌·우 각 1대)

휴머노이드 로봇 연구에 널리 채택되는 5지(5-finger) 휴머노이드 로봇핸드
손가락 말단까지의 미세 조작 및 다양한 파지(그립) 구현 가능
양팔 협동로봇 엔드이펙터에 장착해 '사람 손'을 그대로 재현하는 핵심 부품

3. Manus MetaGlove Pro (1세트)

손가락 관절을 정밀하게 캡쳐하는 글로벌 표준 모션캡쳐 글러브
다양한 VR 트래커(HTC VIVE 등)와 호환되어 손목·팔까지 통합 캡쳐 가능
텔레오퍼레이션, XR 연구, 휴머노이드 학습 데이터 수집에 최적화된 디바이스

작업순서

STEP 1.	작업자가 Manus MetaGlove Pro와 VR 트래커를 착용합니다.
STEP 2.	로봇으로 구현하고자 하는 동작(예: 재봉틀 조작)을 사람이 직접 수행합니다.
STEP 3.	미들웨어(PC)에서 트래커·글러브의 좌표 데이터를 협동로봇과 로봇핸드의 좌표계로 실시간 변환합니다.
STEP 4.	xArm7 양팔과 Inspire Hand가 작업자의 동작을 그대로 모방해 재현합니다.
STEP 5.	수집된 동작 데이터는 모방학습·강화학습 모델의 학습 데이터로 활용됩니다.

※ 마로솔 내의 모든 콘텐츠를 무단으로 복사 및 재창작할 경우 부정경쟁방지법 및 저작권법에 위반될 수 있음을 밝힙니다.

특장점

1. 손쉬운 멀티 디바이스 연동

Manus 글러브가 다양한 VR 트래커와 호환되어 별도 통합 개발 부담을 최소화
Ufactory xArm7이 Inspire Hand 등 휴머노이드 로봇핸드와 표준 연동 지원
API/SDK가 완전 개방되어 있어 연구 목적에 맞는 커스터마이징이 자유로움

2. 가성비 높은 텔레오퍼레이션 솔루션

약 6천만 원 규모로 구축 가능한 풀세트 텔레오퍼레이션 환경
휴머노이드 1대 가격대에 양팔 + 정밀 로봇핸드 + 모션캡쳐를 함께 확보
손가락 말단의 미세 동작과 사람 팔 수준의 넓은 작업 영역을 동시에 구현

3. 직관적이면서도 정밀한 조작 능력

평소 손을 움직이듯 자연스러운 조작이 가능해 별도 조작법 학습 불필요
복잡한 형상의 물체 파지·세밀한 조작 가능
오픈 생태계 기반으로 휴머노이드 학습, AI 데이터 수집 등으로 확장성이 우수

도입효과

주요지표	단순·반복 작업 자동화를 위한 학습 데이터 확보 사람의 정밀 손기술을 디지털 데이터로 변환 휴머노이드 학습·강화학습 연구로의 자연스러운 확장성 동급 텔레오퍼레이션 솔루션 대비 우수한 가성비
도입기업 피드백	모방학습 연구를 위해 양팔 협동로봇과 모션캡쳐 글러브, 휴머노이드 핸드를 함께 갖춘 환경이 필요했는데, 디바이스마다 제조사가 달라 직접 통합하기에는 부담이 컸습니다. 마로솔에서 하드웨어 선정부터 좌표계 연동, 미들웨어 셋업까지 한 번에 해결해주셔서 납품 당일부터 바로 동작 테스트에 들어갈 수 있었습니다. 글러브 동작이 양팔 로봇과 핸드에 안정적으로 매핑되어, 재봉틀 조작처럼 양손 협응이 필요한 동작 데이터를 빠르게 수집하고 있습니다. 후속 연구 장비 도입도 마로솔과 함께할 계획입니다.

주요지표

단순·반복 작업 자동화를 위한 학습 데이터 확보

사람의 정밀 손기술을 디지털 데이터로 변환

휴머노이드 학습·강화학습 연구로의 자연스러운 확장성

동급 텔레오퍼레이션 솔루션 대비 우수한 가성비

도입기업 피드백

모방학습 연구를 위해 양팔 협동로봇과 모션캡쳐 글러브, 휴머노이드 핸드를 함께 갖춘 환경이 필요했는데, 디바이스마다 제조사가 달라 직접 통합하기에는 부담이 컸습니다. 마로솔에서 하드웨어 선정부터 좌표계 연동, 미들웨어 셋업까지 한 번에 해결해주셔서 납품 당일부터 바로 동작 테스트에 들어갈 수 있었습니다. 글러브 동작이 양팔 로봇과 핸드에 안정적으로 매핑되어, 재봉틀 조작처럼 양손 협응이 필요한 동작 데이터를 빠르게 수집하고 있습니다. 후속 연구 장비 도입도 마로솔과 함께할 계획입니다.