피지컬 AI의 진짜 병목은 모델이 아니라 데이터입니다.

휴머노이드 로봇 연구가 빠르게 발전하고 있지만, 정작 사람의 손재주를 가르치기 위한 학습 데이터를 어떻게 모을 것인가는 여전히 어려운 숙제로 남아 있어요. 빅웨이브로보틱스 송준봉 CTO가 이 문제에 실용적인 답을 제시한 논문, HumDex를 골라 직접 해설합니다.

휴머노이드 로봇이 문을 열고, 바구니를 들고, 빵을 집고, 수건을 걸고, 바코드 스캐너의 방아쇠를 누르는 장면. 이제 데모 영상에서 어렵지 않게 볼 수 있는 모습이죠. 이런 영상을 보면 가장 먼저 "와, 잘한다"라는 감탄이 나올 수 있지만, 연구자라면 머릿속에 다른 질문이 먼저 떠오를 겁니다.

• 저 동작을 가르치기 위해 데이터를 어떻게 모았을까?
• 그 데이터는 얼마나 안정적으로 반복 수집할 수 있을까?
• 다른 물체, 다른 배경, 다른 위치에서도 다시 될까?

다시 말해 "어떻게 사람의 의도와 시연 정보를 로봇에게 잘 전달하면서, 좋은 품질의 데이터를 모았지?"가 궁금한 것이죠. 이번에 소개할 HumDex: Humanoid Dexterous Manipulation Made Easy는 이 질문에 상당히 실용적인 답을 제시하는 논문입니다. 시스템 전체가 오픈소스로 공개되어 있어, 연구실에서 직접 재현해볼 수 있다는 점도 매력적이에요.

최근 휴머노이드 연구는 TWIST, TWIST2, SONIC처럼 전신 동작을 안정적으로 추종하는 방향으로 빠르게 발전하고 있습니다. ACT(Action Chunking Transformer) 계열의 모방학습(Imitation Learning)도 양팔 조작이나 장기(long-horizon) 작업에서 좋은 성능을 보여주고 있고요. 하지만 휴머노이드가 손가락까지 써야 하는 순간, 문제는 훨씬 어려워집니다.

데이터 수집 과정에서 손이 물체에 가려지고(occlusion), VR 기반 트래킹은 카메라 시야 제약을 받고, 로봇 손과 사람 손의 구조가 달라 동작이 그대로 옮겨지지 않습니다. 그렇다고 로봇으로 직접 데이터를 대량 수집하기엔 비용이 너무 크죠. 로봇 파운데이션 모델(RFM)과 VLA가 주목받는 피지컬 AI(Physical AI, Embodied AI) 시대에도, 결국 이 데이터 병목이 발목을 잡습니다.

HumDex가 흥미로운 이유가 바로 여기에 있습니다. 이 논문은 "휴머노이드에 더 좋은 모델을 얹자"가 아니라, 사람이 보여주는 좋은 시연 데이터를 어떻게 많이, 빠르게, 안정적으로 모을 것인가를 연구의 중심에 둡니다. IMU 기반 전신 텔레오퍼레이션, 학습 기반 손 리타게팅, 사람 데이터 pre-training + 로봇 데이터 fine-tuning이라는 세 가지 구조로 이 병목을 풀어내죠.

HumDex의 첫 번째 핵심은 휴대 가능한(portable) 텔레오퍼레이션입니다. 기존 방식에는 뚜렷한 트레이드오프가 있었어요. 모션캡처 룸 같은 고정 인프라는 정밀하지만 이동이 불가능하고, VR 기반 방식은 휴대성이 좋은 대신 손이 카메라 시야에서 벗어나거나 물체에 가려지면 추적이 흔들립니다.

HumDex는 전신에 IMU 기반 모션 트래킹을, 손에는 관성 기반 장갑을 사용해 이 트레이드오프를 해결합니다. 논문에서는 유니트리 G1(Unitree G1 Edu+) 휴머노이드와 양손 20 DoF 덱스터러스 핸드(Dexterous Hand)를 사용했고, 사람의 전신 움직임과 손끝 위치를 로봇의 몸과 손 관절 목표값으로 실시간 변환합니다.

🔗 HumDex 논문에 사용된 바로 그 기체, 유니트리 G1

본체 무게 35kg 안팎의 컴팩트한 사이즈와 23개 이상의 관절 모터로, 실험실 환경에 들여놓기 가장 현실적인 연구용 휴머노이드로 꼽힙니다. 모방학습·강화학습 기반의 EDU 버전 구성은 마로솔에서 바로 확인할 수 있어요.

유니트리 G1 자세히 보기 >

HumDex의 전신 텔레오퍼레이션 파이프라인(좌)과 모방학습 정책 구조(우) — 출처: HumDex 논문

기술적으로 보면, 전신은 GMR(General Motion Retargeting) 계열의 모션 리타게팅 구조를 사용하고, 손은 다섯 손끝의 3D 위치를 입력받아 20 DoF 로봇 손 관절각을 예측하는 MLP 기반 학습 모델을 사용합니다. 매 프레임마다 무거운 최적화를 돌리는 대신, 학습된 네트워크가 빠르게 손 관절 목표값을 출력하는 방식이죠. 수동 파라미터 튜닝 없이도 부드럽고 자연스러운 손 동작이 나옵니다.

여기서 중요한 포인트는 데이터 수집자가 동작 자체에 집중할 수 있는 환경을 만들었다는 점입니다. VR 텔레오퍼레이션처럼 손이 보이도록 고개를 돌리거나, 카메라 시야를 의식하거나, 손이 가려져 트래킹이 깨지는 문제를 신경 쓰지 않아도 됩니다. 수집 에러가 줄어들면 시연 데이터의 품질이 자연스럽게 올라가는 것이죠. 논문의 수치가 이 방향을 뒷받침합니다.

HumDex의 두 번째 핵심은 사람 데이터를 로봇 학습에 어떻게 쓸 것인가입니다. 로봇으로 직접 데이터를 모으는 것은 비쌉니다. 반면 사람은 같은 작업을 훨씬 빠르고 다양하게 시연할 수 있죠. 문제는 사람 몸과 로봇 몸이 다르다는 것(embodiment gap)입니다. 사람의 손가락, 팔 길이, 관절 구조는 휴머노이드와 같지 않고, 심지어 휴머노이드마다 폼팩터가 전부 다릅니다. 그래서 사람 데이터를 로봇 데이터와 단순히 섞으면 오히려 학습이 망가집니다.

HumDex는 이를 2단계(two-stage) 모방학습으로 해결합니다. 먼저 다양한 사람 데이터로 정책을 pre-training해 시각적 특징과 동작 prior를 배우게 하고, 그다음 소량의 로봇 텔레오퍼레이션 데이터로 fine-tuning해 로봇 embodiment에 맞춥니다. ACT가 action chunk 단위 예측으로 양팔 조작에서 강점을 보이고, TWIST2가 휴머노이드 전신 데이터 수집 시스템을 확장했다면, HumDex는 여기에 덱스터러스 핸드와 사람 데이터 활용을 더해 "사람이 보여준 다양성"과 "로봇이 수행할 수 있는 정밀성"을 단계적으로 연결한 셈입니다.

HumDex의 5가지 실험 태스크와 PickBread 일반화 실험 조건 — 출처: HumDex 논문

특히 PickBread 태스크의 일반화 실험이 흥미로운 결과를 보여줍니다. 로봇 데이터만 쓴 경우, 고정된 환경에서는 잘 동작하지만 위치·물체·배경이 바뀌면 성능이 크게 떨어집니다. 반면 HumDex의 2단계 방식은 unseen position, unseen object, unseen background 조건에서 모두 더 높은 성공률을 유지했습니다. 사람 데이터에서 배운 다양성이 로봇 정책의 일반화 능력으로 이어진다는 것이 실험으로 확인된 것이죠.

HumDex가 연구용 휴머노이드 로봇의 좋은 출발점이 되는 이유는, 하드웨어·데이터셋·리타게팅·모방학습·일반화 평가까지 하나의 연구 커리큘럼으로 확장하기 쉽기 때문입니다. 이 논문을 기반으로 바로 시도해볼 수 있는 실험 주제만 해도 이렇게 뽑을 수 있어요.

• 센서 구성에 따른 데이터 품질 비교 : 어떤 수집 인터페이스가 더 좋은 시연 데이터를 만드는가
• VR 기반 vs IMU 기반 텔레오퍼레이션의 실패 유형 분석
• 손가락 occlusion이 조작 성공률에 미치는 영향 정량 분석

HumDex의 핵심을 한 줄로 정리하면 "사람의 움직임을 연구 가능한 데이터로 만들고, 그 데이터를 로봇이 실행 가능한 형태로 바꾸자"입니다. 그리고 이런 연구를 실제 교육·연구 환경에서 구현하려면, 결국 사람의 움직임을 정밀하게 수집하는 인터페이스가 출발점이 됩니다. 마로솔에는 이 출발점을 바로 갖출 수 있는 장비들이 입점되어 있어요.

🤖 DexRobot DEX Hand : 고성능 인지형 로봇핸드

손가락 단위의 세밀한 조작 연구에 활용할 수 있는 덱스터러스 로봇핸드입니다. HumDex처럼 손 리타게팅 모델이 출력한 관절 목표값을 실제로 실행할 로봇 손이 필요할 때, 조작·작업지능 연구의 하드웨어 기반이 되어줍니다. 마로솔에는 19 자유도(DoF)와 23개 통합 센서로 사람 손에 가까운 정밀 조작을 구현하는 5지 DexHand021 (MP), 그리고 5지 기능의 80%를 합리적인 비용으로 구현하고 팜 마운트 비전까지 갖춘 3지 DexHand021 S 2종이 입점되어 있어요. 두 모델 모두 오픈소스 SDK를 지원해 2차 개발과 알고리즘 검증에 바로 활용할 수 있습니다.

DexHand021 (MP) 자세히 보기 > DexHand021 S 자세히 보기 >

🧤 MANUS 모션캡쳐 글러브

사람 손가락 움직임을 고정밀로 추적해 hand retargeting, 텔레오퍼레이션, demonstration data 수집에 사용하는 모션캡쳐 글러브입니다. 카메라 가림(occlusion) 없이 손가락 관절 데이터를 안정적으로 확보할 수 있어, HumDex가 지적한 VR 방식의 한계를 보완하는 수집 인터페이스로 적합합니다. 마로솔에는 연구 목적과 예산에 따라 선택할 수 있는 3종이 입점되어 있어요.

Metagloves Pro 자세히 보기 > Quantum Metagloves 자세히 보기 > Metagloves Pro Haptic 자세히 보기 >

📡 DexRobot DexCap : 엑소스켈레톤 모션 데이터 수집 시스템

상반신과 손가락 움직임을 통합 추적하는 웨어러블 엑소스켈레톤 기반 모션 데이터 수집 장비입니다. 팔·손·허리를 합쳐 총 65 자유도(DoF)를 밀리미터급 정밀도, 유선 최대 1000Hz로 캡처해 사람의 시연 동작을 그대로 demonstration data로 축적할 수 있어요. C++·Python·ROS SDK를 지원해 주류 로봇팔·덱스터러스 핸드와 즉시 연동되며, HumDex의 사람 데이터 pre-training 접근을 재현하려는 연구에 곧바로 활용할 수 있습니다.

DexCap 자세히 보기 >

다만 이런 실험을 실제로 돌리려면 조건이 하나 있습니다. 논문을 읽는 것만으로는 부족하고, 기체와 데이터 수집 인터페이스, 그리고 수집된 데이터를 관리하는 체계가 연구실에 갖춰져 있어야 한다는 것이죠.

HumDex는 휴머노이드 조작 연구를 조금 더 현실적인 방향으로 안내합니다. 복잡한 양손·손가락 조작은 모델만으로 해결되지 않습니다. 사람이 자연스럽게 시연할 수 있는 환경이 먼저 구축되어야 하고, 그 시연이 로봇에게 정확하고 의미 있는 데이터로 바뀌어야 합니다. 한 문장으로 요약하면 이렇게 되겠네요.

휴머노이드가 좋은 손재주를 보여주려면,
사람이 좋은 손재주 데이터를 전달해야 한다! 🤖✋

그리고 한 가지 더. HumDex가 사용한 기체가 바로 유니트리 G1입니다. 이 연구의 접근을 국내 연구실에서 재현하려면 기체 하나가 아니라, '기체 + 데이터 수집 인터페이스 + 데이터 관리'가 하나의 파이프라인으로 준비되어야 합니다. G1을 구매하는 것과, G1으로 연구할 수 있는 환경을 구축하는 것은 다르기 때문이죠. 연구·교육기관을 위한 마로솔 G1 Edu 연구 패키지가 정확히 이 구성을 담고 있어요.