실험실 안에서 잘하는 로봇과 실험실 밖에서도 잘하는 로봇은 다릅니다.

모션캡처 장비가 없는 리얼 월드에서 휴머노이드 로봇은 자기 눈으로 물체를 보고 온몸으로 상호작용할 수 있을까요? 빅웨이브로보틱스 송준봉 CTO가 로봇 비전과 Sim-to-Real 강화학습으로 이 질문에 답한 논문, VisualMimic을 골라 직접 해설합니다.

실험실이 아닌 야외 캠퍼스에서 박스를 미는 유니트리 G1 — 출처: VisualMimic 논문

휴머노이드 로봇이 큰 박스를 밀거나, 공을 드리블하거나, 바닥에 놓인 물체를 들어올리는 장면을 보면 자연스럽게 이런 의문이 생깁니다.

• 로봇은 물체 위치를 어떻게 인식할까?
• 외부 카메라나 모션캡처 없이도 물체 위치 파악이 가능할까?
• 실험실이 아닌 야외 환경에서도 안정적으로 동작할까?
• 팔만 쓰는 것이 아니라 발, 어깨, 몸통까지 활용해 물체와 상호작용할 수 있을까?

휴머노이드가 리얼 월드에서 제대로 활용되려면, 자기 시점의 시각 정보를 이해하고 물체와 상호작용할 수 있어야만 합니다. 이번에 소개할 VisualMimic: Visual Humanoid Loco-Manipulation via Motion Tracking and Generation은 스탠퍼드 연구진이 이 질문에 내놓은 하나의 해답입니다. 코드가 오픈소스로 공개되어 있어 연구실에서 직접 재현해볼 수 있다는 점도 반갑습니다.

이제 휴머노이드가 걷는 것은 더 이상 놀라운 일이 아닙니다. 최근 연구는 물체를 밀고, 들어올리고, 발로 차고, 운반하는 전신 loco-manipulation으로 빠르게 확장되고 있어요. TWIST, HumanPlus, OmniH2O 계열 연구는 사람의 전신 모션을 휴머노이드로 전이하는 방향을 제시했고, 지난 2편에서 다룬 SkillBlender는 primitive skill을 조합해 리워드 엔지니어링을 줄이는 접근을 보여줬습니다(👉 2편 콘텐츠 확인하기).

하지만 이런 연구도 실제 환경에 나가면 또 다른 문제를 만납니다. 실험실 안에서는 잘 갖춰진 모션캡처 장비로 물체의 상태(object state)를 정확히 알 수 있지만, 실험실 밖에서는 그 정보를 얻을 방법이 없습니다. 리얼 월드에서는 물체 위치도 바뀌고, 조명도 바뀌고, 바닥도 완벽하지 않죠. 다시 말해 로봇이 자기 눈으로 환경을 해석하고, 그 정보를 기반으로 온몸을 써서 행동해야 하는 겁니다.

VisualMimic이 흥미로운 이유가 바로 여기에 있습니다. 이 논문은 1인칭 시점 비전(Egocentric Vision)과 계층형 전신 제어(hierarchical whole-body control)를 결합해, box lifting, box pushing, ball dribbling, kicking 같은 작업을 실제 휴머노이드 유니트리 G1로 zero-shot sim-to-real 전이하는 데 성공했습니다. 시뮬레이션에서 학습한 정책을 실기체에서 추가 학습 없이 그대로 배포했다는 뜻이에요. 피지컬 AI 연구가 "시뮬레이션 안에서 잘하는 로봇"을 넘어 "로봇 자신의 시야로 리얼 월드에 서는 로봇"으로 가는 흐름을 잘 보여주는 연구입니다.

VisualMimic의 첫 번째 핵심은 계층형 전신 제어입니다. 전체 구조는 크게 두 단계로 나뉩니다.

첫 번째는 low-level의 범용 keypoint tracker입니다. 이 정책은 특정 task에 묶여 있지 않고, root·head·hands·feet 같은 keypoint 명령을 받아 휴머노이드가 자연스럽게 전신을 움직이게 만듭니다. 중요한 점은 단순히 keypoint만 따라가게 만드는 것이 아니라, 사람의 모션 데이터에서 얻은 전신 움직임 prior를 함께 학습한다는 점이에요. 논문에서는 AMASS와 OMOMO 같은 human motion dataset을 GMR 방식으로 휴머노이드 모션으로 리타게팅한 뒤, 먼저 privileged teacher motion tracker를 학습합니다. 이 teacher는 미래 참조 모션과 발 접촉력처럼 실제 배포 환경에서는 쓸 수 없는 정보까지 보면서 정확한 tracking을 배우고, 이후 DAgger 방식으로 student keypoint tracker에 증류(distillation)됩니다. 최종적으로 실제 로봇에 올라가는 것은 proprioception과 keypoint 명령만 쓰는 student 정책이고, 한 번 학습하면 모든 task가 공유합니다.

두 번째는 high-level의 task별 keypoint generator입니다. 이 정책은 1인칭 시점 비전과 proprioceptive state를 보고 low-level tracker에 전달할 keypoint 명령을 생성하며, task마다 학습합니다. 정리하면 high-level은 "어디로 손과 발과 몸을 보내야 하는가"를 결정하고, low-level은 "그 명령을 어떻게 균형 있는 전신 동작으로 실행할 것인가"를 담당하는 구조인 것이죠.

범용 keypoint tracker 학습(Stage 1)과 task별 keypoint generator 학습(Stage 2)으로 이어지는 VisualMimic 파이프라인 — 출처: VisualMimic 논문

이 접근이 재미있는 이유는 action space를 바로 joint DoF로 두지 않고, keypoint 명령이라는 중간 인터페이스를 두었다는 점입니다. 휴머노이드는 수많은 관절을 가지고 있고, 어떤 모션을 위해 이를 하나하나 직접 제어하도록 설계하는 것은 매우 어렵습니다. 반면 사람처럼 "손을 여기로, 발을 저기로, 몸을 이 방향으로"라는 형태의 keypoint 명령은 훨씬 해석 가능하고 학습도 안정적이죠. 실제로 논문의 ablation 실험에서 keypoint 대신 23-DoF 관절 인터페이스를 쓰면 Push Box·Kick Box 성능이 크게 떨어지고 Kick Ball은 아예 학습되지 않았습니다.

VisualMimic의 두 번째 핵심은 비전 기반 zero-shot sim-to-real입니다. 기존 연구는 환경 정보를 얻기 위해 외부 모션캡처나 object state를 활용했습니다. 매우 강력한 접근이지만 실험실 환경에서만 구현 가능하고, 실제 환경에서는 제약이 크죠. VisualMimic은 이를 줄이기 위해 로봇의 1인칭 시점 depth 이미지와 proprioception만으로 task별 keypoint generator를 동작시키는 방향을 제시했습니다.

기술적으로는 여기서도 teacher-student 구조를 사용합니다. 먼저 object state를 볼 수 있는 state-based teacher generator를 PPO로 학습하고, 이후 depth 이미지 기반 student visuomotor 정책으로 증류합니다. 시각 모달리티로 RGB가 아닌 depth 이미지만을 채택한 것도 흥미로운 지점인데, RGB 이미지는 조명·색상·텍스처에 따라 sim-to-real gap이 크기 때문입니다. 대신 시뮬레이션 단계에서 depth 이미지에 heavy random masking을 넣어 RealSense 카메라의 노이즈를 근사했어요. 이 마스킹이 없으면 실기체 배포에서 불안정한 동작이 나타났다고 합니다.

또 하나 중요한 설계는 Human Motion Space clipping입니다. RL 학습 중 high-level 정책이 사람이 하지 않을 법한 keypoint 명령을 탐색하면 low-level tracker가 불안정해질 수 있어요. VisualMimic은 human motion 통계를 기반으로 action을 클리핑하고, low-level 학습 단계에서는 keypoint 명령에 노이즈를 주입해 강건성을 높입니다. 논문의 ablation에서 노이즈와 action clip을 제거하면 성능이 크게 떨어지는 것도 확인됩니다. 노이즈를 빼면 Push Box는 완전히 실패하고, clip을 빼면 학습 후반에 return이 무너지는 식이죠.

특히 야외 실험을 통한 검증이 매우 흥미롭습니다. VisualMimic은 다양한 시간대와 조명 변화, 불규칙한 지면, 주변을 오가는 사람들까지 있는 outdoor 환경에서도 정책이 동작함을 보여줍니다. 정해진 실험실 바닥과 고정된 물체가 아닌, 실제 환경에서 휴머노이드가 활용될 수 있는 가능성을 확인한 것이죠.

낮부터 밤까지, 시간대와 조명이 바뀌어도 유지되는 박스 밀기 정책 — 출처: VisualMimic 논문

🔗 이번에도 실험 기체는 유니트리 G1

1편에서 다룬 HumDex에 이어 VisualMimic까지, 실기체 검증에 쓰인 기체는 온보드 RealSense D435i를 탑재한 유니트리 G1입니다. 최신 휴머노이드 논문들이 연속으로 선택하는 연구 표준 기체로 자리잡고 있어요. 마로솔에서 도입 구성을 바로 확인할 수 있습니다.

유니트리 G1 자세히 보기 >

이 연구를 보면, 앞으로 휴머노이드 연구의 중요한 흐름이 외부 센서에 의존하는 로봇에서, 로봇 자신의 시야와 전신 제어를 결합하는 로봇으로 이동할 수 있음을 기대하게 됩니다.

VisualMimic이 연구용 휴머노이드 로봇의 좋은 출발점이 되는 이유는, 시각 인식·모션 리타게팅·teacher-student 증류·sim-to-real 강화학습·실외 일반화 평가까지 하나의 연구 커리큘럼으로 확장하기 쉽기 때문입니다. 그리고 이 파이프라인을 연구실에서 재현하거나 확장하려면 장비들이 필요합니다. 로봇의 눈이 되어줄 비전 장비, low-level tracker의 prior를 만들 사람 모션 수집 인터페이스, 그리고 기체와 시뮬레이션 학습 환경이죠. 마로솔에는 이 출발점을 갖출 수 있는 장비들이 입점되어 있습니다.

🏃 Moretion HZ-Z1 (Pro) : 전신 모션캡처 슈트

VisualMimic의 low-level tracker는 사람의 전신 모션 데이터에서 움직임 prior를 배웁니다. MEMS 관성 센서 융합과 자체 항자기 간섭 기술을 탑재한 이 무선 풀바디 슈트는 카메라나 고정 인프라 없이 걷기·앉기·손 뻗기 같은 전신 동작을 저지연·고정밀로 데이터화할 수 있어, 이런 human motion prior 구축과 전신 제어 연구에 활용됩니다. Pro 버전은 고정밀 센서, 10시간 배터리, 최대 5인 동시 캡처를 지원해요.

Moretion HZ-Z1 자세히 보기 >

📡 DexRobot DexCap : 엑소스켈레톤 모션 데이터 수집 시스템

사람의 상체와 손 움직임을 통합 추적하는 웨어러블 엑소스켈레톤 장비입니다. 팔·손·허리 합계 65 자유도(DoF)를 밀리미터급 정밀도, 유선 최대 1000Hz로 캡처해, keypoint 명령 설계나 상반신 중심의 human motion prior 구축에 활용할 수 있어요. C++·Python·ROS SDK로 주류 로봇 플랫폼과 즉시 연동됩니다.

DexCap 자세히 보기 >

Isaac Gym/Sim 기반 시뮬레이션 강화학습 환경이나, 조명·지면·카메라 노이즈 조건에서 일반화 성능을 평가하는 실외 테스트 구성처럼 연구 인프라 전체가 필요한 경우에도 기관의 연구 목적에 맞춰 마로솔이 함께 설계해드립니다.

다만 이런 실험을 실제로 돌리려면 조건이 하나 있습니다. 시뮬레이션에서 학습한 정책이 향할 목적지, 즉 비전 장비를 갖춘 실기체와 데이터·안전 환경이 연구실에 준비되어 있어야 한다는 것이죠.

VisualMimic은 휴머노이드 연구에서 "비구조화 환경"이라는 키워드를 잘 보여주는 논문입니다. 단순히 모션을 따라 하는 것도 아니고, vision 정책만 학습하는 것도 아닙니다. 사람 모션에서 얻은 전신 움직임 prior를 low-level tracker에 넣고, 1인칭 시점 비전을 high-level generator에 넣어, 실제 환경에서 물체와 상호작용하게 만듭니다. 한 문장으로 요약하면 이렇게 되겠네요.

휴머노이드가 실제 환경에서 제대로 일하려면,
로봇의 눈으로 얻은 정보를 온몸의 움직임으로 바꿀 수 있어야 한다! 🤖👁️

그리고 한 가지 더. 1편의 HumDex도, 이번 VisualMimic도 실기체 검증에 쓴 기체는 유니트리 G1입니다. 최신 휴머노이드 논문들이 연속으로 선택하면서 G1은 연구 표준 기체로 자리잡아가고 있죠. 그리고 VisualMimic이 보여줬듯, 로봇이 실험실 밖으로 나가려면 기체 하나가 아니라 '기체 + 비전·데이터 환경 + 안전 환경'이 하나의 파이프라인으로 준비되어야 합니다. G1을 구매하는 것과, G1으로 연구할 수 있는 환경을 구축하는 것은 다르기 때문이죠. 연구·교육기관을 위한 마로솔 G1 Edu 연구 패키지가 정확히 이 구성을 담고 있어요.