휴머노이드 연구의 진짜 병목은 알고리즘이 아니라, 데이터 수집 비용입니다.

사람이 VR 장비를 쓰고 로봇을 일일이 조종하지 않아도, 휴대폰으로 찍은 장면을 3D 가우시안 스플래팅(3DGS)으로 복원한 가상 세계에서 VLA 학습 데이터를 만들 수 있을까요? 빅웨이브로보틱스 송준봉 CTO가 이 질문에 정면으로 답한 스탠퍼드의 논문, LEGS를 골라 직접 해설합니다.

3DGS 시뮬레이터(왼쪽)에서 만든 데이터가 실기체 배포(가운데)와 새로운 물체·장면 적응(오른쪽)까지 이어집니다 — 출처: LEGS 논문

휴머노이드가 물체를 집고, 걸어서 다른 위치로 이동하고, 몸을 낮춰 테이블 위에 물체를 놓는 동작을 학습시키려면 연구를 시작하기 전에 이런 고민부터 떠오릅니다.

• 이 동작들을 학습시키려면 데이터를 얼마나 많이 모아야 할까?
• 꼭 사람이 매번 로봇을 조종해서 demonstration을 만들어야 할까?
• 새로운 방, 새로운 테이블, 새로운 물체가 생길 때마다 매번 다시 데이터를 모아야 할까?
• 시뮬레이션에서 만든 데이터가 실제 휴머노이드에도 통할 수 있을까?

숫자로 보면 이 고민은 더 현실적입니다. 논문 기준으로 장거리 loco-manipulation 작업의 시연 데이터 50개를 사람이 VR 테레오퍼레이션으로 수집하면 1.5시간 이상의 operator 노동이 들고, 새로운 환경(다른 테이블, 다른 물체)이 하나 추가될 때마다 같은 비용이 반복됩니다. 반면 이번에 소개할 LEGS는 같은 조건을 약 0.1 GPU-hour의 재렌더링만으로 커버합니다. 15배 이상의 비용 차이가 사람 없이 병렬로 확장 가능한 형태로 벌어지는 것이죠.

LEGS: Fine-Tuning Teleop-Free VLAs for Humanoid Loco-manipulation in an Embodied Gaussian Splatting World는 스탠퍼드 연구진이 이 문제에 내놓은 과감한 답입니다. 사람이 로봇을 직접 조종하지 않고도, photorealistic simulation 안에서 humanoid loco-manipulation 데이터를 만들고, 그 데이터로 VLA(Vision-Language-Action) 모델을 fine-tuning해 실제 휴머노이드에 zero-shot으로 배포할 수 있다는 것을 1,110회의 실기체 trial로 보여줬습니다.

VLA 파운데이션 모델의 발전 속도는 놀랍습니다. π0, π0.5, GR00T 같은 모델들은 대규모 사전학습으로 인상적인 zero-shot manipulation 능력을 보여주고 있죠. 하지만 이 모델들을 특정 휴머노이드 플랫폼에 얹으려면 여전히 locomotion과 manipulation을 모두 포함하는 fine-tuning 데이터가 필요합니다. 그리고 이 데이터는 지금까지 대부분 사람이 VR 장비를 쓰고 로봇을 직접 조종하는 테레오퍼레이션(teleoperation)으로 만들어졌습니다. 지난 3편에서 다룬 VisualMimic이 "로봇의 눈"으로 sim-to-real을 뚫었다면(👉 3편 콘텐츠 확인하기), 이번 논문은 그 앞단인 "데이터를 어떻게 만들 것인가"를 정면으로 건드립니다.

테레오퍼레이션 방식은 느리고 무엇보다 비쌉니다. 특히 locomotion과 manipulation이 결합된 task에서는 전신 추적 장비가 필요할 뿐 아니라, 작업자가 계속 로봇 상태를 보며 몸 전체의 움직임을 맞춰야 하기 때문에 operator 피로와 로봇 가동 시간까지 비용에 포함됩니다. 더구나 새로운 물체, 새로운 테이블, 새로운 조명 조건이 생길 때마다 데이터를 다시 모아야 한다면 확장성이 크게 떨어질 수밖에 없습니다.

LEGS가 흥미로운 이유가 바로 여기에 있습니다. 이 연구는 휴대폰으로 1~2분 촬영한 장면을 3D Gaussian Splatting(3DGS)으로 복원하고, SAM3D로 물체 mesh를 만든 뒤, MuJoCo 물리 시뮬레이션과 SONIC whole-body controller를 결합해 테레오퍼레이션 없이 휴머노이드 loco-manipulation 데이터를 생성합니다. 이렇게 만든 합성 데이터(synthetic data)로 ψ0, π0.5, GR00T N1.6 세 가지 VLA backbone을 fine-tuning하고 실제 유니트리 G1에 배포한 결과, 세 가지 task와 세 가지 backbone 전부에서 human teleop 데이터와 같거나 더 나은 성능을 보여주었습니다. 3DGS scene reconstruction부터 procedural data generation, sim-to-real transfer까지 하나의 파이프라인으로 이어지는, 연구실에서 확장하기 좋은 주제라 이번 논문으로 선정했습니다.

장면 영상 → 3DGS 배경 복원, 물체 사진 → SAM3D mesh, 그리고 procedural generator가 시연 데이터를 자동 생성하는 LEGS 파이프라인 — 출처: LEGS 논문

LEGS의 첫 번째 핵심은 teleop-free synthetic data generation입니다. 파이프라인은 놀랄 만큼 가볍게 시작합니다. 먼저 1~2분 정도의 handheld scene video로 방을 촬영하고, COLMAP 포즈 추정을 거쳐 3D Gaussian Splatting으로 배경을 복원합니다. 물체와 테이블 같은 foreground object는 사진 한 장에서 SAM3D로 mesh를 만들고, 휴머노이드 로봇(유니트리 G1)은 URDF로 가상 공간에 로딩합니다. 물리 시뮬레이션은 MuJoCo가 500Hz로 처리하고, low-level whole-body control은 SONIC controller가 담당합니다.

여기서 중요한 설계는 physics와 rendering의 분리입니다. 로봇과 물체의 움직임은 MuJoCo 안에서 mesh 기반으로 계산하고, 로봇 카메라가 보게 될 장면은 3DGS 기반 visual frontend가 photorealistic하게 렌더링해 합성합니다. 영화 촬영에 비유하면, 배우의 연기(동작)는 물리 법칙에 맞게 만들고, 화면은 실사 배경 위에 CG를 합성하는 구조인 셈이죠. 동작은 물리적으로 맞게, 이미지는 실제 카메라와 가깝게 만드는 겁니다. 이 분리 덕분에 한 번 기록한 모션 데이터를 새로운 배경과 물체로 다시 렌더링하는 것도 가능해집니다. 이 장점은 뒤에서 다시 다루겠습니다.

또 하나 재미있는 부분은 procedural motion primitive generator입니다. LEGS는 Walk, Pick, Place 같은 high-level motion을 Align, Approach, Reach, Adapt 같은 여러 primitive로 나누고, 물체 위치나 목표 위치에 따라 자동으로 episode를 생성합니다. 사람이 seed demo를 주거나, 로봇을 직접 teleop하거나, task별 reward를 세밀하게 설계하는 방식이 아니라, simulation 안의 privileged state(로봇·물체의 정확한 pose)를 이용해 검증에 성공한 episode만 골라 저장하는 방식입니다. 각 motion 끝에는 VerifyHold, VerifyPlace 같은 검증 primitive가 붙어서, 실패한 episode는 버려지고 성공한 것만 데이터셋에 들어갑니다.

🔗 이번에도 실험 기체는 유니트리 G1

1편 HumDex, 3편 VisualMimic에 이어 LEGS까지, 실기체 검증에 쓰인 기체는 29-DoF 바디와 Dex3 핸드, 헤드 마운트 RealSense D435를 탑재한 유니트리 G1입니다. 최신 휴머노이드 논문들이 연속으로 선택하며 연구 표준 기체로 자리잡고 있어요. 마로솔에서 도입 구성을 바로 확인할 수 있습니다.

유니트리 G1 자세히 보기 >

LEGS의 두 번째 핵심은 photorealistic rendering 기반 VLA sim-to-real입니다. 시뮬레이션 데이터가 실제 로봇에서 잘 안 통하는 큰 이유 중 하나는 visual gap입니다. mesh-only simulation은 물체 모양은 어느 정도 맞출 수 있지만, 조명, 재질, 바닥 질감, 카메라 색감이 실제 카메라 이미지와 달라지기 쉽습니다. VLA 모델은 이미지 입력에 민감하기 때문에, 이런 작은 시각적 차이가 pick and place 같은 close-range manipulation에서 성능 저하로 이어질 수 있습니다.

같은 순간의 실제 이미지(a), mesh-only SAM3D(b), 색 보정 전(c)·후(d)의 LEGS 렌더링 — 보정된 LEGS가 실제 카메라 이미지에 가장 가깝습니다 — 출처: LEGS 논문

LEGS는 이 gap을 줄이기 위해 3DGS background와 mesh foreground를 합성하고, deployment camera인 RealSense D435에 맞추는 two-stage color calibration을 적용합니다. 첫 번째 단계에서는 SAM3D가 만든 object mesh 색상을 보정하고(SAM3D가 회색으로 잘못 렌더링하던 검은 박스가 다시 검게 복원됩니다), 두 번째 단계에서는 24패치 컬러차트로 구한 3×3 행렬로 전체 composite image를 RealSense 카메라 색 공간에 맞춥니다. 이 설계가 흥미로운 이유는, LEGS가 단순히 "예쁜 시뮬레이터"를 만든 것이 아니기 때문입니다. 목표는 VLA가 실제 로봇 카메라에서 보게 될 이미지 분포와 simulation 이미지를 최대한 가깝게 맞추는 것입니다.

실험 결과도 이 방향을 잘 보여줍니다. LEGS는 유니트리 G1에서 난이도가 점점 올라가는 세 가지 pick-and-place task를 평가했습니다.

• Task 1 (manipulation): 제자리에서 orange를 집어 plate 위에 놓기
• Task 2 (loco-manipulation, easy): table까지 걸어가서 orange를 집고 plate 위에 놓기
• Task 3 (loco-manipulation, hard): orange를 잡고, 회전하고, 낮은 table로 이동해 squat 후 놓기
  
  

세 backbone 모두에서 LEGS (200)가 최고 성능 — 같은 50개 예산에서도 LEGS (50)가 Teleop (50)를 이깁니다 — 출처: LEGS 논문 Table 2 재구성

LEGS의 또 다른 강점은 appearance adaptation입니다. 로봇의 motion command stream을 scene appearance와 분리해 저장하기 때문에, 같은 motion을 새로운 배경, 새로운 물체, 새로운 prompt로 다시 렌더링할 수 있습니다. 논문에서는 새로운 appearance condition을 추가할 때 teleop은 1.5시간 이상의 operator work가 필요하지만, LEGS는 약 0.1 GPU-hour(RTX 4090 1장)로 re-rendering이 가능하다고 보고합니다. 실제로 물체와 장면이 동시에 바뀌는 가장 어려운 shift 조건에서, 재렌더링된 LEGS-AUG 데이터로 학습한 정책은 성공률을 유지한 반면 teleop 데이터로 학습한 정책은 완전히 실패했습니다. 물리적으로 촬영된 teleop 데이터는 애초에 재렌더링이 불가능하니까요.

즉, 새로운 환경이 생겼을 때 다시 사람을 불러 로봇을 조종시키는 것이 아니라, 기존 motion dataset을 새로운 3DGS scene과 object mesh로 다시 렌더링하는 방식으로 데이터를 확장할 수 있는 것입니다. 데이터 수집이 operator-bound 문제에서 compute-bound 문제로 바뀌는 순간, GPU를 병렬로 늘리는 만큼 확장이 가능해집니다.

LEGS가 연구용 휴머노이드의 좋은 출발점이 되는 이유는, 카메라 기반 3D scene capture, 시뮬레이션 환경 구축, VLA fine-tuning, whole-body controller interface, 실기체 배포까지 하나의 연구 커리큘럼으로 확장하기 쉽기 때문입니다. 논문의 요소를 연구실에 실제로 필요한 장비와 인프라로 번역하면 이렇게 정리됩니다.

다만 이런 실험을 실제로 돌리려면 조건이 있습니다. 시뮬레이션에서 학습한 정책이 향할 목적지, 즉 장면을 캡처할 비전 장비, 학습 인프라, 그리고 배포할 실기체와 안전 환경이 연구실에 준비되어 있어야 한다는 것이죠. 마로솔에는 이 출발점을 갖출 수 있는 장비들이 입점되어 있습니다.

📷 Cambrian Vision : 조명 없이 6D Pose를 인식하는 AI 3D 비전

LEGS의 procedural generator는 시뮬레이션 안의 정확한 물체 pose(privileged state)를 활용해 데이터를 만듭니다. 이 파이프라인을 실제 환경으로 확장하려면 현실에서 물체의 6D Pose를 읽어낼 비전이 필요하죠. Cambrian Vision은 패시브 스테레오 방식으로 조명·구조광 없이 0.2초 만에 6D Pose를 인식하고, 3DGS가 어려워하는 반사·투명 재질까지 커버합니다. CAD 데이터만으로 약 1일 만에 학습이 끝나 연구 도입 리드타임도 짧습니다.

Cambrian Vision 자세히 보기 >

🏃 Moretion HZ-Z1 (Pro) : 전신 모션캡처 슈트

LEGS의 핵심 비교 실험은 procedural synthetic 데이터와 사람의 teleop 데이터를 나란히 놓는 것입니다. 이 비교 연구를 재현하거나, SONIC 같은 whole-body controller의 command interface를 연구하려면 사람의 전신 동작을 정밀하게 데이터화하는 장비가 필요합니다. MEMS 관성 센서 융합 기반 무선 풀바디 슈트인 HZ-Z1은 카메라나 고정 인프라 없이 걷기·앉기·손 뻗기 같은 전신 동작을 저지연·고정밀로 캡처해, whole-body 트래킹과 teleop baseline 구축에 활용할 수 있습니다.

Moretion HZ-Z1 자세히 보기 >

ψ0, π0.5, GR00T 계열 VLA를 fine-tuning하는 GPU 인프라나 MuJoCo·Isaac 기반 가상 환경처럼 연구 인프라 전체가 필요한 경우에도 기관의 연구 목적에 맞춰 마로솔이 피지컬 AI 하이퍼 파운드리 구성을 함께 설계해드립니다.

LEGS는 휴머노이드 연구에서 "데이터 수집 비용"이라는 현실적인 문제를 어떻게 해결하면 좋을지를 잘 보여주는 논문입니다. 단순히 VLA를 휴머노이드에 적용했다는 점보다, 실제로 필요한 데이터를 어떻게 더 싸고 빠르게 만들 수 있는지에 초점을 맞췄다는 점이 매우 인상적입니다. 한 문장으로 요약하면 이렇게 되겠네요.

사람이 매번 로봇을 조종하는 대신,
실제 장면을 닮은 synthetic world에서 데이터를 만들고 재사용할 수 있다! 🤖🎬

그리고 한 가지 더. LEGS가 보여줬듯, teleop-free 파이프라인이라 해도 마지막 검증은 결국 실기체에서 이뤄집니다. 시뮬레이션에서 아무리 좋은 데이터를 만들어도, 그 데이터가 향할 '기체 + 비전·데이터 환경 + 안전 환경'이 하나의 파이프라인으로 준비되어야 연구가 완성되죠. G1을 구매하는 것과, G1으로 연구할 수 있는 환경을 구축하는 것은 다르기 때문입니다. 연구·교육기관을 위한 마로솔 G1 Edu 연구 패키지가 정확히 이 구성을 담고 있어요.