휴머노이드에게 필요한 건 더 많은 학습이 아니라, 배운 것을 다시 쓰는 능력입니다.

휴머노이드 로봇이 새로운 작업을 할 때마다 매번 처음부터 배워야 한다면, 연구는 영원히 task 하나짜리 싸움에 머물게 됩니다. 빅웨이브로보틱스 송준봉 CTO가 이 문제에 구조적인 답을 제시한 논문, SkillBlender를 골라 직접 해설합니다.

박스 옮기기, 버튼 누르기, 공 차기, 캐비닛 조작까지 — SkillBlender가 수행하는 전신 loco-manipulation 작업들 (출처: SkillBlender 프로젝트 페이지)

휴머노이드 로봇이 박스를 들고 이동하거나, 버튼을 누르고, 캐비닛을 닫고, 공을 차는 장면을 보면 자연스럽게 이런 질문이 생깁니다.

• 이 동작을 task마다 하나씩 새로 학습해야 할까?
• 걷기와 손 뻗기 같은 기본 능력을 재사용할 수는 없을까?
• reward를 복잡하게 설계하지 않고도 자연스러운 전신 동작을 만들 수 있을까?

다시 말해, 휴머노이드가 매번 처음부터 배우는 것이 아니라, 사람이 기본 운동 능력을 조합하듯 로봇도 이미 배운 skill을 섞어서 쓸 수 있는가가 핵심인 것이죠. 이번에 소개할 SkillBlender: Towards Versatile Humanoid Whole-Body Loco-Manipulation via Skill Blending은 이 질문에 흥미로운 답을 제시하는 논문입니다. 프레임워크와 벤치마크가 모두 오픈소스로 공개되어 있어, 연구실에서 직접 재현하고 확장할 수 있다는 점도 매력적이에요.

최근 휴머노이드 연구는 locomotion, 전신 제어(Whole-Body Control), loco-manipulation 방향으로 빠르게 확장되고 있습니다. HumanPlus, ExBody, OmniH2O 같은 연구는 사람의 움직임을 휴머노이드가 따라 하거나 전신 제어를 안정화하는 데 초점을 맞췄고, HumanoidBench나 BiGym 같은 벤치마크는 휴머노이드 조작 과제를 비교할 수 있는 기반을 만들고 있죠.

하지만 실제 연구를 해보면 또 다른 병목이 나옵니다. 바로 task-specific 리워드 엔지니어링입니다. 로봇이 버튼을 누르게 하는 reward를 만들었다 해도, 박스를 밀게 하려면, 물건을 들고 이동하게 하려면 또다시 새로운 reward를 설계하고 조정해야 합니다. 심지어 reward를 잘못 설계하면 로봇이 목표는 달성하는 것처럼 보이지만 몸이 비정상적으로 기울거나 관절 토크가 과도하게 튀는 리워드 해킹(Reward Hacking)이 발생할 수도 있죠.

SkillBlender가 흥미로운 이유가 여기에 있습니다. 이 논문은 휴머노이드에게 매 작업마다 전신 low-level policy를 처음부터 학습시키는 대신, walking, reaching, squatting, stepping 같은 primitive skill을 먼저 학습해 재사용하자고 제안합니다. 새로운 작업에서는 이 skill들을 조합하는 task별 high-level controller를 학습하는 것이죠. 지난 1편에서 다룬 HumDex가 "데이터 병목"을 풀었다면(👉 1편 콘텐츠 확인하기), SkillBlender는 강화학습(Reinforcement Learning) 관점에서 "리워드 병목"을 푸는 연구인 셈이에요. 피지컬 AI 연구가 모델 경쟁을 넘어 학습 구조 설계 경쟁으로 가고 있다는 신호이기도 합니다.

primitive skill을 개별 학습(좌)한 뒤, high-level controller가 skill을 선택·블렌딩해 복잡한 task를 수행(우)하는 SkillBlender 파이프라인 (출처: SkillBlender 논문)

SkillBlender의 첫 번째 핵심은 pretrain-then-blend 패러다임입니다. 먼저 task와 무관하게 재사용 가능한 primitive skill을 학습합니다. 논문에서는 네 가지 primitive skill을 사용해요.

• Walking : 목표 속도에 맞춰 걷기
• Reaching : 양손 또는 손목을 목표 위치로 뻗기
• Squatting : 목표 root height에 맞춰 앉거나 일어서기
• Stepping : 발을 특정 위치에 디디기

이 skill들은 각각 독립적으로 학습된 low-level policy입니다. 이후 새로운 loco-manipulation task가 주어지면 먼저 task에 필요한 primitive skill의 조합을 정합니다. 논문 실험에서는 이 조합을 task별로 미리 지정했어요. 그다음 high-level controller가 선택된 각 skill의 subgoal과 관절별(per-joint) weight를 출력하고, 최종 action은 여러 primitive skill의 출력을 joint 단위로 블렌딩해서 만들어지죠.

기술적으로 재미있는 부분은, 단순히 "skill을 순서대로 실행한다"가 아니라는 점입니다. 예를 들어 박스를 들고 이동하는 PackageCarry 같은 작업에서는 walking과 reaching이 동시에 필요합니다. 걷는 동작이 중요한 순간에도 팔은 박스를 안정적으로 잡고 있어야 하니까요. 그래서 SkillBlender는 한 번에 하나의 skill만 선택하는 Sequential HRL 방식보다, 여러 skill을 동시에 켜고 관절별 weight로 섞는 구조를 택했습니다. MCP나 ASE처럼 skill composition을 다룬 계층적 강화학습(HRL) 연구는 이전에도 있었지만, SkillBlender는 이를 휴머노이드 전신 loco-manipulation에 맞춰 goal-conditioned primitive skill과 vectorized skill blending으로 결합했다는 점이 다릅니다. 논문은 이 구조가 탐색 공간을 줄이고, 리워드 해킹을 완화하며, 더 자연스러운 움직임을 만든다고 설명합니다.

SkillBlender의 두 번째 기여는 SkillBench라는 벤치마크를 함께 제안했다는 점입니다. SkillBench는 NVIDIA Isaac Gym 기반의 병렬 로봇 시뮬레이션 벤치마크로, 유니트리 계열의 세 가지 embodiment를 지원합니다. 논문 기준으로 19 DoF의 H1, 21 DoF의 G1, 그리고 21 DoF의 H1-2입니다. 즉, 동일한 알고리즘과 평가 기준을 크기와 관절 구조가 서로 다른 H1, G1, H1-2에 각각 적용해 성능을 비교할 수 있는 cross-embodiment 환경을 제공하는 것이죠. 다만 하나의 학습된 policy를 다른 기체에 그대로 적용하는 zero-shot 일반화를 검증한 것은 아니라는 점은 짚어둘 필요가 있습니다.

🔗 SkillBench의 세 기체 중 하나, 유니트리 H1-2

H1의 풀사이즈 폼팩터에 상반신 자유도를 확장한 유니트리의 연구용 휴머노이드입니다. SkillBench가 지원하는 21 DoF embodiment 그대로, 시뮬레이션에서 검증한 policy를 실기체로 확장하는 연구에 활용할 수 있어요. 마로솔에서 도입 구성을 바로 확인할 수 있습니다.

유니트리 H1-2 자세히 보기 >

Task 구성도 흥미롭습니다. Easy에는 FarReach, ButtonPress, CabinetClose가, Medium에는 FootballShoot, BoxPush, PackageLift가, Hard에는 BoxTransfer, PackageCarry처럼 여러 단계와 접촉이 필요한 작업이 포함됩니다.

유니트리 3종 embodiment, 4가지 primitive skill, 8가지 task, 그리고 accuracy·feasibility 평가 지표로 구성된 SkillBench (출처: SkillBlender 논문)

여기서 중요한 점은 평가 기준입니다. 많은 벤치마크가 task return이나 성공 여부만 보지만, SkillBench는 accuracy와 feasibility를 함께 봅니다. Error로 목표 달성 정도를 보고, Tilt, Root Height, Average Joint Torque, Average Joint Power 같은 지표로 움직임의 안정성과 현실성을 평가하죠.

이 부분은 연구적으로 상당히 중요합니다. 로봇이 목표 위치에 도달했다고 해서 좋은 동작은 아닙니다. 몸을 비정상적으로 꺾거나, 관절 토크를 과도하게 쓰거나, 넘어질 듯한 자세로 성공했다면 실제 로봇 적용에서는 현실성이 떨어지니까요. 적어도 사람은 그런 휴머노이드의 동작을 불안해서 두고 보지 못하죠. 그래서 SkillBench는 "성공했는가?"뿐 아니라 "로봇답게, 물리적으로 가능한 방식으로 성공했는가?"를 같이 보려는 겁니다.

실험 결과에서도 이 방향이 드러납니다. PPO나 DreamerV3 같은 vanilla RL은 쉬운 task에서는 어느 정도 성공하지만, Medium/Hard task에서 어려움을 보이고 리워드 해킹이 발생합니다. 반면 SkillBlender는 대부분의 task에서 baseline보다 더 좋은 task accuracy와 motion feasibility를 보여주고 있어요. 특히 BoxTransfer와 PackageCarry 같은 hard task에서 primitive skill blending의 장점이 크게 나타납니다.

SkillBlender가 연구용 휴머노이드 로봇의 좋은 출발점이 되는 이유는, 단순히 한 가지 task를 성공시키는 연구가 아니라 primitive skill library, 계층적 강화학습, cross-embodiment 벤치마크, 리워드 해킹 분석까지 하나의 연구 커리큘럼으로 확장할 수 있기 때문입니다. 그리고 여기서 한 가지 짚을 점이 있어요. SkillBlender 자체는 사람의 레퍼런스 모션 데이터를 필수로 사용하지 않습니다. 다만 모방학습(imitation learning), motion prior, 텔레오퍼레이션을 결합한 후속 연구로 확장한다면, 사람의 전신 움직임을 정밀하게 수집한 데이터가 유용하게 활용될 수 있죠. 마로솔에는 이런 확장 연구의 출발점을 갖출 수 있는 장비들이 입점되어 있습니다.

🏃 Moretion HZ-Z1 (Pro) : 전신 모션캡처 슈트

MEMS 기반 관성 센서 융합 알고리즘과 자체 개발 항자기 간섭 기술을 탑재한 무선 풀바디 모션캡처 슈트입니다. 카메라나 고정 인프라 없이 걷기·앉기·손 뻗기 같은 전신 동작을 저지연·고정밀로 데이터화할 수 있어, 휴머노이드 primitive skill 학습의 레퍼런스 모션 수집과 전신 제어·로봇 훈련 연구에 활용됩니다. Pro 버전은 고정밀 센서와 10시간 배터리, 최대 5인 동시 캡처를 지원해 연구 환경에 최적화되어 있어요.

Moretion HZ-Z1 자세히 보기 >

📡 DexRobot DexCap : 엑소스켈레톤 모션 데이터 수집 시스템

상반신과 손가락 움직임을 통합 추적하는 웨어러블 엑소스켈레톤 장비입니다. 팔·손·허리 합계 65 자유도(DoF)를 밀리미터급 정밀도, 유선 최대 1000Hz로 캡처해 reaching 같은 상반신 skill의 레퍼런스 데이터를 정밀하게 축적할 수 있어요. C++·Python·ROS SDK로 주류 로봇팔·덱스터러스 핸드와 즉시 연동됩니다.

DexCap 자세히 보기 >

다만 이런 실험을 실제로 돌리려면 조건이 하나 있습니다. 시뮬레이션에서 검증한 policy를 실기체로 확장하려면, 벤치마크와 동일한 embodiment의 기체와 데이터·안전 환경이 연구실에 갖춰져 있어야 한다는 것이죠.

SkillBlender는 휴머노이드 loco-manipulation 연구를 조금 더 구조적인 방향으로 안내합니다. 매번 reward를 새로 깎고 task마다 policy를 따로 학습하는 방식은 너무나도 지치는 일이고, 연구 확장성도 떨어집니다. 반대로 walking, reaching, squatting, stepping 같은 기본 skill을 잘 만들어두고 복잡한 task에서 이를 조합하는 방식은 훨씬 다양한 task를 안정적으로 수행할 수 있고, 후속 연구로 확장하기도 좋죠. 한 문장으로 요약하면 이렇게 되겠네요.

휴머노이드가 다양한 일을 하려면,
모든 일을 새로 배울 게 아니라 가진 skill을 잘 섞을 수 있어야 한다! 🤖🎛️

그리고 한 가지 더. SkillBench가 지원하는 세 embodiment — H1, G1, H1-2 — 는 전부 유니트리 기체입니다. 이 벤치마크에서 검증한 연구를 실기체로 확장하려면 기체 하나가 아니라, '기체 + 데이터 수집·관리 + 안전 환경'이 하나의 파이프라인으로 준비되어야 합니다. G1을 구매하는 것과, G1으로 연구할 수 있는 환경을 구축하는 것은 다르기 때문이죠. 연구·교육기관을 위한 마로솔 G1 Edu 연구 패키지가 정확히 이 구성을 담고 있어요.