학습은 잘했는데, 왜 이렇게 느릴까요?

사람이 텔레오퍼레이션으로 10초에 끝낸 작업이면, 그 시연으로 학습한 로봇도 10초가 걸립니다. 모방학습 정책의 실행 속도는 왜 사람의 시연 속도에 묶이고, 정책을 다시 학습하지 않고도 이 한계를 넘을 방법은 없을까요? 빅웨이브로보틱스 송준봉 CTO가 ICLR 2026에 발표된 국내 연구진의 논문 RACE를 골라 직접 해설합니다.

같은 과일 포장 작업을 원래 정책(왼쪽)과 RACE(오른쪽)로 실행한 모습. 정책을 다시 학습하지 않고도 원래 정책 대비 최대 4배까지 빨라집니다. (출처: RACE 프로젝트 페이지)

모방학습으로 로봇을 학습시키면서 가장 많이 겪는 문제가 있습니다. 사람이 텔레오퍼레이션(teleoperation)으로 10초에 수행한 작업이면, 로봇도 10초에 수행한다는 점입니다. Action Chunking과 Diffusion Policy, VLA(Vision-Language-Action) 모델이 정밀도와 일반화 성능을 크게 끌어올렸지만, 모방학습은 기본적으로 demonstration의 행동을 그대로 배우기 때문에 실행 속도 역시 demonstration에 묶이기 쉽습니다. 텔레오퍼레이션 인터페이스가 직관적이지 않을수록 시연 자체가 느려지고, 정밀한 작업일수록 이 경향은 더 심해지죠.

연구실 데모에서는 크게 문제가 되지 않을 수도 있습니다. 하지만 가구 조립, 과일 포장, 조리, 청소처럼 실제 현장에 로봇을 두려는 순간 이야기가 달라집니다. 정밀도와 일반화만큼이나 처리량(throughput)이 로봇의 쓸모를 결정하기 때문입니다.

기존 연구들도 다양한 방법으로 이 문제를 풀어왔습니다. Diffusion Policy의 sampling acceleration이나 distillation은 policy inference를 빠르게 만드는 접근이고, RTC(Real-Time Chunking)나 asynchronous execution은 inference latency를 숨기는 방식입니다. DemoSpeedup은 아예 demonstration을 빠르게 만들어 학습 데이터의 시간 스케일 자체를 바꿉니다. 반면 이번에 소개할 RACE는 재학습 없이, 이미 학습된 policy를 demonstration보다 빠르게 실행하는 접근입니다.

Time Optimal Execution of Action Chunk Policies Beyond Demonstration Speed는 서울대와 KAIST, Vital Robotics 연구진이 ICLR 2026에 발표한 논문입니다. RACE는 여기서 한 단계 더 나아가 "같은 trajectory를 더 짧은 시간에, 하지만 로봇이 실제로 따라갈 수 있는 범위 안에서 실행할 수 있는가?"를 문제로 정의하고, 시뮬레이션에서는 시연 대비 2배, 실제 로봇에서는 원래 정책 대비 최대 4배 빠른 실행을 성공률 손실 없이 보여줍니다.

최근 로봇 모방학습에서는 "얼마나 잘 따라 하느냐"를 넘어 "얼마나 빠르게 실행하느냐"가 중요한 연구 주제가 되고 있습니다. 이를 위해 여러 방향의 가속 방법이 제안되어 왔는데, 한 번 정리해 보면 RACE가 어디에 서 있는지가 분명해집니다.

하지만 간과하기 쉬운 점이 있습니다. 모델이 빨리 추론한다고 해서 로봇이 실제 작업을 빨리 끝내는 것은 아닙니다. 예를 들어 action frequency를 무작정 높이면 로봇이 desired trajectory에서 벗어나고, torque와 velocity 한계를 넘어가면서 오히려 실패율이 올라갈 수 있습니다. 위 표에서 앞의 세 줄이 아무리 발전해도 마지막 줄이 해결되지 않으면 실제 작업 시간은 줄지 않는 셈이죠.

이번에 소개할 RACE(Reachability-aware Accelerated Chunk Execution)는 이 문제를 policy 자체를 다시 설계하는 대신 실행 단계에서 해결합니다. 핵심 제안은 세 가지입니다. 먼저 실제 도달한 state를 학습 target으로 사용하고, 생성된 trajectory의 시간축을 로봇의 물리적 한계 안에서 최적화하며, asynchronous inference에서는 현재 state와 가장 잘 연결되는 action chunk를 test-time에 선택합니다. 어떤 action chunk 정책에도 붙일 수 있는 policy-agnostic, task-agnostic 구조라는 점, 그리고 국내 연구진이 ICLR 2026에 발표한 논문이라는 점도 이번 주제로 고른 이유입니다.

1편에서 다룬 HumDex가 "시연이 느리고 어렵다"는 문제를 데이터 수집 인터페이스에서 풀었다면(👉 1편 콘텐츠 확인하기), RACE는 같은 문제를 그 반대편인 실행 단계에서 풉니다. 시연을 빠르게 만드는 대신, 느리게 시연한 데이터로 학습한 정책을 로봇의 한계까지 빠르게 실행하는 것이죠.

RACE의 세 구성요소. 정책이 desired state를 예측하고(I), TOPP-RA로 시간축을 최적화한 뒤(II), 비동기 추론에서는 곡률이 가장 낮은 chunk를 고릅니다(III). (출처: RACE 논문 Figure 2)

모방학습 정책 가속의 가장 직관적인 방법은 20Hz로 실행하던 policy를 40Hz, 80Hz로 그대로 재생하는 것입니다. 하지만 로봇에 action을 더 빠르게 보내는 것만으로는 로봇이 같은 trajectory를 따른다는 보장이 없습니다. action command는 low-level controller를 거쳐 torque로 변환되는데, controller가 command를 유지하는 시간이 짧아지면 로봇의 transition dynamics 자체가 달라지기 때문이죠. PD 컨트롤러라면 힘이 가해지는 시간이 줄어든 만큼 원래 도달했어야 할 state에 못 미치게 되고, 현재 state와 policy가 기대한 state 사이의 오차가 계속 누적됩니다. action chunk를 open-loop로 실행하는 구조에서는 이 오차가 뒤로 갈수록 커집니다.

논문의 예시가 이해에 도움이 됩니다. 사람이 텔레오퍼레이션 중 부드럽게 "앞으로"라는 명령을 준 데이터를 4배 속도로 그대로 재생하면, 컨트롤러는 관성 때문에 목표를 지나쳐 버립니다. 느린 속도에서는 맞았던 모터 명령이 빠른 속도에서는 더 이상 맞지 않는 것입니다.

RACE는 그래서 action command가 아니라 reached state를 imitation target으로 사용합니다. 데이터가 (s_t, a_t) 형태라면 이를 (s_t, s_t+1)에 가깝게 바꾸어, policy가 "어떤 motor command를 냈는가"보다 "결국 로봇이 어디에 도달했는가"를 학습하도록 하는 것이죠. 이렇게 하면 deployment에서는 텔레오퍼레이션 때와 다른, 더 높은 gain의 low-level controller를 써서 같은 desired state를 더 짧은 시간 안에 추종할 수 있습니다. 텔레오퍼레이션 중에 gain을 높이면 로봇이 지나치게 민감해져 조작하기 어려워지지만, 자율 실행에서는 오히려 이 점이 장점이 됩니다.

실무에서 놓치기 쉬운 부분 하나를 논문이 짚어주는데, 가속 실행에서는 팔은 빨라졌는데 그리퍼가 느려서 물체를 놓치는 일이 생긴다는 점입니다. 그래서 논문은 RACE와 모든 baseline에 동일하게 그리퍼 속도를 높인 상태로 비교했습니다. 실행 가속 연구를 시작한다면 팔의 제어 주기만이 아니라 end-effector의 응답 속도까지 함께 봐야 한다는 뜻이기도 합니다.

🔗 협동로봇 한 대로 시작하는 실행 가속 연구

RACE는 정책의 종류와 상관없이 붙일 수 있는 실행 레이어라, Robomimic 같은 시뮬레이션에서 검증한 뒤 실제 로봇팔로 옮기는 순서로 연구를 설계하기 좋습니다. 카이스트에 도입된 이력이 있는 UFACTORY xArm7은 7축 리던던트 구조에 관절 최대 속도 180°/s, Python·ROS·ROS2 오픈소스 SDK를 제공해 제어 주기와 gain을 직접 다루는 실험에 적합하고, 6축 힘/토크 센서 같은 공식 액세서리로 torque 제약을 고려한 실험까지 확장할 수 있습니다.

UFACTORY xArm7 자세히 보기 >

가로축은 시연 대비 가속 배율, 세로축은 성공률입니다. 단순 fast-forward는 빨라질수록 성공률이 떨어지지만 RACE(붉은 별)는 약 2배 가속에서도 성공률을 지킵니다. 추론 지연이 없는 조건(왼쪽)과 있는 조건(오른쪽) 모두 마찬가지입니다. (출처: RACE 논문 Figure 4)

desired state를 사용하더라도 모든 trajectory를 무조건 빠르게 실행할 수 있는 것은 아닙니다. 로봇에는 joint velocity, acceleration, torque 같은 물리적 한계가 있기 때문입니다. 특히 방향이 크게 바뀌는 구간에서는 빠른 속도로 trajectory를 따라가려 할수록 필요한 torque가 급격히 증가하는 문제가 있습니다. 실제로 위 그래프에서 desired state만 쓰고 시간 최적화는 하지 않은 State Fast-forward(주황 네모)는 Action Fast-forward와 비교해 Pareto curve가 거의 개선되지 않았습니다.

RACE 연구는 이 문제를 Time-Optimal Path Parameterization, 그중에서도 reachability analysis 기반의 TOPP-RA로 해결합니다. 새로운 경로를 만드는 것이 아니라, policy가 생성한 경로 q(s)는 유지하면서 그 경로를 따라가는 시간 t만 최적화한다는 것입니다.

일반적인 로봇 dynamics를 단순화하여 표현하면, 아래와 같은 제약을 만족해야 합니다.

위 수식은 로봇이 낼 수 있는 모터 토크와 관절 속도의 한계 안에서 움직여야 한다는 의미로 이해하면 됩니다.

RACE의 TOPP-RA는 이 제약을 만족하면서 이미 생성된 경로를 얼마나 빠르게 따라갈 수 있는지를 계산합니다. 즉, policy가 만든 경로 q(s)는 그대로 두고, 그 경로를 따라가는 속도 프로파일 s(t)를 구간마다 높이거나 낮추는 방식으로 최적화해 가장 짧은 시간에 경로를 실행할 수 있는 프로파일을 만드는 전략입니다.

논문에서는 이를 위해 경로의 phase 변수 s에 대한 제약을 아래 수식의 형태로 변환하고, controllable set을 backward pass로 계산한 뒤 각 구간에서 가능한 최대 속도 프로파일을 구합니다.

쉽게 말하면 "모든 구간을 2배 빠르게"가 아니라 "빠르게 달릴 수 있는 구간은 최대한 빠르게, 위험한 구간은 자동으로 감속"하는 것입니다. 예를 들어 Pick & Place 작업이라면, 직선으로 이동하는 구간은 가속하고 물체를 핸들링하는 구간에서는 감속하는 식입니다. 수직으로 들어 올리다가 수평으로 옮기는 코너 구간에서 필요한 torque가 모터 한계를 넘으면 protective stop이 걸리는데, TOPP-RA는 이 구간을 미리 알고 거기서만 속도를 줄입니다.

해가 없는 경우도 있습니다. 현재 state가 controllable set 안에 없으면 그 경로를 따라갈 수 있는 admissible control이 존재하지 않는데, 이때 RACE는 가속 없이 원래 제어 주파수로 돌아갔다가 다음 waypoint에서 다시 계획합니다. 실제 하드웨어에서는 마찰이나 노이즈 때문에 토크 한계에 딱 맞춰 계획하면 protective stop이 걸릴 수 있어서, 한계의 90% 정도를 안전 마진으로 두고 계획한다고 논문은 밝히고 있습니다.

왼쪽은 TOPP ablation. RACE는 joint error가 가장 낮고, chunk 뒤쪽으로 갈수록 오차가 쌓이는 fast-forward와 달리 오차가 누적되지 않습니다. 오른쪽은 TTS ablation. test-time search를 빼면 smoothness와 controllability가 떨어지고 throughput이 줄어듭니다. (출처: RACE 논문 Figure 9)

VLA와 diffusion policy에서는 inference latency도 반드시 해결해야 할 문제입니다. 로봇이 현재 action chunk를 실행하는 동안 다음 chunk를 미리 추론하면 로봇이 멈춰 있는 시간은 줄일 수 있지만, 새 chunk가 도착할 때는 이미 로봇이 움직인 뒤입니다. 따라서 policy가 observation으로 예상했던 시작 state와 실제 로봇 state가 달라질 수 있습니다.

가장 단순한 대응은 새 chunk의 앞부분 몇 개를 버리는 것입니다. 그런데 대형 모델의 추론 지연은 매번 달라지기 때문에 이 방식만으로는 두 가지 문제가 남습니다. 추론하는 사이 로봇이 drift해서 새 경로에 올라타는 데 필요한 torque가 한계를 넘는 경우, 그리고 생성 모델 특성상 새 chunk가 지금 실행 중인 경로와 다른 갈래로 튀는 경우입니다. 둘 다 handover 지점에 급격한 방향 전환을 만들고, 그 상태에서는 TOPP 해 자체가 존재하지 않게 됩니다. 논문의 예시로 보면, 추론 지연 동안 로봇이 왼쪽으로 조금 밀려났는데 새 계획은 로봇이 중앙에 있다고 가정하는 상황입니다. 이 계획을 그대로 실행하면 오른쪽으로 홱 꺾는 움직임이 생기죠.

RACE는 이 문제를 TTS(Test-Time Search), 즉 실행 시점에 여러 개의 action chunk 후보를 생성하고 현재 로봇 state와 가장 잘 연결되는 후보를 선택하는 방법으로 처리합니다. 여러 개의 미래 action chunk를 샘플링한 다음, 현재 state에서 이어 붙였을 때 trajectory가 가장 부드럽고 controllable한 후보를 선택합니다. 논문에서는 이를 trajectory curvature로 표현하여

와 같이 path curvature를 평가합니다. 즉, 현재 움직임과 갑자기 방향이 달라지는 trajectory보다 현재 속도와 자연스럽게 연결되는 trajectory를 선택하는 전략입니다.

이 목적함수가 임의로 정한 것이 아니라는 점이 재미있습니다. 경로 곡률이 낮을수록 방향을 바꾸는 데 필요한 torque가 줄고, 그만큼 초기 controllable set이 커져서 TOPP-RA가 해당 trajectory를 실제로 실행할 수 있는 여지가 넓어집니다. 논문은 이를 부록에서 명제로 증명해 두었습니다. MPC와 닮은 구조지만 무작위 샘플링 대신 모방학습 정책 자체를 샘플러로 쓰기 때문에 사람 시연의 자연스러움도 그대로 유지된다는 점이 다릅니다.

논문의 ablation 결과에서도 TTS를 제거하면 smoothness와 controllability가 낮아지고 joint error가 증가하면서 throughput이 떨어집니다. Square 작업에서는 TTS를 뺐을 때 성공률이 0.86에서 0.81로 내려갔고, 추론 지연을 0.2초로 인위적으로 늘린 스트레스 테스트에서도 TTS가 있는 쪽이 같은 시간 안에 더 많은 작업을 끝냈습니다.

RACE의 실험에서는 simulation에서 demonstration 대비 최대 2배 수준의 가속을 유지하면서 성공률은 유사하게 유지함을 보여주었고, real-world 적용에서는 기존 fast-forward baseline보다 높은 execution speed를 유지했습니다. 또한 π0.5를 사용한 Fruit Packaging과 Trash Cleaning에서는 같은 시간 동안 더 많은 작업을 완료해 실제 throughput 향상도 확인했습니다.

결국 우리는 이 논문을 통해 모방학습의 실행 속도가 demonstration 속도에 반드시 묶여 있을 필요는 없다는 것을 알 수 있습니다. 지금까지의 모방학습 가속이 주로 "policy를 얼마나 빨리 계산할 것인가"에 초점을 맞췄다면, RACE는 여기에 "계산된 policy를 로봇이 얼마나 빠르게 실제 물리 세계에서 실행할 것인가"라는 새로운 관점을 더했습니다. 한 문장으로 요약하면 이렇게 되겠네요.

좋은 정책을 만드는 데서 멈추지 않고,
그 정책을 로봇의 물리적 한계까지 빠르게 실행한다! 🤖⏱️

정책을 다시 만들지 않고 뒤에 한 층을 더 얹는 구조라, 이미 ACT나 Diffusion Policy, VLA로 돌아가는 연구실 파이프라인에 붙이기 좋습니다. 구성은 세 가지로 나뉩니다.

• State-Target Dataset: 기존 텔레오퍼레이션 데이터를 reached state 기반으로 재구성
• Time-Optimal Execution Engine: ACT / Diffusion / VLA의 action chunk를 로봇 constraint에 맞춰 자동 retiming
• Async Runtime + Test-Time Search: inference와 execution을 병렬화하고 현재 state에 맞는 chunk 선택

특히 휴머노이드에서는 이를 Whole-Body Controller와 연결해 walking → grasp → manipulation → insertion 구간별로 최적 실행 속도를 계산하는 방향으로 확장할 수 있습니다. 걷는 구간은 빠르게, 삽입 구간은 느리게 가는 속도 프로파일을 사람이 정하는 것이 아니라 로봇의 한계에서 자동으로 계산해내는 것이죠. 논문의 요소를 연구실에 실제로 필요한 것으로 번역하면 이렇게 정리됩니다.

reached state 기반 데이터셋의 출발점은 결국 로봇 state가 시간축과 함께 제대로 기록된 시연 데이터입니다. 휴머노이드에서 이 수집 환경을 어떻게 만드는지는 휴머노이드 데이터 매니저 미들웨어 소개 글에서 다룬 적이 있으니 함께 보시면 좋습니다. 그리고 실행 가속 레이어를 휴머노이드로 확장하려면 정책을 얹을 기체, 데이터를 모을 환경, 그리고 빨라진 로봇을 안전하게 돌릴 환경이 한 번에 갖춰져야 합니다. G1을 구매하는 것과, G1으로 연구할 수 있는 환경을 구축하는 것은 다르기 때문입니다. 연구·교육기관을 위한 마로솔 G1 Edu 연구 패키지가 정확히 이 구성을 담고 있어요.