로봇 손은 왜 아직 드릴을 제대로 못 잡을까요?

사람은 드릴을 잡을 때 엄지, 검지, 나머지 손가락에 각각 다른 일을 시킵니다. 그런데 로봇 파지 연구의 상당수는 아직 "물체의 어디를 잡을까"라는 한 점을 찾는 데 머물러 있죠. 로봇 파지 데이터 없이 사람 손 영상만으로 덱스터러스 핸드(dexterous hand)의 손가락별 어포던스(affordance)를 학습하고, 손이 바뀌어도 재학습 없이 파지에 성공한 논문 FSAG를 빅웨이브로보틱스 송준봉 CTO가 해설합니다.

사람 손 시연에서 손가락별 접촉 위치를 배우고(왼쪽), 이를 3D 형상과 결합해 실제 덱스터러스 핸드의 파지로 옮깁니다(오른쪽). 로봇 파지 데이터는 쓰지 않습니다. (출처: FSAG 논문 Figure 1)

사람이 드릴이나 드라이버를 잡는 모습을 생각해 보면, 단순히 손바닥 전체로 물체를 감싸지 않습니다. 엄지는 한쪽 면을 누르고 검지와 중지는 특정 위치를 잡으며 나머지 손가락으로는 물체를 안정적으로 지지합니다. 같은 물체라도 무엇을 하려는지에 따라 손가락의 위치와 역할이 달라질 수 있습니다.

그런데 로봇 매니퓰레이션에서는 여전히 많은 방법이 물체의 중심점이나 몇 개의 keypoint를 찾아 grasp pose를 만드는 방식에 머물러 있습니다. 이런 표현은 parallel-jaw gripper에서는 충분할 수 있지만, 자유도가 높은 덱스터러스 핸드(dexterous hand), 그러니까 사람 손처럼 여러 손가락을 따로 움직이는 다지 로봇 손에서는 상대적으로 정보가 부족합니다. 논문은 기존 방법들이 물체의 candidate region이나 keypoint를 찾더라도 어떤 손가락이 어디에 접촉해야 하는지, 그리고 각 손가락이 어떤 역할을 해야 하는지까지 표현하지 못하고 있다고 지적합니다.

이번에 소개할 FSAG: Enhancing Human-to-Dexterous-Hand Finger-Specific Affordance Grounding via Diffusion Models는 중국과학원 자동화연구소와 상하이교통대 등 연구진이 2026년 1월 arXiv에 공개한 논문입니다. FSAG는 이 문제를 Finger-Specific Affordance Field(FSAF), 즉 손가락별 어포던스 필드라는 표현으로 풀고 있습니다. 하나의 grasp pose를 직접 예측하는 대신, 물체 표면의 각 위치가 각각의 손가락에 얼마나 적합한지를 고려하고 이를 실제 손의 motion planning으로 연결합니다.

최근 로봇 매니퓰레이션 연구에서는 단순히 물체를 "잡는 것"을 넘어 물체의 기능적인 부분을 이해하고 손가락마다 서로 다른 역할을 수행하도록 만드는 연구가 활발하게 이루어지고 있습니다.

기존의 parallel-jaw gripper는 상대적으로 단순합니다. 물체의 위치와 방향을 결정한 뒤 두 개의 jaw를 닫기만 하면 되기 때문이죠. 하지만 사람 손과 비슷한 높은 자유도의 덱스터러스 핸드에서는 이야기가 달라집니다. 엄지와 검지, 중지, 약지, 소지가 각각 어느 위치에 접촉해야 하는지, 어느 방향으로 접근해야 하는지까지 결정해야 안정적인 grasp가 만들어집니다. 로봇 파지를 표현하는 방식이 어떻게 발전해 왔는지 정리해 보면 FSAG가 어디에 서 있는지 분명해집니다.

FSAG 연구는 문제를 "물체의 어디를 잡을 것인가?"에서 "각 손가락이 어디에 어떻게 접촉해야 하는가?"로 확장하고 있습니다. Stable Diffusion을 통해 추출한 visual-semantic feature를 이용해 물체마다 다섯 손가락 각각이 취해야 할 contact affordance를 예측하고, 이를 depth와 3D geometry에 결합해 실제 덱스터러스 핸드의 grasp motion으로 변환합니다.

수치로 보면 논문이 학습에 쓴 데이터는 13개 생활 물체를 사람이 10번씩 잡은 영상 130개가 전부입니다. 로봇이 직접 잡아본 데이터는 하나도 없고, 학습도 H100 한 장으로 4,000 step이면 끝납니다. 1편에서 다룬 HumDex가 "덱스터러스 핸드는 데이터가 비싸다"는 문제를 수집 장비 쪽에서 풀었다면(👉 1편 콘텐츠 확인하기), FSAG는 로봇 데이터 자체를 우회하는 쪽으로 풉니다. 손이 물체를 이해하는 방식을 사람 영상과 사전학습된 생성 모델에서 빌려오는 것이죠.

FSAG의 전체 흐름. 고정된 Stable Diffusion U-Net에서 feature를 뽑아(1) 다섯 손가락의 접촉 히트맵을 예측하고(2), depth와 결합해 실제 손의 파지 동작으로 만듭니다(3). (출처: FSAG 논문 Figure 2)

FSAG의 핵심 아이디어는 "이 물체를 어디에서 잡을까?"가 아니라 "각 손가락이 물체의 어디에 닿아야 할까?"입니다.

데이터를 만드는 방식부터 이 질문에 맞춰져 있습니다. 사람이 물체를 잡는 영상에서 손 keypoint를 자동으로 검출한 뒤, 물체만 보이는 프레임 하나와 손이 물체에 처음 안정적으로 닿는 프레임 하나를 짝지어 학습 샘플 하나로 씁니다. 앞 프레임이 물체의 형상과 질감을 알려주는 입력이고, 뒤 프레임의 손가락 끝 위치가 정답이 되는 구조죠. 다시 말해 사람의 grasp demo에서 물체를 잡기 직전의 손가락 끝 위치를 추출하고, 각 fingertip 위치를 하나의 Gaussian heatmap으로 표현하는 것입니다. 이를 수식으로 쓰면, 손가락 k의 실제 접촉점이 μ_k라고 할 때

와 같이 표현할 수 있습니다. 이렇게 만들어진 다섯 개의 heatmap을 하나의 5×H×W representation으로 쌓아 엄지부터 소지까지 각각 어디를 접촉해야 하는지 학습합니다. 다섯 손가락이 각자 한 장씩 지도를 갖는 셈입니다.

재미있는 부분은 Stable Diffusion을 이미지를 생성하는 모델로 사용하는 것이 아니라, 이미 학습되어 있는 hand-object interaction의 semantic representation을 feature extractor로 활용한다는 것입니다. 인터넷 규모의 이미지로 학습된 diffusion 모델은 물체의 부품, 재질, 기능적 형상을 이미 어느 정도 알고 있고, 사람이 물체를 쥔 장면도 그럴듯하게 그려냅니다. FSAG는 고정된 U-Net의 여러 timestep과 여러 해상도에서 나오는 중간 활성을 모아 하나의 hyperfeature로 만들고, 그 위에 가벼운 디코더만 얹어 손가락별 히트맵을 회귀합니다. 학습되는 것은 디코더뿐이에요.

연구에서는 실험을 통해 Stable Diffusion의 적합성을 명확하게 보여주었습니다. ReKep, CMKA 같은 keypoint 방식에 비해 Stable Diffusion 기반 FSAG는 손가락별 contact가 더 선명하게 분리되고, 망치 손잡이처럼 단순히 시각적으로 눈에 띄는 부분만이 아니라 실제로 잡기에 적합한 functional part를 찾아내는 결과를 보여줍니다. 같은 구조에서 feature extractor만 DINO나 CLIP으로 바꿔 보면 차이가 더 분명해집니다.

손가락별 어포던스 예측 결과 비교. ReKep과 CMKA는 보라색 단일 히트맵으로 뭉개지지만, FSAG(맨 아래 줄)는 다섯 손가락이 다섯 색으로 분리되고 처음 보는 렌치·망치에서도 손잡이 쪽을 잡습니다. 이 2D 접촉점이 3D 결합의 출발점입니다. (출처: FSAG 논문 Figure 5)

손가락별 contact point를 찾았다고 해서 바로 로봇이 잡을 수 있는 것은 아닙니다. 실제 물체의 표면이 어떤 방향을 향하고 있는지, 테이블과 얼마나 가까운지, 로봇 손의 관절 한계 안에서 접근할 수 있는지도 고려해야 합니다.

FSAG는 1차적으로 물체를 segmentation한 뒤 FoundationStereo를 이용해 depth를 얻고, 이를 다시 3D point cloud로 변환합니다. 이후 각 finger affordance의 peak를 3D 공간으로 back-project하고, 주변 surface를 fitting하여 local surface normal을 계산합니다. 이 normal 값은 각 손가락의 Approach Vector를 결정하는 데 사용됩니다.

결국 grasp를 단순히

와 같은 하나의 pose 값으로 보는 것이 아니라,

처럼 각 손가락의 contact 위치 c_k와 접근 방향 n_k를 함께 갖는 구조로 바꾸는 것입니다. 각 손가락은 이 접근 방향을 따라 approach, closure, hold 세 단계의 waypoint를 갖게 되고, 마지막 hold 단계에서는 살짝 눌러 주는 preload가 들어갑니다.

이후 damped least-squares 기반 QP controller가 이 waypoint를 추종하면서 joint limit과 collision constraint를 동시에 고려합니다. 논문에서는 특히 바나나 또는 드라이버처럼 테이블에 거의 붙어 있는 물체에서도 손가락이 테이블과 충돌하지 않도록 geometry-aligned approach를 구성하는 것이 중요한 요소라고 설명합니다. 실제로 비교 실험에서 keypoint 기반 방법은 미리 정해둔 접근 동작으로 들어가다가 손가락이 테이블에 부딪혀 낮은 물체를 거의 잡지 못했습니다.

FSAG에서 또 하나 눈여겨볼 부분은 Cross-Embodiment Generalization입니다.

일반적으로 덱스터러스 핸드를 이용한 매니퓰레이션 시스템을 만들면, 손의 자유도와 joint 구조가 달라질 때마다 데이터를 다시 수집하거나 정책을 다시 학습해야 하는 문제가 발생합니다. 연구실에서 손을 한 번 바꾸면 그동안 쌓은 것을 상당 부분 다시 해야 하는 셈이죠.

FSAG는 perception 단계에서 특정 hand의 joint configuration을 직접 학습하는 대신, 먼저 object-centric finger affordance를 만들고 마지막 단계에서 이를 각 hand의 kinematics에 맞춰 리타게팅합니다. 파지 생성에 학습된 policy를 일부러 쓰지 않고 motion planning과 최적화만으로 구성한 것도 같은 이유입니다. 손이 바뀌어도 모델을 고치거나 다시 학습할 필요가 없도록 말이죠.

실험에서는 DexHand021 (12+5 DOF)에서 학습한 파이프라인을 Linker Hand L20 (16+5 DOF)에 적용했습니다. 손의 구조가 다르지만 perception과 affordance inference는 그대로 유지하고 fingertip target만 kinematic retargeting하여 실행한 뒤 결과를 비교했습니다. 아래 표는 각 디바이스로 수행한 grasp 성공률을 물체 기준으로 정리한 것입니다.

단위 %, 물체당 20회 시도. (출처: FSAG 논문 Table 3)

이러한 object-centric representation은 덱스터러스 핸드의 형태가 바뀌더라도 grasp의 의미 자체를 재사용할 수 있다는 가능성을 보여줍니다. 논문의 표현을 빌리면, 손가락별 어포던스와 geometry에 맞춘 waypoint 구성이 grasp의 의미를 손의 형태에서 떼어낸 것입니다.

🔗 논문의 실험 기체, DexHand021

FSAG의 메인 실험에 쓰인 손이 바로 DexRobot의 DexHand021입니다. 케이블(텐던) 구동 방식의 5지 로봇 손으로 12개 능동 관절과 7개 수동 관절, 19 자유도를 1kg 무게에 담았고, 위치·다축 힘·근접 센서를 포함한 23개 센서로 0.1N 수준의 접촉을 감지합니다. Python·ROS SDK와 URDF가 공개되어 있어 이 논문처럼 fingertip target을 리타게팅하는 연구를 그대로 재현해 볼 수 있는 구성이에요. 마로솔에서는 양산형 MP 모델을 취급하고 있습니다.

DexHand021 MP 자세히 보기 >

FSAG 논문의 핵심은 덱스터러스 매니퓰레이션에서 grasp를 단순한 하나의 위치나 방향으로 표현하기 어렵다는 점입니다. 사람은 물체를 잡을 때 엄지와 검지, 중지 등이 서로 다른 위치에서 접촉하고 각각 다른 역할을 수행하지만, 로봇은 그렇지 못한데, FSAG는 이러한 손가락별 접촉 정보를 어포던스로 표현하고, 이를 실제 덱스터러스 핸드의 움직임으로 연결합니다.

또한 하나의 손에만 맞춘 방법이 아니라 서로 다른 구조의 덱스터러스 핸드에서도 동일한 방식으로 적용할 수 있다는 점에서, 사람의 조작 방식을 로봇 손으로 전달하기 위한 효율적인 방식을 제안합니다.

결국 덱스터러스 매니퓰레이션에서 풀어야 할 중요한 문제는, 단순히 "물체를 잡을 수 있는가?"가 아니라 "각 손가락이 어떤 위치에서 어떤 역할을 해야 하는가?"를 로봇이 이해하고 실행할 수 있는가에 있습니다. FSAG는 이 문제를 finger-specific affordance라는 관점에서 풀어냈다는 점에서 주목할 만한 연구입니다. 한 줄로 정리하면 이렇습니다.

로봇이 사람처럼 물체를 다루려면 손을 움직이는 것을 넘어
각 손가락이 어떤 역할을 해야 하는지 이해해야 한다.
FSAG는 그 정보를 어포던스라는 형태로 건네주는 방법을 제시한다. ✋🤖

물론 남은 과제도 있습니다. 논문 스스로 밝히듯 드라이버처럼 가늘고 긴 물체에서는 접촉 위치를 맞게 찾아도 손가락을 오므리는 마지막 단계가 open-loop이라 물체가 돌아가거나 미끄러지는 실패가 남아 있습니다. 저자들은 접촉력 추정과 slip detection을 넣어 파지를 closed-loop으로 닫는 것을 다음 과제로 꼽았는데, 손끝에서 힘을 읽을 수 있는 핸드가 필요한 지점이기도 합니다.

• Finger-Specific Teleoperation Dataset: 사람의 손가락별 contact와 hand pose를 동시에 수집
• Dexterous Hand Affordance Model: 물체별 finger contact와 approach 방향을 예측하는 모델 구축
• VLA + Dexterous Hand: VLA가 task와 object를 이해하고, finger-specific affordance가 실제 hand motion으로 변환하는 구조
• Whole-Body + Dexterous Hand: 휴머노이드의 arm motion과 hand manipulation을 하나의 pipeline으로 연결

잡을 위치와 방향을 알았다면 그다음은 그 동작을 얼마나 빠르게 실행하느냐의 문제로 이어집니다. 5편에서 다룬 RACE가 그 지점을 다루고 있으니 함께 읽으면 파이프라인의 앞뒤가 이어집니다(👉 5편 콘텐츠 확인하기). 논문의 요소를 연구실에 실제로 필요한 것으로 옮겨 보면 이렇게 정리됩니다.

위 후속 주제 가운데 closed-loop grasp control은 논문이 남긴 한계와 바로 맞닿아 있습니다. 접촉 위치를 맞게 찾고도 미끄러지는 문제를 풀려면 손 자체가 접촉을 느껴야 하니까요. 같은 DexHand021 계열 안에서 촉각 센싱을 손 전체로 넓힌 모델이 있어 이어서 소개합니다.

🔗 접촉을 손 전체로 느끼는 DexHand021 Pro

손목과 손이 하나로 통합된 22 자유도(능동 18) 텐던 구동 핸드입니다. 손끝과 손가락 패드, 손바닥에 걸쳐 400개 이상의 촉각 유닛과 20개 관절 센서가 들어가 있어, 손가락별 어포던스로 정한 접촉점에 실제로 힘이 얼마나 걸리는지, 물체가 미끄러지고 있는지를 읽는 closed-loop 파지 연구에 맞습니다. 엣지 AI 연산 장치가 내장되어 촉각 피드백을 온보드에서 처리할 수 있고, 손목 관절이 더해져 approach 방향을 잡을 자유도도 넓어집니다.

DexHand021 Pro 자세히 보기 >

✋ 연구 목적별 DexHand021 라인업

DexHand021 S (3지, 8 자유도, 0.6kg)
5지 기능의 80%를 합리적인 비용으로. 손끝 3D 힘 센싱과 팜 카메라가 있어 어포던스 기반 파지를 작은 규모로 먼저 검증하기에 적합합니다.

DexHand021 MP (5지, 19 자유도, 1kg)
논문의 실험 기체. 산업용 양산 모델로 사람 손 형태의 파지·조작 연구 기본형입니다.

DexHand021 Pro (손목 일체형 5지, 22 자유도)
400개 이상 촉각 유닛. 접촉력·슬립 기반 closed-loop 파지와 촉각 데이터셋 구축에 맞습니다.

CTO 제안의 마지막 항목인 Whole-Body + Dexterous Hand까지 가려면 손만으로는 부족합니다. 손을 달 기체와 데이터를 모을 환경, 안전 환경이 함께 있어야 팔의 이동과 손의 파지를 하나의 파이프라인으로 묶는 연구가 가능해집니다. 연구·교육기관을 위한 마로솔 G1 Edu 연구 패키지는 이 구성을 한 번에 갖추는 방법입니다.