관절 도구 조작을 애니메이션으로 재해석, 로봇 손재주의 새 지평

도구를 쥐는 것과 도구를 다루는 것 사이

로봇공학에서 손재주는 오랫동안 핵심 난제였다. 단단한 물체를 집어 올리는 것조차 수년간의 연구가 필요했는데, 관절이 달린 도구—가위, 집게, 플라이어처럼 자체적으로 움직이는 부품이 있는 도구—를 사람 손처럼 다루는 일은 차원이 다른 문제다. 물체 자체의 내부 자유도와 접촉이 풍부한 상호작용이 동시에 존재하기 때문이다. 가위를 집으려면 손가락이 손잡이 고리를 통과해야 하고, 집게를 쥘 때는 두 날의 움직임을 손가락으로 제어할 수 있는 위치를 정확히 찾아야 한다. 이러한 복잡성이 이 분야를 상대적으로 미개척 상태로 남겨두었다.

지금까지 대부분의 연구는 단단한 물체 조작에 초점을 맞춰왔다. 기능적 파지(functional grasping)—단순히 집는 것이 아니라 실제로 사용할 수 있도록 쥐는 것—를 학습하기 어렵기 때문이다. UC 버클리와 스탠퍼드 대학 연구팀이 발표한 Mana(Manipulation Animator)는 이 문제에 전혀 다른 시각으로 접근한다. 핵심 아이디어는 간단하면서도 통찰력 있다. 로봇 조작 문제를 컴퓨터 애니메이션 문제로 재해석하는 것이다.

애니메이션에서 빌려온 코어스-투-파인 파이프라인

컴퓨터 애니메이션에서는 캐릭터의 움직임을 키프레임으로 정의한 뒤 그 사이를 채우는 방식으로 자연스러운 동작을 만들어낸다. Mana는 이 발상을 로봇 손재주에 그대로 적용한다. 절차적으로 생성된 파지 키프레임—로봇 손이 도구를 어떻게 쥐어야 하는지의 핵심 자세—을 출발점으로 삼고, 여기서부터 모션 플래닝과 강화학습을 통해 실제 조작 궤적을 만들어낸다.

이 과정은 거칠게서 세밀하게(coarse-to-fine) 진행된다. 먼저 기능적 어포던스—도구의 어느 부분을 어떻게 잡아야 기능을 발휘할 수 있는지—를 지정하는 것으로 시작한다. 연구팀은 이 어포던스 지정 과정을 마우스 몇 번의 클릭으로 압축했다. 도구 하나당 1분 미만의 인간 개입만으로 데이터 생성 파이프라인이 작동한다. 대규모 수동 어노테이션이나 전문 시뮬레이션 환경 구축이 필요했던 기존 방식과 비교하면, 이는 확장성 면에서 근본적인 차이를 만든다.

강화학습 학습은 시뮬레이션 환경에서 이루어진다. 시뮬레이션에서 학습된 정책이 실제 로봇에 적용될 때 성능이 크게 떨어지는 현상—sim-to-real gap—은 로봇공학의 고질적 문제다. Mana는 파지와 인핸드 조작(in-hand manipulation) 모두에서 제로샷 시뮬-투-리얼 전이를 달성했다고 보고한다. 시뮬레이션과 현실 사이의 간극을 별도의 파인튜닝 없이 건너뛴다는 의미다.

네 가지 도구가 보여주는 가능성과 남은 과제

연구팀은 Mana를 서로 다른 크기와 관절 유형을 가진 네 가지 도구에 걸쳐 검증했다. 크기와 관절 구조가 다양한 도구들에서 일관된 성능을 보인다는 것은 단순한 특정 도구 최적화가 아닌 일반화된 접근법임을 시사한다. 이 연구가 흥미로운 이유는 로봇공학과 컴퓨터 그래픽스라는 서로 다른 분야의 방법론적 교차에 있다. 애니메이터들이 수십 년간 다듬어온 키프레임 기반 모션 합성 기술이 물리 로봇의 손재주 학습에 유효한 구조적 선험(structural prior)을 제공한다는 발견은, 앞으로 두 분야의 교류가 더 풍부해질 수 있음을 암시한다.

물론 남은 과제도 있다. 현재 Mana는 미리 지정된 어포던스를 필요로 하며, 완전히 자율적인 도구 이해는 아직 미래의 과제다. 또한 네 가지 도구에서의 검증이 모든 관절 도구로의 일반화를 보장하지는 않는다. 그러나 관절 도구 조작이라는 어려운 문제에 대한 체계적이고 확장 가능한 접근법을 처음으로 제시했다는 점에서, Mana는 이 분야의 중요한 이정표로 평가받을 만하다. 관절 도구를 자유자재로 다루는 로봇 손이 일상 환경에 등장하기까지는 아직 갈 길이 남아 있지만, 애니메이션에서 영감을 얻은 이 프레임워크는 그 거리를 의미 있게 좁혀놓았다.