지난 6월 27일, 성수CF타워에서 열린 ‘유니티와 함께하는 로봇 산업의 혁신과 도약’ 행사에서, 엑스와이지는 실시간 원격 교시 및 모방학습 플랫폼인 ‘TwinX(트윈엑스)’를 처음으로 소개했습니다. 로봇이 사람처럼 배우는 방식, 그리고 그 학습이 실제 운영 환경에서 어떻게 이뤄질 수 있는지를 보여주었죠.

“로봇은 아직 학습 중입니다.” 엑스와이지 로봇지능화연구소 조인성 소장은 TwinX를 이렇게 표현했는데요. 엑스와이지가 로봇에게 기대하는 ‘학습’이 단순한 동작 복제를 넘어, 사람처럼 맥락을 이해하고 스스로 판단할 수 있는 수준임을 의미해요.

로봇이 ‘보는 것만으로 배우는’ 순간

TwinX는 실제 로봇의 행동을 가상 공간에 실시간으로 복제하고, 그 데이터를 다시 학습용으로 되돌리는 디지털 트윈 기반의 학습 환경입니다. ‘디지털 트윈’이란 현실의 사물이나 시스템을 가상으로 그대로 구현해 상태를 관찰하거나 시뮬레이션하는 기술인데요, TwinX는 여기에 실시간 조작 기능과 학습 알고리즘을 더해, 조작-시각화-학습이 한 번에 이뤄지도록 구성했습니다.

조인성 소장은 이렇게 설명했어요. “기존에는 한 동작을 가르치기 위해 사람이 수백 번 교시를 반복해야 했습니다. 하지만 TwinX에서는 매장에서 일어나는 행동 자체가 곧 학습 데이터가 됩니다.”

하루 동안 만든 커피가, 하나의 데이터셋이 된다

TwinX는 현재 엑스와이지의 바리스타 로봇 바리스브루(Barisbrew)에 실증 적용되어 있습니다. 이 로봇은 무인 로봇카페 ‘라운지엑스 24h’ 매장과 다양한 고객시설에서 고객을 응대하고 있는데요. 운영자는 TwinX 인터페이스를 통해 로봇 팔을 원격 조작할 수 있고, 그 움직임은 실시간으로 가상 환경에 반영됩니다.

이때의 조작 기록은 단순한 로그가 아닙니다. 팔의 위치와 속도, 동작 간 시간 간격, 성공과 실패 기록 등 고차원 데이터가 모두 저장되고, 이 데이터를 기반으로 TwinX는 로봇이 ‘보는 것만으로 배우는’ 모방학습(imitation learning)을 가능하게 합니다.

특히 이번 적용은 기술 검증을 넘어, 상용 매장에서 실시간 데이터 기반으로 학습과 제어가 이뤄진 사례라는 점에서 의미가 큽니다. 실제 고객이 머무는 산업적·상업적 가능성을 함께 증명한 시도라고 볼 수 있습니다.

※유니티 기반 TwinX 구현 영상

TwinX 안에서는 눈과 목소리, 뇌가 함께 학습한다

TwinX는 엑스와이지가 자체 개발한 여러 지능화 기술을 한 환경 안에 통합해 운영합니다. 각 기술은 마치 로봇의 감각 기관처럼 작동하는데요, 함께 연동되며 더 정교한 학습을 만들어냅니다.

•    VisionX는 로봇의 ‘눈’ 역할을 합니다. 실제 영상과 가상 장면을 동시에 바라보며 무엇을 인식하고 어떻게 반응할지 판단합니다.

•    VoiceX는 ‘입과 귀’입니다. 음성 명령을 이해하고 응답하며, 고객과의 상호작용에서 상황을 인식하도록 개발되고 있습니다.

•    BrainX는 축적된 행동 데이터를 바탕으로 스스로 판단을 내리는 ‘두뇌’에 해당하죠. 다음 행동을 결정할 수 있는 인지 구조를 학습하는 역할을 합니다.

엑스와이지는 이처럼 개별 기술로 발전시켜온 모듈들을 처음으로 하나의 상용 환경에 통합 적용했고, TwinX는 그 결과물이라 할 수 있습니다.

다음은 어디일까? TwinX의 확장 가능성

TwinX는 현재 향후 청소로봇, 다층 배송로봇, 양팔 조작형 로봇, 휴머노이드 등 다양한 로봇 폼팩터에도 적용될 수 있도록 설계되었습니다. 조작 방식이 다르고 요구되는 인지 능력이 달라도, TwinX는 로봇에게 데이터를 주고 학습하고 다시 적용하는 일관된 학습 구조를 제공합니다.

엑스와이지는 TwinX를 통해 기계적인 동작 학습을 넘어서, 상황에 따라 다르게 반응하고 맥락을 고려하는 로봇을 만드는 것을 목표로 하고 있는데요. 이러한 방향은 최근 주목받고 있는 VLA(Visual–Language–Action) 기반 학습 모델과도 맞닿아 있습니다. 로봇이 사람의 행동을 시각적으로 관찰하고, 언어를 통해 의도를 이해한 뒤, 상황에 맞게 행동으로 응답하는 흐름이죠. TwinX는 그 흐름을 실험하고 검증할 수 있는 무대이기도 합니다.

엑스와이지는 현재 TwinX의 성능을 고도화하기 위해 로봇-사용자 상호작용 데이터를 수집하는 자체 플랫폼과 AI 학습 인프라를 함께 운영 중입니다. 이 데이터는 정서 기반의 인터랙션 모델 개발로 이어질 예정이며, 장기적으로는 공감하는 로봇을 만드는 기반이 될 것입니다.

“결국 사람과 로봇이 어떻게 공존할 수 있을지, 그 질문에 대한 기술적 해답이 TwinX라고 생각합니다.”