[MediaPipe를 활용한 제스처 인식 기반 자연 사용자 인터페이스(NUI) 시스템 제안, 한국자동차공학회, 춘계학술대회 논문집 2025, 이동운, 황석영, 조해인, 박효상, 박기철]   

Reviewed by 이동운 석사연구원

본 연구는 기존 차량 내 그래픽 사용자 인터페이스(GUI) 기반 인포테인먼트 시스템의 한계를 극복하기 위해, 제스처 인식을 활용한 자연 사용자 인터페이스(NUI) 시스템을 제안하고 초기 구현 가능성을 검증한 연구이다. GUI 방식은 조작 편의성과 사용자 경험 향상에 기여해왔지만, 평면적 화면과 복잡한 입력 장치의 의존성으로 인해 운전 상황에서 직관적이지 못하고 높은 인지 부담을 요구하는 한계가 있었다. 이에 따라 연구진은 시각 기반 제스처 인식을 중심으로 하는 NUI 시스템을 설계하여, 사용자가 별도의 추가 장치 없이 직관적이고 몰입감 있는 조작 경험을 할 수 있는 방안을 모색하였다. 특히 MediaPipe를 활용한 손동작 인식 기술을 적용하여 실시간 제스처 추적을 가능하게 하고, 이를 차량 내 특정 기능 제어와 연결하는 방식을 구현하였다.

연구의 이론적 배경에서는 GUI와 NUI의 차이를 비교하고, NUI가 직관적 상호작용을 기반으로 AR·VR 환경, 차량 내 UX 설계 등 다양한 분야에서 연구되어 왔음을 검토하였다. 기존 연구들은 제스처 기반 입력이 직관성과 편리성을 제공한다는 점을 강조했지만, 동시에 피드백 부족, 인식 오류, 기능 확장성의 제약과 같은 한계도 지적되었다. 따라서 본 연구는 MediaPipe를 활용해 손가락 관절 위치와 움직임을 정밀하게 인식하고, 이를 차량 내 명령 입력(예: On/Off, Pinch and Drag, Touch 등)으로 연결하여 이러한 한계를 완화하는 방식을 채택하였다. 시스템 설계는 하드웨어와 소프트웨어로 나뉘며, 하드웨어는 PC, 웹캠, Dynamixel 모터, 차량 편의 장치, 통신 장치 등으로 구성되고, 소프트웨어는 카메라 입력 데이터를 기반으로 손 제스처를 인식해 모터를 제어하는 구조로 설계되었다.

프로토타입 설계 단계에서는 차량 내에서 운전자가 손쉽게 접근할 수 있는 센터페시아와 공조 장치를 대상으로 적용 가능성을 검토하였다. 기존 NUI 시스템의 한계로 지적된 입력 오류와 직관성 부족 문제를 해결하기 위해, 평가 시퀀스를 설계하여 명령 초기화, 명령 입력, 명령 실행, 피드백 제공 및 종료의 과정을 정의하였다. 또한 MediaPipe 기반 제스처 인식을 통해 손가락 끝 좌표를 계산하고 이를 모터 제어 명령으로 변환하는 과정을 구현하였다. 연구진은 3D 프린트를 활용해 프로토타입 구조물을 제작했으며, 모터 구동을 통해 실제 차량 내 버튼·공조 장치를 제어할 수 있음을 입증하였다. 이를 통해 제안된 NUI 시스템이 운전자의 물리적 조작 부담을 줄이고, 상황 인식 기반 인터랙션을 실현할 수 있음을 확인하였다.

결론적으로 본 연구는 MediaPipe를 기반으로 한 제스처 인식 기술이 차량 내 인터페이스 시스템의 직관성과 몰입감을 크게 향상시킬 수 있음을 보여주었다. 기존 GUI 방식의 한계를 보완하고, 사용자의 자연스러운 제스처를 통한 조작을 가능하게 하여, 운전 중 주의 분산을 최소화하면서도 다양한 기능 제어가 가능하다는 점에서 의미가 크다. 특히 Dynamixel 모터와 연계된 실험을 통해 제안된 시스템이 실제 차량 환경에서도 적용 가능함을 검증하였으며, 이는 향후 사용자 중심 인터페이스 설계, 차량 내 다기능 시스템 통합, 몰입형 사용자 경험 강화 등의 연구에 기초자료로 활용될 수 있다. 더 나아가 제스처 인식 정확도 향상, 다양한 사용 환경에서의 안정성 확보, 피드백 제공 장치의 고도화 등이 후속 연구 과제로 제시되며, 본 연구는 차량 인터페이스의 새로운 가능성을 제시하는 실질적 기여를 하고 있다.

[학회 후기]

한국자동차공학회에 처음 참가하게 된 저는, 제주도에 도착했을 때 기대감보다는 긴장감이 더 컸습니다. 이전부터 “다른 디자인 관련 학회에 비해 분위기가 비교적 보수적이고 딱딱하며, 발표자들도 정장을 갖춰 입는다”는 이야기를 들어서인지, 공학 중심 학회 특유의 무게감을 실감할 수 있었습니다. 게다가 제게는 첫 학술대회 발표였기에 부담이 더욱 커졌던 것 같습니다. 제가 참여한 발표 세션은 ‘전기전자시스템/인포테인먼트’ 부문이었는데, 사전에 같은 부문 발표들을 검토해 보니 전문 기술적 내용이 주를 이루어서, 과연 우리 연구 주제가 이 무대에 잘 어울릴지 걱정도 되었습니다. 하지만 막상 발표 후에는 여러 석·박사 연구원분들과 현장에 계신 분들로부터 다양한 피드백을 받을 수 있었고, 그들의 조언과 격려 덕분에 긴장을 조금 덜 수 있었습니다. 이번 학술대회에서 개인적으로 가장 아쉬웠던 점은 심사위원님들의 질문에 완벽히 대비하지 못했다는 부분입니다. 발표를 준비할 때, 예상 가능한 질의응답 시나리오를 더욱 체계적으로 준비했어야 했는데, 현장에서 즉각적으로 대응하기가 쉽지 않았습니다. 다음 기회에는 이러한 질문 대응까지 포함해 한층 더 철저히 준비하여, 긴급한 상황에서도 당황하지 않고 침착하게 소통할 수 있는 발표자로 발전하고 싶습니다.

[ 발표 후기 ] 

주제: MediaPipe를 활용한 제스처 인식 기반 자연 사용자 인터페이스(NUI) 시스템 제안

본 연구는 기존 GUI가 지닌 한계를 넘어, 손 제스처를 활용한 **자연 사용자 인터페이스(NUI)**를 제안하고자 시작되었습니다. 손 인식 기술로 알려진 MediaPipe를 활용해, “Pinch and Drag” 같은 직관적인 제스처를 통해 차량 내부의 편의장치를 실시간 제어할 수 있는 프로토타입을 설계·구현하였습니다. 이를 위해 Dynamixel 모터를 연동해 피지컬한 동작도 시연하였으며, 향후 차량 인포테인먼트 시스템 등 다양한 환경에서 사용자 경험을 강화할 수 있는 가능성을 모색하였습니다.

Q1. 프로토타입을 차량 선루프나 공조 장치 등에 적용하셨다고 들었습니다. 혹시 다른 방향성이나 적용 가능성도 고려해 보신 적이 있나요?

A1. 네, 현재는 피지컬 움직임이 명확하게 드러나는 선루프와 공조 장치를 우선적으로 택했지만, 앞으로는 더 다양한 물리적 인터랙션을 요구하는 장치로 확장할 수 있을 것으로 봅니다. 차량 내 다른 편의장치나 실내 부품 등, 동작 범위가 크고 사용자에게 직접적인 피드백을 제공하는 영역을 우선순위로 검토 중입니다.

Q2. MediaPipe로 제스처 인식을 하시는데, 주로 2D(x, y) 좌표를 사용하는 걸로 알고 있습니다. 3차원 인식(z축)을 고려해 본 적도 있으신가요?

A2. 현재 시스템은 2D 웹캠 데이터(x, y 좌표)만으로 손가락 관절 위치를 인식합니다. 하지만 3D 제스처 인식으로 확장할 계획도 세워두었는데, z축 정보를 추가로 파악하면 슬라이드·푸시 동작 등 깊이 방향에 대한 더욱 세밀한 인터랙션이 가능해집니다. 이를 통해 사용자의 움직임을 풍부하게 해석하고, 시스템의 반응성을 높일 수 있을 것으로 기대합니다.

Q3. 제스처 인터페이스는 직관적이지만, 잘못된 인식이나 오작동 우려가 큰 편입니다. 이 부분에 대한 보완 방안이 있을까요?

A3. 제스처 기반 인터페이스는 몰입도가 크지만, 의도치 않은 동작을 유발할 위험도 있습니다. 이를 보완하기 위해, 특정 제스처를 명확한 의도가 드러나는 동작으로 한정하였고, 추후에는 다중 센서(예: 음성, 시선 추적 등)와 결합해 오작동을 줄이는 멀티모달 인터페이스로 확장할 계획입니다. 사용자가 의도한 동작만 인식되도록 설계하여, 오작동 위험을 최소화하려 합니다.

[ 청취 후기 ]

주제: Diffusion 모델 기반의 모빌리티 3D 내장 디자인 자동화 가능성 탐색

이번 학술대회에서 발표된 “Diffusion 모델 기반의 모빌리티 3D 내장 디자인 자동화 가능성 탐색” 연구는 생성형 AI와 3D 변환 기술을 접목해 미래 자동차 내장 디자인 프로세스의 혁신적인 가능성을 제시했다는 점에서 매우 인상 깊었습니다. 특히 발표에서는 2D-3D 변환 과정을 핵심 축으로 삼아 최신 AI 기법들을 비교·분석하였고, 그중에서도 확산 확률 모델(Diffusion Model)의 성능적 특성과 한계점을 구체적으로 짚어 주었습니다. 단순히 기술적 성능 비교에 머무르지 않고, 실제 디자인 프로세스와 어떤 접점에서 만나 활용될 수 있는지를 실질적으로 보여준 점이 흥미로웠습니다. 발표를 들으며 “반복적 아이디어 발산과 시각화 단계”를 AI가 보조할 수 있다는 가능성이 매우 현실적으로 다가왔습니다. 기존에는 디자이너가 많은 시간을 투자해야 했던 초기 컨셉 발상 및 다양한 시각적 대안 제시 과정이, 생성형 AI의 도움으로 효율화될 수 있음을 확인할 수 있었기 때문입니다.

또한 연구에서는 Diffusion 기반 모델과 다른 생성형 기법들을 비교하며, 모델별 학습 데이터의 특성 차이와 결과물의 퀄리티 편차, 그리고 해상도·구조적 정확성 등에서의 장단점을 심도 있게 분석하였습니다. 예컨대 특정 모델은 디테일한 텍스처 표현에는 강점을 보였지만, 복잡한 3차원 공간 구조를 안정적으로 구현하는 데는 한계가 있었고, 반대로 또 다른 모델은 기하학적 정합성은 우수했으나 디자인적 다양성에서는 부족한 모습을 보였습니다. 이러한 구체적인 비교를 통해, 단일 모델의 성능에 의존하기보다는 디자인 맥락에 따라 모델을 선택하거나 하이브리드 접근법을 활용하는 것이 필요하다는 점이 강조되었습니다. 더 나아가 발표에서는 CAD 기반 후처리 및 엔지니어링 검증 단계와의 연계를 통한 확장 연구의 가능성도 제기되었습니다. 단순히 시각적 결과물 생성에 그치지 않고, 실제 제조 및 설계 단계로 이어질 수 있는 파이프라인 구축은 디자인공학, 인공지능, HCI가 교차하는 학제적 융합 연구로 이어질 수 있다는 점에서 큰 의미가 있었습니다.

이번 학술대회를 통해 느낀 점은, 자동차 산업의 미래가 단순히 기계적 성능 향상이나 전동화·자율주행 기술의 발전에만 국한되지 않고, 디자인·사용자 경험·AI 기반 자동화라는 새로운 차원으로 확장되고 있다는 사실이었습니다. 예를 들어, MediaPipe를 활용한 제스처 인식 기반 차량 NUI 연구는 인포테인먼트와 자율주행 환경에서 직관적인 사용자 인터페이스를 구현하는 시도로, 기술과 디자인의 접점을 잘 보여주었습니다. 한편 Diffusion 모델을 통한 3D 내장 디자인 자동화 연구는 미래 모빌리티 디자인 전반에서 인간의 창의성과 인공지능의 계산 능력이 결합할 수 있는 지점을 탐색하는 의미 있는 사례였습니다. 두 연구 모두 공통적으로 사용자 경험(HCI)을 최우선 가치로 삼고 있다는 점이 인상적이었습니다. 이는 단순히 기술적 실험에 그치는 것이 아니라, 실제 사용자가 어떤 경험을 하게 될지, 그리고 그 경험이 자동차라는 복합적 공간 안에서 어떻게 최적화될 수 있을지를 고민하는 연구라는 점에서 큰 울림을 주었습니다.

앞으로 우리 연구실 역시 이러한 학제 간 접근을 적극적으로 이어가고자 합니다. 생성형 AI, 3D 디자인 자동화, 제스처 인식 기반 인터페이스 등은 서로 분리된 영역이 아니라, 사용자 중심의 모빌리티 경험을 재정의하기 위한 통합적 연구 주제로 다루어져야 한다고 생각합니다. 디자이너와 엔지니어, 그리고 인공지능 연구자가 협력하여 새로운 도구와 워크플로우를 개발하고, 이를 실제 차량 환경에 적용함으로써, 보다 직관적이고 효율적이며 창의적인 HCI 및 디자인 솔루션을 제시하는 것이 목표입니다. 이번 학술대회에서 얻은 인사이트를 바탕으로, 반복적인 디자인 아이디어 발산·시각화 단계에서 생성형 AI를 적극 활용하고, CAD·엔지니어링 후처리 단계와 연동해 실제 산업에 적용 가능한 통합적 파이프라인을 구축하는 방향으로 연구를 확장해 나갈 계획입니다. 이를 통해 미래 모빌리티 디자인에서 사용자 경험을 혁신하고, 나아가 자동차 산업 전반의 패러다임 전환에 기여할 수 있으리라 기대합니다.