컴퓨터공학부 김정현, 10월개 최‘IEEE ISMAR 2025'에서 발표협업XR 환경에서 명확한 객체 지시 위한 최적 멀티모달 전략 제시
  • ▲ 멀티모달 객체지시 실험환경 시각화ⓒ
    ▲ 멀티모달 객체지시 실험환경 시각화ⓒ
    국립금오공과대학교 컴퓨터공학부 4학년 김정현 학생이 제1저자로 참여한 논문이 CS(Computer Science) 분야 최고 권위 학회인 ‘IEEE ISMAR 2025(International Symposium on Mixed and Augmented Reality)’의 정규 논문(Full Paper)으로 채택됐다. 

    이에 따라 이 논문은 10월8일부터 12일까지 대전에서 열리는 국제 학술대회에서 발표될 예정이다.
     
    논문 제목은 ‘What Makes Object Referencing Clear? Multimodal Strategies for Shared Understanding in XR Collaboration(멀티 사용자 XR 협업 환경에서 명확한 객체 지시를 위한 멀티모달 전략 연구)’다. 

    이번 연구는 금오공대 컴퓨터공학부 소프트웨어전공 확장현실 및 메타버스 연구실(Extended Reality & Metaverse Lab, 지도교수 김영원) 주도로 진행됐으며, 국립과학수사연구원이 연구과제비를 지원했다.

    김정현 학생은 XR(확장현실) 협업 환경에서 사용자가 서로 명확하게 의사소통하기 위한 최적의 멀티모달(gaze, pointing, voice) 상호작용 전략을 제안하고, 그 유효성을 실험을 통해 검증했다. 

    본 연구는 사용자 간 거리(1m, 8m, 15m), 시점 차이, 객체 배열 방식(정렬 및 랜덤) 등 현실적 변수를 고려해 다양한 조건에서 효율적이고 정확한 상호작용 방식을 분석했다.

    연구에 따르면, gaze(시선)·pointing(지시 제스처)·voice(음성)를 통합한 멀티모달 상호작용 전략은 빠르고 정확한 객체 지시를 가능하게 했고 사용자의 인지적 부담을 최소화하면서도 높은 의사소통 명확성을 달성하는 것으로 나타났다. 

    특히 시선 기반의 빠른 참조 기능과 지시 제스처의 공간적 명료성, 음성의 정밀한 의미 전달 기능이 결합될 때 가장 우수한 성능을 발휘하는 것으로 확인됐다.

    김정현 학생은 “이번 연구는 기존 XR 협업환경이 가지는 소통의 한계를 극복할 수 있는 구체적인 멀티모달 상호작용 전략을 제시했다는 점에서 의미가 크다”며 “향후 XR 및 메타버스 환경에서 이루어질 협업이 더욱 원활하고 실질적 이뤄지는 데 활용되기 바란다”고 말했다.