멀티모달 인터페이스(Multimodal Interface)
멀티 모달이란 용어는 무엇을 뜻하는 개념이고, 어째서 휴먼 인터페이스를 이룰 수 있다고 하는 것일까요?
우선 멀티 모달 인터페이스에서, ‘모달’ 이라는 의미를 먼저 알아볼 필요가 있습니다. 여기에서 모달은 모달리티(Modality)를 뜻하는데,
“모달리티란 인터랙션 과정에서 사용되는 커뮤니케이션 채널”이라고 합니다.
(Modality: The type of communication channel used for interaction. It also covers the way an idea is expressed or perceived, or the manner in which an action is performed.
예를 들면, 우리가 PC에 무엇인가를 입력할 때 사용하는 키보드, 마우스 하나 하나가 바로 하나의 모달리티를 위한 장치라고 할 수 있습니다. 손으로 접촉하여 입력하는 개개의 모달리티이지요. 여기서 주의해야 할 점은, 마우스나 키보드는 하나의 모달리티를 위한 ‘기기’인 것이지 모달리티 자체를 의미하지는 않습니다. 말 그대로 모달리티란, 한 가지 방식의 사람-컴퓨터 의사소통의 ‘채널’을 의미하니까요. 그러면 우리가 보통 사용하는 PC 입력 방법 외에 또 다른 모달리티는 무엇이 있을까요? 바로 접촉하지 않아도 입력 가능한 제스처(동작), 음성 입력은 물론 표정 인식과 시선 인식까지도 개개의 모달리티라고 할 수 있습니다.
모달리티가 무엇인지 알았으니, 멀티 모달은 바로 감이 오실 거에요. 모달리티를 멀티로, 바로 컴퓨터와 의사소통을 할 때, 한 번에 여러 모달리티를 이용하는 것입니다.
“멀티모달 인터페이스는 인간의 제스처, 시선, 손의 움직임, 행동의 패턴, 음성, 물리적인 위치 등 인간의 자연스러운 행동들에 대한 정보를 해석하고 부호화하는 인지기반 기술”
“멀티모달 인터페이스는 인간과 컴퓨터 인터랙션 과정에서 동시 여러 모달리티의 입출력을 허용하며 다수의 모달리티의 조합과 입력 신호 통합해석 등을 통해서 상호 의사를 교환한다.”
(멀티모달 인터페이스 개발을 위한 휴먼-컴퓨터 인터랙션 설계, 임미정, 2006)
멀티모달 인터랙션 병렬 입력
<출처: 멀티모달 인터페이스 개발을 위한 휴먼-컴퓨터 인터랙션 설계, 임미정, 2006>
멀티 모달 인터페이스의 정의에서 어렵고 길게 표현되어 있기는 하지만, 위 그림을 보면 단번에 이해가 되실 겁니다. 위 그림과 같이 간단히 개념으로만 보자면 ‘사람의 다양한 여러 표현 방식을 주고 받는 컴퓨터 인터페이스 기술’이라고 볼 수 있습니다.
출처: <https://m.blog.naver.com/PostView.nhn?blogId=vinylx&logNo=220367088474&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F>
