HMI를 말하면 현재 생산되는 제품과는 관련 없는 소수의 연구 조직이 수행하는 선행 과제로만 여겨지는 것이 일반적이다. 그러나 이는 사실과 다르다. HMI는 이미 가전, 자동차, 비행 조종실, 모바일폰, 게임 콘솔 등 다양한 제품과 산업 현장에서 보편적으로 이용되고 있다. 자동차 산업에서 HMI는 중요한 경쟁요소가 됐다.

보편화된 기술

HMI는 사람의 모든 요소를 고려해 미래의 기계를 어떻게 디자인해 소통시킬 지를 고민하고 연구하는 것이다.
예를 들어 키보드, 마우스, 터치패드와 같은 것들은 이미 오래된 것들이다. ‘터치’를 이용한 인터페이스는 손가락 제스처, 팔 동작, 끄덕임, 찡그림, 눈썹 올리기 등의 명령어로 대체될 것이다. 즉 사람은 기계가 더 사람다워지도록, 인간의 본성과 조화를 이루고 소통하는 컴퓨터를 만들 것이다. 어떠한 버튼도 누를 필요가 없는, 스크롤 휠을 돌리거나, 패드 위에서 마우스를 움직이는 일은 없어질 것이다.
인간과 기계 간 소통에 대한 연구, 기술은 매우 다양하다. 그러나 정말 주목해야 할 것은 현재의 HMI 기술들이 전자계산기, 비디오 레코더, 컴퓨터 등이 처음 나왔을 때처럼 소수의 엘리트들을 위한 값 비싼 장난감이 아니란 점이다. 최근의 새로운 기술과 시스템들은 예를 들어 게임 콘솔, 모바일폰, 내비게이션처럼 어디서나 볼 수 있는 대량 생산품에 탑재돼 그 가치를 발산하고 있다.
담슈타트 기술대학 IAD연구소(Institute of Ergonomics)의 랄프 브루더(Ralph Bruder) 교수는 “게임, 모바일폰 산업 내의 기업들은 새로운 하드웨어와 소프트웨어 개발에 막대한 돈을 지출하고 있다. 스마트폰, 태블릿 PC의 멀티 터치스크린 동작을 위해 터치와 스와핑 등을 하던, 동작감시 기술을 이용하던 간에 거의 모든 HMI 기술은 매스마켓 제품에 들어가기 시작했고 특별한 애플리케이션으로 파생되고 있다”고 말했다.
본래 HMI와 관련된 강력한 기술 혁신은 국방 부문에서 주로 이뤄져 왔다. 그러나 이제는  소비가전이 리드하고 있고 또 실제로 기술 개발의 일반적 추세를 전환시키고 있다. 내비게이션에서 볼 수 있는 터치스크린, 멀티 포인트와 스와핑  무브먼트가 가능한 멀티터치 스크린은 이미 대중화됐다. 새로운 형태의 HMI는 소비가전에서 자동차, 비행기, 설비, 의료 장비 등 특수 애플리케이션 분야로 빠르게 이전되고 있다.
다임러 HMI 부문 욘 패터슨(Yorn Peterson) 수석은 “소비가전 산업이 새로운 기술에 대한 기대를 한층 키웠다. 사람들은 언제 이런 기술이 자동차에서도 제공될 지를 궁금해한다”고 말했다.




디지털 라이프스타일

사람들은 자동차에 타건 내리건 간에 디지털 세계에서 분리되는 것을 원치 않는다. 이에 따라 다임러는 디지털 라이프스타일에 따른 개인화에 포커스해 차별성을 강화하려 하고 있다. 그리고 소비자들의 요구와 회사의 목표를 적극 반영한 솔루션을 모터쇼에서 선보이고 있다.
차량의 인테리어, 익스테리어 모두에서 새로운 디자인을 채택한 ‘컨셉트 A클래스’로 네트워크화 된 라이프스타일에 완전히 통합된 차의 가치를 보여줬다.
패터슨 수석은 “내비게이션 애플리케이션을 포함한 일반적인 스마트폰 애플리케이션들을 모두 사용 가능하도록 통합시켰다”며 “말로는 쉽지만 실제 컨셉트 A클래스의 오퍼레이팅 컨셉 내에 스마트폰을 완벽하게 포함시키는 것은 매우 까다로운 작업이었다”고 말했다.
다임러의 텔레매틱스 엔지니어들은 중앙 콘솔 내에 스마트폰이 장착되고 나면 폰의 모든 것이 메르세데스 벤츠의 새 인터넷 기반 인포테인먼트 시스템인 코멘드 온라인(COMAND Online)에 의해 자동적으로 동기화되도록 했다. 센터 콘솔 위의 크고 지능적인 TFT 스크린이 디스플레이가 되고 디스플레이의 페이지 표제는 직관적으로 읽을 수 있게 디자인했다.

패터슨 수석은 “사용자는 어떠한 경우에도 원하는 것을 보고 쉽게 메뉴 이동을 할 수 있어야 한다. 또 반대로 되돌아 올 수 있어야 한다. 명확하게 메뉴 부분이 보이는 것이 매우 중요하다”고 말했다. 코멘드의 엔트리는 디스플레이의 아래 부분에서도 할 수 있다.
운전자는 센터 콘솔에 있는 로터리&푸시 방식의 멀티 기능 컨트롤러 시스템을 이용해 제어할 수도 있다. 이같은 장치는 차내라는 특수 환경에서 모바일폰에서 스와핑, 슬라이딩으로 터치스크린을 컨트롤하는 방식에 비해 안전하다.
패터슨 수석은 “안전은 자동차에서 최우선 고려사항이다. 차내에서는 두 가지 이상의 태스크 수행이 자주 요구되는데 가장 우선되는 것이 운전이고, 이 외의 태스크를 안전하게 수행할 수 있도록 만드는 것이 OEM들이 해야 할 일”이라고 말했다.

F 800 터치 패드

브루더 교수는 “자동차를 구매하는 사람들의 관점에서 볼 때, 차량에 지속적으로 추가되는 기술에 그들이 압도된다고 느끼게 해서는 안 된다. 항상 사람이 시스템을 제어하고 있다고 느끼도록 해야하는 것이 중요하다”고 했다.
HMI 개발자에게 이는 늘어나는 개별 시스템들이 명확하게 우선되는 제어 컨셉, 자동차에 통합되는지를 모니터해야 한다는 의미다. 비행 조종석 또는 관제 시스템 개발자들도 이같은 도전에 직면해 있다. 모든 것은 증대되는 개인 정보의 양의 효율적인 통합과 관리, 심지어 스트레스 상황에서도 사람들이 효율적이고 합리적으로 반응할 수 있도록 하는 것이다. 다시 말해 쉽고 이성적으로 작동할 수 있도록 하는 것이다.
다임러의 엔지니어들은 스마트폰의 터치스크린과 같이 작동되는 새로운 HMI 카메라 터치 패드(HMI cam-touch-pad) 인터페이스를 만들 때 이같은 원칙을 철저히 지켰고 차별점을 부여하는데 성공했다. 
운전자는 쉽게 손이 닫고 편하게 위치할 수 있는 위치에 놓인 터치 패드 위에서 디스플레이의 인터페이스를 제어한다. 혁신은 카메라 터치 패드의 적외선 카메라가 운전자 손 이미지를 인식해 터치패드와 같이 작동하고, 센터 콘솔 위의 중앙 디스플레이에 실시간으로 반투명한 손 이미지를 디스플레이한다는 것이다.
살짝 손가락 끝을 누르듯이 하면 동작이 승인되고 햅틱 피드백을 준다. HMI 카메라 터치 패드는 슬라이딩, 와이핑, 터닝, 주밍 등의 다양한 움직임을 인식해 에어컨디셔너, 전화, 오디오, 내비게이션, 인터넷 기능을 작동한다. 운전자는 중앙 디스플레이에 지문을 묻힐 일이 없고, 시트에서 몸을 움직여 팔을 뻗는 등의 수고도 필요가 없다.
메르세데스 벤츠의 최신 스플릿뷰(SPLITVIWE) 또한 안전과 관련된 기술이다. 2009년 S클래스는 듀얼뷰 스크린을 최초로 장착했다. 스플릿뷰는 하나의 디스플레이로 운전석과 조수석에서 동시에 각기 다른 디스플레이 화면을 볼 수 있어 운전자가 모든 차량 제어, 디스플레이 기능을 이용하는 동안 동반자도 엔터테인먼트 등 다른 기능을 동시에 이용할 수 있게 한다.
이처럼 최근 기기는 갈수록 좁은 공간에 더욱 강력한 프로세서와 컨트롤러가 들어가고, 메모리 수용력이 높아지면서 강력한 성능을 발휘한다. 또 이것은 저비용에서 이뤄지며 기기 내에서 복잡한 프로세스의 통합을 가능케 하며 지능화되고 있다.

증강현실 오버래핑

모든 생산라인이 오로지 음성으로 제어될 수 있을까?
공장, 작업장에서 음성 명령을 받아 사람을 보조하는 로봇은 더 이상 미래의 꿈만은 아니다. 이같은 진보, 즉 음성 명령과 같은 새로운 소통 방식에 의한 기계의 지능화는 설비, 정비 분야에서도 크게 일어날 것이다.
새로운 HMI는 단지 사람을 지원하고 기계적 기능을 확장하는 것만은 아니다. 예를 들어 스마트폰이나 태플릿 PC를 연결한 내비게이션의 증강현실과 HMI를 이용한 차량 정비와 같은 새로운 기술 애플리케이션을 창조해내고 있다.
기술자는 작업장으로가 모바일폰 카메라로 정비가 필요한 차량 부분을 조명한다. 그러면 회사의 중앙 컴퓨터에 이미지가 보내지고 차량 상태 등에 대한 정보와 사진이 분석돼 정비사가 수행해야할 작업을 정의내리고 다시 관련 사진을 폰으로 보낸다. 사진에는 정비 지시 사항들이 실사 위에 3D 애니메이션으로 나타나 작업을 보다 쉽게 만든다.
이같은 시스템은 엔터테인먼트나 길 안내에서도 이용된다. 여행자가 스마트폰으로 특정 빌딩을 조명하면 데이터 센터가 빌딩의 건축, 역사 등 다양한 데이터를 여행자의 폰으로 전송한다.
프라운호퍼 연구소에서 그래픽데이터 프로세싱 연구를 수행하는 울리히 복홀트(Ulrich Bockholt) 박사는 증강현실의 가능성이 매우 높다며 “특히, 항공, 조선과 같은  복잡한 생산 공정 환경에서 일하는 사람들은 실제 생산 시스템과 가상 CAD 플랜을 비교할 때 애로가 있는데 증강현실을 이용한 오버래핑 기술은 이런 상황에 큰 도움이 된다. 자동차 산업에서도 생산 프로토타입에 적용되고 있다”고 말했다.
의료산업에서도 HMI의 역할은 갈수록 증대되고 있다. 예를 들어 혈압, 호흡, 심박동, 피검사 등의 내용을 하나의 스크린에 보여주고 있다. 스포츠 의학과 정형외과에서는 환자의 동작을 분석하기 위해 카메라와 컴퓨터를 연결하고 있고 곧 미니 컴퓨터를 환자에게 부착할 예정이다. 두부 외상 전문의들은 환자와 멀리 떨어진 곳에서도 두개골절을 진단하고, 의사에게 조언을 할 수 있다. 이 모든 것은 X레이 또는 단층촬영 이미지 전송 관련 인터페이스와 원격 진료를 가능케 하는 텔레메디션 시스템에 의해 이뤄진다.
물리학자와 다른 분야의 과학자들은 사람의 몸에 직접 연결되는 HMI에 대한 연구를 진행하고 있다.

사람이 우선, 기계는 둘째 

예를 들어 괴팅겐, 하이델베르크, 칼스루에의 과학자들은 휠체어 등을 귀 근육을 이용해 동작시키는 가능성을 검토하고 있다. 이 시스템은 귀의 움직임에 의해 발생하는 신경 자극을 증폭시켜 기기에 전자 신호를 전송해 제어할 수 있게 한다.  
현재의 HMI 커뮤니케이션 시스템은 몇 년 전처럼 기계에 포커스하지 않는다. 어떻게 기계를 동작시킬지에 대해 말로 하는 것과 같이 보다 인간적인 소통법 연구에 포커스하고 있다. 예를 들어 과학자들은 사람의 뇌를 통해 직접 기계를 제어하는 방법을 연구 중인데, 게임과 같은 일부 산업에서는 벌써부터 이것이 성공으로 가는 길이라고 여기고 있다. 기업들은  마우스, 키보드 또는 다른 입력장치를 사용하지 않고 플레이할 수 있도록 하기 위해 간소화한 뇌파계(electroencephalograph)를 이용하기 시작했다. 게임 산업에서의 이같은 연구 시도는 갈수록 확대될 것이다.
자동차를 뇌만을 이용해 운전할 것이라고는 누구도 생각하지 않을 것이다. 그럴듯한 시나리오는 운전을 할 필요는 없지만 대신 도착지는 간단히 입력하는 것이다. 자율주행차의 실현은 그리 멀지 않았다. 최초의 프로토타입들은 이미 실제 생활 조건 하에 대응하고 있고, 이 기술은 카 메이커들의 경쟁 분야에 포함돼 있다.
사각지대 보조(Blind Spot Assist), 차선유지 보조(Lane Keeping Assist), 주의력 보조, 졸음운전 감지 시스템 등의 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)이 그 시작이다. 다시 말해 자동차는 갈수록 지능화되고 운전자의 수고는 줄어들 것이다.
언젠가 3D 홀로그램을 이용하거나 영화를 보는 등과 같은 태스크를 제외하고 운전자가 차에서 해야 하는 일이 없어진다면, 상상되던 것 이상의 또 다른 HMI들이 적용될 것이다.