FaceReader는 얼굴 표정이 담긴 이미지, 동영상, 라이브 스트리밍에서 약 500개의 얼굴 특징점을 자동으로 인식하여 관심 대상자의 중립, 행복, 슬픔, 분노, 놀라움, 두려움, 혐오감, 경멸 등 기본 7가지 감정 분석 및 각성도(Arousal, 적극 – 소극),정서가(Valence, 긍정 – 부정)의 감정 태도를 분석합니다.
얼굴 표정 분석을 통한 정서 · 감성 연구는 소비자 행동 연구, 교육 방법론 연구, 심리학, 상담 및 카운셀링, 의료 등 매우 다양한 연구 분야에서 10년 이상 연구되고 있으며 전세계 700 개 이상의 대학, 연구기관 및 기업체에서 널리 사용되고 있습니다.
FaceReader로부터 분석된 데이터로 다양한 연구 분야에서 탐구하고자 하는 연구 질문에 대한 답을 구하고 인사이트를 찾을 수 있습니다.
- 심리학 – 표정 변화를 통해서 인간의 정서를 이해하고 정서의 다양한 표현과 그 의미를 파악
- 교육학 – 수업 및 교과서 내용에 대한 학생들의 관심과 지루함을 정량적으로 분석하여 효과적인 교육 도구 개발에 활용
- 인간 · 컴퓨터 상호 작용 – 컴퓨터 시스템을 사용하는 사람들의 표정을 분석하여 컴퓨터를 보다 쉽고 편하게 사용할 수 있도록 개선
- 사용성 평가 테스트 -제품, 서비스, 시스템을 사용하는 사용자들의 감정적 변화로부터 대상에 대한 유효성, 효율성, 만족도 평가 및 개선
- 시장 조사 – 현장에서 제품, 서비스, 시스템을 이용하는 사람들의 솔직한 느낌이나 생각에 대한 피드백 확보
- 소비자 행동 – 소비자가 제품 및 상품을 구입 단계부터 구입 이후까지 각 단계마다 변화하는 감정을 측정하고 평가
FaceReader의 표정 분석 단계
다양한 확장 모듈
FaceReader는 사용자가 보다 편리하게 데이터를 처리하고 분석할 수 있도록 유용한 확장 모듈을 제공합니다. 사용 가능한 모듈은 사용자 라이선스에 따라 차이가 있으며, Baby FaceReader의 경우에는 Vital Signs module만 사용 가능합니다.
Action Unit module
얼굴 표정에 관여하는 얼굴의 근육 또는 근육 그룹인 Action Unit은 Ekman과 Friesen(1978)이 발행한 “얼굴 움직임 부호화 시스템(Facial Action Coding System, FACS)”에 근거하여 눈썹의 오르내림, 보조개 유무, 입술을 오므리는 정도와 같이 20가지 대표적인 Action Unit를 5단계의 Intensity로 분석합니다.
Action Unit module에서 제공하는 Custom Expressions 도구를 통해 얼굴 표정, Action Units, 심박수와 같은 변수를 조합하여 업무 부하(Workload), 통증(pain), 당혹감(embarrassment) 등의 분석 알고리즘을 설계할 수 있습니다. 기본적으로 제공되는 감정적 태도로는 ‘관심’, ‘지루함’, ‘혼란’이 있으며, ‘집중’, ‘눈 깜빡임’, ‘웃음’, ‘자발적 미소’ 등도 포함되어 있습니다.
Vital Signs module
별도의 하드웨어 없이 웹캠을 사용하여 실험 참가자의 심박수(heart rate), 심박변이도(heart rate variability), 호흡률(respiration rate)을 분석할 수 있습니다.
- 심박수는 단일 심장 박동을 기반으로 계산되며, 심박변이도는 이러한 박동 간의 간격 변화에서 도출됩니다.
- 심박수와 심박변이도는 Remote Photoplethysmography (RPPG) 기술을 통해 측정되며, 호흡률은 호흡에 따라 발생하는 상체 움직임을 감지하여 측정합니다.
Voice Analysis module
음성을 기반으로 참가자의 감정을 분석합니다. 즉, 중립(Neutral), 행복(Happy), 슬픔(Sad), 분노(Angry) 등 기본 감정 뿐만 아니라, Valence 및 Arousal도 평가합니다.
Gaussian Mixture Model(GMM)을 기반으로 한 음성 활동 탐지(VAD, Voice Activity Detection) 기술을 사용하여, 음성 구간과 비음성 구간을 구분합니다.
이 방식은 침묵이나 배경 소음의 영향을 줄이고, 실제 음성이 포함된 구간만을 처리하도록 하여 분석의 정확성을 높이는 데 도움을 줍니다.
Advanced Research module
하나의 동영상에서 최대 8명까지 얼굴 표정을 동시에 분석합니다. 단일 카메라로 촬영된 Focus Group 참가자들을 분석하는데 유용하게 활용할 수 있습니다.
(단, 다중 인물 분석에서는 Vital Signs 분석, Voice 분석, Consumption Behavior 분석 미지원)
아울러, Stimulus Presentation Tool을 사용하여 실험 참가자의 시선 추적(gaze tracking)이 가능합니다.
Consumption Behavior module
다음과 같은 섭식 행동을 분석할 수 있습니다.
- Intake event : 음식이나 음료를 한 입 먹거나 마시는 행동
- Chew motion : 입 안에 있는 음식을 한 번 씹는 턱의 움직임
- Chewing : 첫 번째 씹는 움직임부터 마지막 씹는 움직임까지의 상태를 의미하며, 보통 삼키기 전까지의 씹는 과정 전체
Participant Calibration 지원
얼굴 표정에 개인별 편향이 있을 경우, Participant Calibration 모드를 사용하여 편향된 값을 보정할 수 있습니다. 예를 들어 평소 인상을 쓰는 사람을 대상으로 표정 분석을 하는 경우, 특별히 화가 나 있지 않더라도 분석값은 Angry로 나타날 것입니다. 이와 같은 편향된 값을 보정하기 위하여 평소 표정을 Neutral 표정으로 설정하여 보정합니다.
Custom Expressions
연구자는 FaceReader에서 제공하는 기본 7가지 얼굴 표정과 Action Unit을 결합하여 기존에 제공되지 않던 ‘사용자 지정 표정/상태’를 정의 할 수 있습니다. 예를 들어, Action Unit 6과 Action Unit 12를 결합할 경우 ‘Duchenne smile’을 사용자 지정 표정으로 정의할 수 있습니다. 사용자 지정 표정에서는 Valence, Arozil, Head Orientation, Heart Rate 및 Heart Rate Variability를 사용할 수 있습니다.
IR 레코딩 및 분석 지원
적외선 레코딩 및 분석 지원으로 낮은 조도 환경에서도 얼굴 표정을 레코딩 및 분석 할 수 있습니다.
(단, 심박수 분석은 지원되지 않습니다.)
다양한 Visualization 분석
FaceReader는 아래와 같이 매우 다양한 시각적인 결과물을 제공합니다.
데이터 추출 & The Observer XT 연동 분석
FaceReader 에서 분석한 데이터를 외부 프로그램에서 불러올 수 있도록 데이터 추출 기능을 제공합니다. 특히 The Observer XT와 완벽한 데이터 연동을 지원하여 FaceReader 프로그램 자체에서 진행하기 복잡한 필터링 및 시차 및 이벤트 기준으로 분석이 용이합니다.
(※ The Observer XT에서 FaceReader의 데이터뿐만 아니라 외부 기기 및 소프트웨어에서 측정된 데이터(예. 생리신호 데이터, 시선추적 데이터)를 모두 불러들여 하나의 동일한 타임라인에서 동기화 및 통합 분석이 가능합니다.)
FaceReader User & Publications
FaceReader는 전세계 700 이상 대학교, 연구기관, 기업체에서 사용하고 있습니다. 대표적으로 소비자 행동 연구, 사용성 평가, 심리/상담 연구, 교육 연구, 시장 조사 등 매우 다양한 분야에서 10년 이상 활용되고 있는 소프트웨어 입니다.
FaceReader를 사용 유저 및 Publications 정보가 궁금하신 분은 아래 링크를 클릭하세요.
API & SDK 지원
얼굴 표정 분석을 외부 소프트웨어와 결합하거나 소프트웨어의 구성 요소를 기존 애플리케이션에 포함하려는 경우, FaceReader API 또는 SDK를 사용하여 어플리케이션에 얼굴 표정 분석 기술을 반영할 수 있습니다. 이를 통해 다른 애플리케이션에서 실시간으로 접근할 수 있으며 감성-컴퓨팅 및 적응형 인터페이스 설계 관련 연구에 이상적인 도구 툴로서 사용 가능합니다. API 또는 SDK는 감정 데이터를 실시간으로 내보내거나, 마커 수신 및 전송, 핵심 포인트 좌표, 분석 품질 내보내기 등 다양한 기능을 제공하고 있습니다.
국내 고객사
국내 국가연구기관, 기업체, 대학교의 매우 다양한 분야에서 FaceReader를 사용하고 있습니다.
자주하는 질문
(Frequently asked Questions)
네, 구입하신 소프트웨어는 다수의 PC에 설치하시는데 제약이 없습니다. 다만, 납품 시 제공하는 Activation key를 입력하여 라이선스를 활성화 해야 프로그램이 구동됩니다.
예를 들어 연구실 Desktop PC와 연구용 Laptop PC에 모두 프로그램을 설치하신 후, 필요에 따라 Activation key를 프로그램 상에서 Activation / Deactivation 하는 과정을 통해 사용하고자 하는 PC에서 프로그램을 사용하실 수 있습니다.
학술 연구자들은 FaceReader의 데이터 값을 전문적으로 훈련된 인간 코더(coders)의 결과와 비교하는 검증 과정을 수행하였으며, 또 다른 연구에서는 FaceReader가 도출한 데이터를 암스테르담 동적 얼굴 표정 세트(Amsterdam Dynamic Facial Expression Set, ADFES)와 같은 공인된 표정 데이터베이스와 비교하였습니다. 이러한 연구들을 통해 FaceReader는 얼굴 표정을 정확하게 판별하는 도구임이 입증되었습니다.
[링크]를 통해 원문을 확인하실 수 있습니다.
FaceReader 라이선스는 Software Based License 방식으로 납품 시 최신 버전의 영구 사용 라이선스로 제공됩니다.
(기존의 USB 하드웨어 Dongle key는 더이상 제공하지 않습니다.)
추후 FaceReader 업그레이드 버전이 출시될 경우, 업그레이드 서비스를 구입하시면 최신 버전을 사용하실 수 있습니다.
네, FaceReader 사용법에 대한 교육 서비스(유상)를 지원합니다.
그러나, 사용법 교육을 신천하시기 전에 제품 납품 시 제공되는 Quick Guide를 따라해 보시면 쉽게 사용법을 익히실 수 있습니다. 그럼에도 사용법 교육이 필요하신 경우 별도로 신청하여 주시면 관련 내용을 안내하여 드리겠습니다.
