FaceReader는 얼굴 표정이 포함된 이미지, 동영상, 실시간 동영상에서 500개의 얼굴 특징점을 자동으로 분석하여 관찰 대상의 감정이 중립, 행복, 슬픔, 분노, 놀라움, 두려움, 혐오감, 경멸 등과 같이 기본적인 7가지 표정을 분석합니다. 또한 각성도(Arousal, 적극 – 소극) 및 정서가(Valence, 긍정 – 부정)과 같은 감정의 분포를 온·오프라인으로 분석합니다.

FaceReader_7 basic expressons

표정 분석을 통한 감성 연구는 소비자 행동 연구, 교육 방법론 연구, 심리학, 상담 및 카운셀링, 의료 등 매우 다양한 연구 분야에서 10년 이상 연구되고 있으며 전세계 700 개 이상의 대학, 연구기관 및 기업체에서 널리 사용되고 있습니다.

FaceReader로부터 분석된 데이터로 다양한  연구 분야에서 탐구하고자 하는 연구 질문에 대한 답을 구하고 인사이트를 찾을 수 있습니다..

  • 심리학 – 표정 변화를 통해서 인간의 정서를 이해하고 정서의 다양한 표현과 그 의미를 파악
  • 교육학 – 수업 및 교과서 내용에 대한 학생들의 관심과 지루함을 정량적으로 분석하여 효과적인 교육 도구 개발에 활용
  • 인간 · 컴퓨터 상호 작용 – 컴퓨터 시스템을 사용하는 사람들의 표정을 분석하여 컴퓨터를 보다 쉽고 편하게 사용할 수 있도록 개선
  • 사용성 평가 테스트 -제품, 서비스, 시스템을 사용하는 사용자들의 감정적 변화로부터 대상에 대한 유효성, 효율성, 만족도 평가 및 개선
  • 시장 조사 – 현장에서 제품, 서비스, 시스템을 이용하는 사람들의 솔직한 느낌이나 생각에 대한 피드백 확보
  • 소비자 행동 – 소비자가 제품 및 상품을 구입 단계부터 구입 이후까지 각 단계마다 변화하는 감정을 측정하고 평가

FaceReader의 표정 분석 단계

FR 500 key points

다양한 확장 모듈

FaceReader는 감정을 심도있게 분석할 수 있도록 다양한 확장 모듈 라이선스를 제공합니다.

FR_Numerical Group Analysis참가자가 모니터를 응시하는 동안 자극물(예. 이미지, TV 광고 영상)을 제시하는 Presentation Tool, 얼굴 표정을 분석 시 타임라인에 이벤트 마커(Event Marker)를 삽입, 지정하는 기능을 포함하고 있으며, 분석된 7가지 기본 감정에 대한 Numerical Group Analysis 및 T-test, Temporal Group Analysis 프로토콜을 제공합니다.

FR_Action Unit얼굴 표정에 관여하는 얼굴의 근육 또는 근육 그룹인 Action Unit은 Ekman과 Friesen(1978)이 발행한 “얼굴표정 부호화 시스템(FACS)”에 근거하여 눈썹의 오르내림, 보조개 유무, 입술을 오므리는 정도와 같이  20가지 대표적인 Action Unit를 5단계의 Intensity로 분석합니다.

아울러 FaceReader 8에서 새롭게 제공하는 Custom Expressions 기능을 통하여 기본 얼굴 표정, 액션 유닛 및 심박수와 같은 지표를 사용자가 자유롭게 조합함으로써 인지 부하도, 가짜 · 진짜 미소, 고통감, 당혹감 등과 같이 특정 감정에 대한 알고리즘을 디자인하고 분석할 수 있습니다.

Remote Photoplethysmography (RPPG) 기술은 피부 표피 아래의 혈액량 변화로 인한 피부색의 작은 변화를 측정하여 특정 시간 내에 피실험자의 심장 박동수에 얼마나 많은 변동이 있는지를 분석합니다. 주로 스트레스 저항성 지표로 판단할 수 있으며, 이러한 값은 선형 차트로 시각화하여 데이터를 추출할 수 있습니다.  심박수를 결정하는 것은 얼굴 표정에 거의 변화가 없는 피험자 또는 특정 상황에 대한 각성도의 추가적인 지표로서 유용하게 참고할 수 있습니다.

Participant Calibration 지원

얼굴 표정에 개인별 편향이 있을 경우, Participant Calibration 모드를 사용하여 편향된 값을 보정할 수 있습니다. 예를 들어 평소 인상을 쓰는 사람을 대상으로 표정 분석을 하는 경우, 특별히 화가 나 있지 않더라도 분석값은 Angry로 나타날 것입니다. 이와 같은 편향된 값을 보정하기 위하여 평소 표정을 Neutral 표정으로 설정하여 보정합니다.

다양한 Visualization 분석

FaceReader는 Expression Intensity, Summary, Action Unit Intensity, Arousal Line chart, Valence Line chart, Hear Rate, Circumplex model of Affect, Numerical Group Analysis, Temporal Group Analysis 등과 같이 매우 다양한 시각적인 결과물을 제공합니다.

FR_Expression Intensity
FR_Expression Intensity
FR_Expression Summary
FR_Action Unit
FR_Numerical Group Analysis
FR_Numerical Group Analysis_per participant
FR_Circumplex Model

데이터 추출 & The Observer XT 연동 분석

FaceReader 에서 분석한 데이터를 외부 프로그램에서 불러올 수 있도록 데이터 추출 기능을 제공합니다. 특히 The Observer XT와 완벽한 데이터 연동을 지원하여 FaceReader 프로그램 자체에서 진행하기 복잡한 필터링 및 시차 및 이벤트 기준으로 분석이 용이합니다.

(※ The Observer XT에서 FaceReader의 데이터뿐만 아니라 외부 기기 및 소프트웨어에서 측정된 데이터(예. 생리신호 데이터, 시선추적 데이터)를 모두 불러들여 하나의 동일한 타임라인에서 동기화 및 통합 분석이 가능합니다.)

FR_export to OB

API & SDK 지원

얼굴 표정 분석을 외부 소프트웨어와 결합하거나 소프트웨어의 구성 요소를 기존 애플리케이션에 포함하려는 경우, FaceReader API 또는 SDK를 사용하여 어플리케이션에 얼굴 표정 분석 기술을 반영할 수 있습니다. 이를 통해 다른 애플리케이션에서 실시간으로 접근할 수 있으며 감성-컴퓨팅 및 적응형 인터페이스 설계 관련 연구에 이상적인 도구 툴로서 사용 가능합니다. API 또는 SDK는 감정 데이터를 실시간으로 내보내거나, 마커 수신 및 전송, 핵심 포인트 좌표, 분석 품질 내보내기 등 다양한 기능을 제공하고 있습니다.

FaceReader 8 새로운 기능

새로 출시된 FaceReader 8에서는 다음과 같은 기능이 추가되었습니다.

  • Baby FaceReader
  • Custom Expressions
  • 오디오 레코딩 및 재생
  • 왼쪽 및 오른쪽 얼굴 Action Unit 개별 분석
  • IR 레코딩 및 분석
  • 소비자 행동 측정
  • 심박수 분석 프로토콜 향상

Baby FaceReader

유아는 부모 또는 주변 사람들에게 의사를 전달하는데 제약이 많습니다. Baby FaceReader는 Oster에 의해 개발된 유아 얼굴 행동 부호화 시스템에 바탕을 둔 것으로 생후 6개월 ~ 24개월 연령의 유아를 대상으로 Action Unit, Arousal, Valence를 분석할 수 있습니다.

Custom Expressions

연구자는 FaceReader에서 제공하는 기본 7가지 얼굴 표정과 Action Unit을 결합하여 기존에 제공되지 않던 ‘사용자 지정 표정/상태’를 정의 할 수 있습니다. 예를 들어, Action Unit 6과 Action Unit 12를  결합할 경우 ‘Duchenne smile’을 사용자 지정 표정으로 정의할 수 있습니다. 사용자 지정 표정에서는 Valence, Arozil, Head Orientation, Heart Rate 및 Heart Rate Variability를 사용할 수 있습니다.

FR_Custom Expression

IR 레코딩 및 분석 지원

적외선 레코딩 및 분석 지원으로 낮은 조도 환경에서도 얼굴 표정을 레코딩 및 분석 할 수 있습니다.
(단, 심박수 분석은 지원되지 않습니다.)

소비자 행동 분석

식사 및 대화와 관련된 상황 즉, 음식을 섭취하거나, 상대방과 대화하는 상황에서도 얼굴 표정을 분석할 수 있습니다.
(FaceReader 8에서는 Experimental option 으로 제공됩니다.)