미세표정(Micro-Expression, ME)은 감정 자극에 반응하여 무의식적·비자발적으로 나타나는 극히 짧은 얼굴 근육 움직임입니다. 지속 시간이 고작 40~200ms에 불과해 육안으로는 거의 포착할 수 없지만, 자동화된 알고리즘은 이를 실시간으로 읽어냅니다. 중요한 것은 이 표정이 의도적으로 숨기거나 조작할 수 없다는 점입니다. 그래서 “진짜 감정”의 신뢰할 수 있는 지표로 여겨집니다.

미세표정 분석의 이론적 기반은 Paul Ekman과 Friesen이 1978년에 개발한 FACS(Facial Action Coding System) 입니다. FACS는 얼굴 근육 움직임을 총 46개의 Action Unit(AU) 으로 분류하며, 각 AU의 조합이 특정 감정 상태를 나타냅니다. 오늘날에는 머신러닝 기반의 자동화 도구들이 이 과정을 실시간으로 처리합니다.

이 연구는 103명의 참가자에게 과자류(confectionery) 6개 브랜드의 비디오 광고(15~20초) 또는 포스터 광고(3초) 를 무작위로 노출시키는 방식으로 진행되며 실험은 세 단계로 구성되었습니다.

Stage 1 (광고 노출 중): FaceReader 9로 참가자 얼굴을 200ms 간격으로 촬영하여 미세표정(ME) 감정 데이터 실시간 수집

Stage 2 (광고 노출 후): 동일한 감정 항목을 1~7점 척도의 설문(자기보고, SR)으로 회고적 측정

Stage 3 (선호도 측정): 6개 제품 간 15쌍 이항 비교 및 1개 제품 직접 선택(take-out)

실험에 사용된 FEA 도구는 Noldus의 FaceReader 버전 9로, 20개 AU를 기반으로 인공신경망(ANN)을 통해 아래 11개 감정 변수를 산출합니다.

연구의 핵심 질문은 단순합니다. “ME 데이터와 SR 데이터 중 어느 쪽이 소비자 선택을 더 잘 예측하는가?”

답은 명확했습니다.

• 의사결정 트리(Boosting) 분석: ME 감정 변수가 SR 감정 변수보다 모두 더 높은 상대적 영향력을 보였습니다. SR 변수의 평균 Gini 지수 감소는 2% 미만으로 미미했습니다.

• SVM 이항 선택 예측: ME+광고·제품 특성 모델이 SR+광고·제품 특성 모델보다 완전 샘플에서 +7.94pp, 비디오 광고 조건에서는 +14.89pp 높은 정확도를 기록했습니다.

• LSTM 동적 모델: 비디오 광고 조건에서 ME 기반 예측이 SR 대비 +3.63pp 유의미하게(p=0.028) 향상되었습니다.

특히 비디오 광고에서 ME의 효과가 두드러졌는데, 이는 동영상의 시간적 흐름에 따라 감정이 연속적으로 변화하고 ME가 그 역동성을 그대로 포착하기 때문입니다. 반면 포스터 광고는 노출 시간이 짧아(3초) ME의 시계열적 강점이 충분히 발휘되지 못했습니다.​

연구팀은 ME가 SR보다 우월한 이유로 두 가지를 제시합니다:

​첫째, FEA는 무의식적 얼굴 신호를 포착합니다. 참가자가 스스로 인지하지 못하는 감정 반응도 얼굴 근육에는 남습니다.

둘째, ME는 광고 노출 중 실시간으로 수집되지만 SR은 광고 이후 회고적으로 측정됩니다. 노출 중의 감정을 나중에 단일 점수로 요약하는 과정에서 기억 왜곡, 사회적 바람직성 편향, 개인별 응답 스타일 차이가 발생합니다. 실제로 Table 6의 회귀 분석에서 SR 변수에서만 반직관적 계수(예: 경멸이 양(+)의 효과)가 관찰되었고, ME 변수에서는 나타나지 않았습니다.

이 연구의 직접적인 실험 대상이 과자류였다는 점에서, 식품과 화장품 분야에 대한 시사점은 특히 주목할 만합니다.

‘식품 분야’의 미세 표정 분석

식품 연구에서 FEA의 유효성은 이미 선행 연구로 뒷받침됩니다. Kerrihard et al.(2017)은 FaceReader로 소금 맛에 대한 개인별 적응 반응과 인구통계학적 차이를 포착했으며, De Wijk et al.(2022)은 몰입형 식품 소비 환경에서 FEA가 설문보다 미세한 감정 변화에 더 민감하다는 것을 보여주었습니다. 이 연구 결과를 확장하면 다음과 같은 응용이 가능합니다.

• 신제품 시식 테스트: 맛, 향, 식감에 대한 즉각적 감정 반응을 ‘먹는 순간’ 실시간 측정 → 설문의 기억 왜곡 없이 진짜 맛 선호도 파악
• 패키지 디자인 최적화: 포장지 이미지 노출 시 ME 패턴으로 혐오·놀람·행복 반응을 측정해 구매 유발 디자인 요소 식별
• 광고 영상 효과 측정: 비디오 광고에서 ME가 최대 +35pp 예측력 향상을 보인 만큼, 식품 TV·온라인 광고의 감정 궤적 분석에 즉시 적용 가능

​

‘화장품 분야’에서의 미세 표정 분석

화장품은 개인 취향이 강하고, 사회적 바람직성 편향이 크게 작용하는 영역입니다. 논문은 “위생용품이나 민감한 개인용품처럼 소비자가 선호를 솔직하게 밝히기 꺼리는 영역에서 FEA의 이점이 특히 클 것”이라고 명시합니다. 구체적인 적용 사례는 다음과 같습니다.

• 제품 사용감 평가: 로션·향수·색조 제품을 직접 사용하는 동안의 ME 측정 → 표정 변화로 ‘진짜 만족도’ 실시간 포착
• 광고 모델·크리에이티브 테스트: 광고 영상에서 소비자가 어느 장면에서 행복·놀람·혐오를 느끼는지 초 단위로 분석해 광고 편집 최적화
• 개인화 마케팅: Garaus et al.(2021)의 디지털 사이니지 연구처럼, 매장 내 FEA 기반 실시간 감정 타기팅으로 맞춤형 제품 추천 구현 가능

​

이 기술이 강력한 만큼, 연구팀은 윤리적 문제도 명확히 지적합니다. FEA는 동의 없이 거리 광고판 앞에서도 작동할 수 있어 프라이버시 침해 소지가 있습니다. EU AI Act(2024년 8월 발효, 2026년 8월 완전 적용 예정)는 AI 기술 규제 프레임워크를 제공하지만, 상업적 FEA 응용에 대한 규정은 아직 미흡합니다. 기업이 FEA를 활용할 때는 명시적 동의 획득, 데이터 최소화 원칙 준수, 그리고 알고리즘 편향(문화적 배경에 따른 감정 표현 차이)에 대한 세심한 고려가 필수입니다

미세표정 분석은 “소비자가 말하는 것”이 아닌 “소비자의 얼굴이 보여주는 것”에 귀 기울이는 기술입니다. 웹캠 하나로 EEG나 fMRI에 준하는 예측력을 확보할 수 있다는 이 연구의 발견은, 식품과 화장품처럼 감성적 반응이 구매를 좌우하는 산업에 특히 강력한 도구가 될 것입니다.

• Karapanagiotis, P., Krause, F., & Krick, J. (2026). Face reading technology: Improving preference prediction from self-reports using micro-expressions. Journal of Business Research, 208, 116050.