인간의 모든 표정 중에서 미소(smile)는 가장 보편적인 표현입니다. 미소에는 놀라운 힘이 있으며, 심지어 자신의 주관적 상태까지 변화시킬 수 있습니다. 예를 들어, 원래 기분이 좋지 않더라도 미소를 짓는 것만으로도 주관적으로 느끼는 행복감이 증가한다고 합니다¹. 그런데 여러분은 여느 대중 가요의 ‘내가 웃는 게 웃는 게 아니야~’ 가사말 처럼 ‘미소가 미소가 아닐 때’에 대해 생각해 본 적이 있었나요? 이번 포스트 주제는 그 미소가 진짜가 아닐 때, 즉 가짜일 때에 대해 이야기하고자 합니다.

1980년대 초, 폴 에크먼(Paul Ekman)과 월리스 프리즌(Wallace Friesen)²은 미소에는 두 가지 종류가 있다고 제안했습니다. 바로 진짜 미소(real/felt smile)와 가짜 미소(false smile)입니다.

진짜 미소는 뒤셴 미소(Duchenne smile)라고도 불리며, 이는 프랑스 생리학자 기욤 뒤셴(Guillaume Duchenne)이 처음으로 이 표정을 만드는 데 관여하는 얼굴 근육을 밝혀낸 데서 비롯되었습니다. 그들의 연구에 따르면, 진짜 미소는 눈 주변의 근육까지 활성화되지만, 가짜 미소는 입 주위의 근육만 작동한다고 합니다³. 반면에 가짜 미소는 한쪽으로 더 치우치는 경향(unilateral)이 있으며, 입이 한쪽으로만 살짝 올라가는 것이 특징입니다. 그러면, 상기 내용을 바탕으로 아래의 적인 사진 속 두 명의 ‘폴 에크먼’ 중에서, 여러분은 어느 쪽 미소가 진짜인지 구분하실 수 있을까요?⁴

얼굴에는 총 28개의 주요 Action Units(이하 AUs)이 있으며 FaceReader는 이 중 20개를 분류할 수 있습니다. 이 가운데 AU6(광대근, cheek raiser), AU7(눈꺼풀 당김, lid tightener), AU12(입꼬리 당김, lip corner puller)는 ‘행복(happy)’을 표현하는 핵심 근육입니다. 반면, AU14(입꼬리 한쪽 당김, dimpler)은 비대칭적 미소(unilateral smile)와 관련되어 있습니다.

얼굴표정 자동 분석 소프트웨어 FaceReader는 얼굴 표정으로부터 단순히 ‘Happy’ 나 ‘Sad’ 등을 감지하는데 그치지 않고, 각각의 AUs의 사용 여부와 사용 강도를 5단계(A~E) 등급으로 세부적으로 분류합니다. 이러한 분석 툴을 보유하고 있는 FaceReader를 이용하여 사람들이 진짜로 웃고 있는지, 아니면 가짜로 웃고 있는지를 살펴보는 실험을 진행했습니다.

YouTube에서 ‘실패 영상(fails)’을 모은 유머 영상을 찾아, 온라인 플랫폼인 FaceReader Online을 통해 자원자들에게 보냈습니다⁸. 참가자들의 표정 데이터는 FaceReader 7.1에서 분석되었고, 각각의 액션 유닛이 얼마나 활성화되었는지를 분류했습니다. 그 후 데이터는 The Observer XT로 내보내어 세부 분석 및 구간화(segmentation)를 진행했습니다. 참가자들의 영상을 ‘중립’, ‘진짜 미소’, ‘가짜 미소’로 분류했으며, 분석은 블라인드 방식으로 수행되었습니다. 이후, 각 액션 유닛의 데이터는 활성화된 시간의 비율(%)로 산출되었습니다.

액션 유닛을 활용하여 진짜 미소와 가짜 미소를 판별하기 위한 가설은 아래와 같습니다.

• 진짜 미소(REAL Smile) → AU6, AU7이 더 강하게 나타난다.
• 가짜 미소(False Smile) → AU14가 더 자주 나타난다.

결과는 예상대로였습니다. 진짜 미소에서는 AU6과 AU7이 활발히 나타났고, 가짜 미소에서는 AU14가 두드러졌습니다. 또한, 각각의 미소 유형에서 해당 근육의 활성 강도 역시 뚜렷하게 차이가 발생했스니다. 결국, 진짜 미소는 “눈으로 웃는다”는 말이 사실이었습니다.

그럼 이제 아래 이미지는 미소를 짓고 있는 도미닉(Dominic) 입니다. 상기의 액션 유닛의 결과를 고려하여, 어느 쪽이 진짜 미소(Real) 인지 구별해 보세요.
(이미지에 마우스 커서를 올려 두면, 액션 유닛을 확인할 수 있습니다.)

아래 이미지는 실제 어느 한국 사람의 FaceReader에서 웃는 모습을 분석한 화면입니다. (*실제 얼굴 표정을 분석하였으며 아래 분석 화면에서는 초상권을 위해 메쉬처리 하였습니다.)

① 소비자 감정 분석(Consumer Emotion Research)
제품 광고나 브랜드 영상 시청 시 나타나는 진짜 미소(AU6·AU7)와 가짜 미소(AU14)를 구분하여, 소비자의 진정한 호감도와 만족도를 평가할 수 있습니다. 설문 응답의 한계를 보완하고, 감정 기반 마케팅 전략 수립에 활용됩니다.

② 사용자 경험(UX) 평가(User Experience Evaluation)
디지털 서비스나 인터페이스를 사용하는 동안의 표정을 분석해, 이용자의 긍정적·부정적 경험을 실시간으로 파악합니다. AU12와 AU6의 활성도를 통해 즐거움·몰입도를 측정하고, UI 개선이나 서비스 만족도 향상에 반영할 수 있습니다.

③ 임상심리 및 정신건강 연구(Clinical Psychology & Mental Health)
우울증, 불안장애, 사회적 위축 등 정서적 상태를 평가할 때 진짜 웃음의 빈도(AU6·AU7)를 정량화해 정서 표현의 감소를 객관적으로 측정합니다. 감정 표현 결핍이나 정서 회복 과정을 생리·행동 지표로 추적할 수 있습니다.

④ 면접·교육 평가(Interview & Education Assessment)
면접 응답자나 학습자의 표정을 분석해, 진심 어린 반응(AU6·AU7)과 형식적 반응(AU14)을 구분합니다. 이를 통해 면접 태도, 몰입도, 학습 동기를 정성적이 아닌 객관적 지표로 평가할 수 있습니다.

⑤ 휴먼-로봇 상호작용(Human-Robot Interaction)
로봇이 인간의 표정을 인식해 진짜 미소(AU6·AU12)와 가짜 미소(AU14)를 구분함으로써, 정서적 공감 및 반응 알고리즘을 개선합니다. 이를 통해 인간과 로봇 간의 상호작용을 보다 자연스럽고 감정 친화적으로 발전시킬 수 있습니다.

1 Smile: A Powerful Tool
2 Ekman, P. & Friesen, W.V. J Nonverbal Behav (1982) 6: 238. https://doi.org/10.1007/BF00987191
3 What Science Has to Say About Genuine vs. Fake Smiles
4 Retrieved from https://sonnemann.files.wordpress.com/2012/05/paul-ekman1.png
5 FaceReader
6 https://en.wikipedia.org/wiki/Facial_Action_Coding_System
7 https://www.youtube.com/watch?v=yRB_UBef-sA&t=124s
8 Facereader Online
9 The Observer XT
10 Patronus Charm By J.K. Rowling on Pottermore