自動表情分析アプリは、オンライン面接でどの程度の効果を示すのか

自動表情分析アプリは、オンライン面接でどの程度の効果を示すのか

表情分析アプリ「心sensor」を実験した様子

◆清水建二の微表情学<第101回>

 こんにちは、微表情研究者の清水建二です。

 近年、国内外の様々なメーカーが自動表情分析アプリを開発し、新しいビジネスを展開しています。これまで自身の目と手を使って表情分析を行ってきた表情分析の専門家らにとっては、膨大な時間を費やす表情分析の手間が省かれ、心理分析に傾注することができます。

 したがって、ビジネスマンや研究者は、こうしたアプリの応用可能性に大いに期待し、長短を把握しながら、日々試行錯誤をしています。

 そこで、今回は「心sensor(※1)」という表情から感情を認識するアプリケーションを使って、その活用可能性について考えたいと思います。

◆面接でくるくると変化する求職者の表情をどうとらえるか?

 最初に私が思いついた活用法は、採用面接の場面です。下記の動画は、印象に残った2つの出来事について語ってもらっている場面です。心sensorを使って表情分析してみました。約3分の動画です。ご覧ください(※2)。

https://youtu.be/bj51aLlZZ4o

 前半の約1分30秒ではアルバイト時代の出来事について、後半の約1分30秒では有名な先輩俳優との思い出について語っています。左下のグラフを見ると、対象者の表情変化が時系列で変化する様子がわかります。

 この対象者が求職者で、みなさんが採用面接官だとします。面接官のみなさんは、これまでの印象的な出来事や体験を質問しています。そこからこの求職者の性格や資質を判断しようとしていると仮定します。このとき、この表情変化という情報をどう利用しますか?

 喜び表情がたくさん生じている箇所についてもっと聞く?

 ネガティブな表情が生じている箇所に注意する?

 後半の話題では表情反応が乏しいゆえ、後半の話題についてもっと聞く?

 表情と言葉から、心理を推測する?

◆豊かな表情で話している話題=当事者意識がある話題

 いろいろあり得ますが、どう利用するかは、採用する会社の価値観や基準によるでしょう。特定の専門スキルや性格の有無があるかないかを採用基準にしていない限り、ある人物を偏りなくよりよく知るためには、表情が豊かなところに注目し、話をよく聞く、質問する、というアプローチがよいと、表情分析の観点からアドバイスすることが出来ます。

 私たちの感情はよりよく生きるためにあります。失敗を恐れなければ、予防策を講じることが出来ず、同じ失敗で身を亡ぼすでしょう。不正されることに怒りを感じなければ、損ばかりする人生になってしまうでしょう。

 何かを成し遂げることに喜びを感じなければ、頑張るモチベーションを保つことは出来ないでしょう。どんな感情・表情でもよいのです。喜び表情でなくても構いません。ネガティブな表情でもよいのです。全部まとめて、表情が豊かならば、その話題を大切に思っている可能性が高いと考えられます。

 つまり、ある人物が感情的になるということは、その人物が生きるために重要だと思っているからであり、もっと言えば、自分事、当事者意識が強いからこそ、そうなるのです。

 そして、抱いている感情が強いほど、表情筋の動きも強くなることが知られています。これらの理由から、求職者が表情豊かに話している話題について深堀して話を聞くことを推奨するのです。

◆表情の豊かさから、深堀する話題の優先度を決める

 例えば、求職者が自己の様々な意見や想いを語っている場面の動画を撮影します。

 オンライン面接ならば、PC内蔵のカメラを利用でき撮影・記録しやすいでしょう。撮影の際には、もちろん求職者にあらかじめ動画を記録していることを伝えておきます。

 そして、表情分析アプリで動画を分析し、表情豊かに語っている話題を特定します。先の動画で具体的に見てみましょう。出力を操作し、ポジティブ・ネガティブ表情に関わらず、表情が豊かな状態の推移を表示させます。

 すると以下の画像(※2)の左下に表情の豊かさの推移が青いグラフで表示されます。このことから、前半の話題が表情豊かに語られているとわかります。そして、その話題について次の面接で優先的に深堀して聞いていけば、求職者の大切にしたい想いを効率的によりよく理解することが出来ます。

 人の面接官だとどうしても、求職者の話す話題や言葉そのものに関心が行ってしまい、その話題や言葉にどんな感情が込められているか見逃してしまうかも知れません。

 言葉では取り繕うことが出来ても、感情や表情を本物と同じように見せるのは難しいものです。また、適切なトレーニングを積むことで、客観的に表情の動きを捉え、生身の目でも求職者の表情の豊かさに気づくことは出来るでしょう。

 しかし、トレーニングの時間や予算がない、あるいは、トレーニングしてもどうしても面接官の間でスキルの差が生じ、面接官同士が同じ結論に至らない、そんなとき、こうしたアプリを利用する価値が見出せるでしょう。

◆求職者のウソを見抜こうとすることは重要か?

 ところでこの動画ですが、本物の採用面接場面ではなく、空気を読むを科学する研究所で行われたある実験の一コマです。

 印象的な出来事について、一つが真実で、もう一つがウソを実験参加者に語ってもらいました。この話を聞いている第三者に、自分の話が信じてもらえれば賞金がもらえ、信じてもらえなければこれまで勝ち得た賞金が没収されるという設定でした。

 前半と後半、どちらがウソの話だと思いますか?正解は、後半の話です。ウソだからこそ当事者意識が低く、表情が豊かではないのかも知れません。

 面接の場で求職者の話す内容がウソかどうかを見抜く必要もあるかも知れません。しかし、多かれ少なかれ求職者は自分を飾るものです。

 また、ウソというものはそうそう見抜けるようにはなりません(警察官などウソに日常的に接している職種の方々でも、ウソを見抜く精度は、チャンスレベルをわずかに超える程度だと様々な研究からわかっています)。

 そうであるならば、ウソを見抜こうとするより、求職者が大切にする想いを聞き、その価値観が社風に合うか否かで判断するのがよいのではないでしょうか。

※1心sensorとは、動画に映る人物の表情を感情認識AIで分析するアプリケーションです。株式会社シーエーシーによって開発された商品です。詳しくは、公式サイトを参照して下さい。

※2本動画・画像の権利は、株式会社空気を読むを科学する研究所に帰属します。無断転載を禁じます。

<文/清水建二>

【清水建二】

株式会社空気を読むを科学する研究所代表取締役・防衛省講師。1982年、東京生まれ。早稲田大学政治経済学部卒業後、東京大学大学院でメディア論やコミュニケーション論を学ぶ。学際情報学修士。日本国内にいる数少ない認定FACS(Facial Action Coding System:顔面動作符号化システム)コーダーの一人。微表情読解に関する各種資格も保持している。20歳のときに巻き込まれた狂言誘拐事件をきっかけにウソや人の心の中に関心を持つ。現在、公官庁や企業で研修やコンサルタント活動を精力的に行っている。また、ニュースやバラエティー番組で政治家や芸能人の心理分析をしたり、刑事ドラマ(「科捜研の女 シーズン16・19」)の監修をしたりと、メディア出演の実績も多数ある。著書に『ビジネスに効く 表情のつくり方』(イースト・プレス)、『「顔」と「しぐさ」で相手を見抜く』(フォレスト出版)、『0.2秒のホンネ 微表情を見抜く技術』(飛鳥新社)がある。

関連記事(外部サイト)