ABOUT

What is Think Face Project ? 似顔絵エンジンのベース研究について

コンピューターが似顔絵を描くとは?

似顔絵エンジンの開発は、テレビ電話における動画像の効率的伝送に関する研究から始まりました。
研究では顔写真と頭部の3次元形状モデルを使い、少ない情報で顔動画像を送信・再生する理論を確立しています。その過程で写真から顔の特徴を抽出・解析する方法や、顔の認識・認知、類似などについて、工学的なアプローチでの研究が重ねられた結果、「似顔絵エンジン」のベースになるシステムが生まれました。このシステムでは、写真を画像加工ソフトで絵にするのではなく、画像入力した顔を解析して、顔の個性を構成する特徴を抽出して数値化。コンピュータ―がその数値をもとに顔の輪郭やパーツの特徴を再現し、似顔絵を描くというものです。
数値に基づくデジタル似顔絵は、喜怒哀楽を変化させたり、喋る、歌うなど、アニメーションのように動かしたり、特定の画風にタッチを変えるなど、アレンジの自由度が高く、既存の「似顔絵」のイメージを打ち破る新しい可能性を秘めています。

似顔絵を描く=顔のデータ化

似顔絵エンジンのユニークなポイントは、似顔絵を描くプロセスで顔の特徴を数値化できることです。人の顔の特徴を表現する数値=スコアは固有のもので、一卵性双生児でも完全には同じではなく、精度が上がれば将来的には顔認証などへの応用も考えられます。また、これまで「顔が似ている、似ていない」の判断は、人の感覚にすぎませんでしたが、顔スコアを利用すれば、相似・相違を数値で比較検討できるため、AI時代の人×コンピューターのコミュニケーションでも幅広い活用が期待できます。

様々な顔輪郭形状の類似度の例

似ている
順位12345678910
組合せ7と101と23と44と93と95と102と81と61と85と7
類似度0.990.960.840.840.780.750.730.730.660.64

What are people’s faces? 人間の顔からわかること、とは?

人間の顔は情報の宝庫

太古の昔から人類は生き残るために、意識的にも無意識的にも人の顔に注目してきました。人は、他人の顔を見て、個人を識別したり、感情や内面を感知したり、目線や瞬き、口の動きや発語から意思を読み取るなど、顔はコミュニケーションに欠かせない情報源です。学問の世界でも動物学、医学、心理学、工学などの自然科学はもとより、社会学、芸術などの多様な分野で研究対象とされ、現在「顔学」として分野をまたぐ学会も設立されており、その成果は各方面での技術開発やビジネスに活かされています。

「顔」テクノロジーの活用

「顔」にまつわる研究はテクノロジーの分野でも活用されています。
デジタルカメラの顔検出機能、プリクラなどでの画像加工、空港などの出入国管理、入退室管理やスマートフォンなどに活用される顔認証、CGやゲームキャラクターなどの表情や顔の動きなど、工学的なアプローチでの顔の測定や解析、データ化技術が応用され、来るべきAIやVR、ロボット開発などにも重要な意味があります。

How do computers differentiate between people’s faces? コンピューター×似顔絵ロジック

コンピューターはどうやって顔の特徴を捉え、描くのか?

輪かくの形状はどうやって把握するの?

要素形状の組み合わせで認識する
コンピューターは人の顔の輪かくを、幾何学的な要素形状の組み合わせで認識します。顔が要素形状のどういう組み合わせで構成され、どれがどの割合で配合されているかを解析し、数式化することで処理できるようになります。

顔の形、目鼻口などの配置はどう調べるの?

特徴点という点で検出する
人間の顔の特徴は、顔の輪かく形状(顔の大小、縦横比、横幅のふくらみ、顎の長さ、三角か逆三角か、左右の非対称度合など)、眉、目、鼻、口などの顔パーツの形状のほか、鼻の下の長さ、眉と目の距離などのパーツの配置で認識されます。これらの顔の特徴は「特徴点」という156個の点で検出されます。実写の顔画像を入力して得た特徴点群は、平均顔の特徴点群と比較され、形状と配置の情報に分けて主成分分析により解析されます。

特徴点の自動抽出結果

似ている、似ていないの判断は?

「平均顔」との違いを数値化して判断する
コンピューターが物事を判別するためには基準値が必要です。そこで10代から60代の男女300人の顔を集め、抽出した特徴点を平均した「平均顔」を作成しました。似顔絵を描くときは、入力した顔画像が基準の平均顔の特徴からどのくらい離れているかを比較検討してスコアをはじき出し、スコアをもとに似顔絵を描きます。描いた線に顔の色調、濃淡から割り出した色を塗り、似顔絵を完成します。

平均顔
特徴点の自動抽出結果
平均顔

似顔絵の自動生成・図解

自動検出された顔は一目で確認

似顔絵エンジンでは、特徴スコアを比較検討したり、対話的に手動調整したりするために、対話型操作システムのインターフェース画面を構築しています。顔画像からの主成分分析は自動的に行われますが、分析された結果を一目で確認できる仕組みになっています。

Future direction of Think Face Project まだまだ進化する似顔絵エンジンの機能

似顔絵の品質向上

似顔絵エンジンの研究では、精度や芸術性の向上、顔データを利用した幅広い活用を目指した研究が進められています。

言葉から似顔絵を描く

対話型の操作システムを利用し、平均顔から出発して「釣り目」「ぱっちりした目」といった特徴を足したり、あるいは、「優しい印象」「厳しい印象」など言葉で表現された印象を強調することで「目指す顔」を描くことができ、元写真がないケースでの似顔絵描画も可能になります。

タッチを変える

似顔絵には似顔絵画家のタッチがつきものです。
現在、ベースの似顔絵に誇張を加え「〇〇風」の似顔絵を描く技術を開発しています。
少女漫画風、水墨画風、浮世絵風、特定の作家のタッチを反映したデフォルメやアレンジにも対応していきます。

平均顔の精度向上

現状の平均顔は日本人300名の平均モデルを使っていますが、母数の多様性や数を増やしたり、ニーズに合わせて属性を変えたりすることで必要な平均顔が得られ、用途に即した精度の高い似顔絵を描くことができます。

多様な類似顔検索

実写画像では判定が難しい客観的な「似ている・似ていない」を踏まえた顔検索ができます。自分がどのタレントに似ているか、数値でチェックしたり、役のイメージによる俳優のキャスティング、自分の顔がどのくらい「馬顔」かといった「〇〇顔度チェック」のようなエンターテインメント分野でも活用できます。
また、顔の上部と下部とでの成長の仕方の違いを踏まえて、子どもの顔から大人の顔への成長予測を行うことで、複数の顔からの親子検索をすることも可能です。