【製品化事例】顔認識システムを使った画像合成インスタレーション研究

当社では、デジタルサイネージを利用したインスタレーション開発もしています。その中でも、過去の導入実績があり、かつ、コストも比較的手頃に実現可能である事例について紹介いたします。

リクルートスタッフィング presents B.LEAGUE アルバルク東京さまのホームゲームにおいて実施した「あなたRasisaミラー」についてです。

• 

• 

できること

モニターの前に立ったユーザーの顔を検知し、肌の色を調整しながら、
用意した画像へ合成します。
このとき、目の位置合わせや、肌の境界線をうまくボカシしながら、
自然に見えるように調整します。

さて、実際に開発機で動作させてみます。モニター前に立つと動作開始です。

スキャン完了…合成中…

…

ばっちり合成されました！！！

うまく撮影するポイントとしては、
カメラとの距離は指定された場所（大体の位置を地面にテーピングしています）で、前髪が映りこみやすいのでアップしてもらえると、きれいに合成できます。

体験はおよそ1回あたり20～30秒程度、現地にお越しいただいた記念としてSNSにシェアされるなどの使われ方でご好評をいただいています。

インスタレーションのシステム構成

• Windows OS デスクトップPC
• webカメラ（特別なモーションセンサー付きカメラは不要です）
• 結果表示用のモニター

が、1式の最小構成です。
上記を複数セット用意することで、同時に出しわけることも可能です。

1day（8H）ほどの連続稼働についても動作可能。冬の札幌で屋外のイベントにおいても、目立ったトラブルなどなく稼働している実績があります。

今後の発展や展開

以下については既存のテクノロジーと組み合わせることで、2020年ごろに世の中で目にかかることができそうなサービス予測です。

骨格検出によるアクションの追加

Google AI Blogにて、 多角度からの撮影データを機械学習によって分析し、骨格検出の精度向上を図るアプローチの発表がされました。
早速、筆者もapkをインストールして試しましたが、たとえ一部が隠れてしまったり遠くから撮影した場合においても、かなりの精度でトラッキングされるようになっています。

Oculus Questにも同様の技術が利用され、おそらくカメラ付きのデジタルサイネージにおいて、ハンドトラッキングまでは一般化していくかと思われます。

表情データをAIで補完することによるアニメーション制御

こちらもGoogle JapanソフトウェアエンジニアのPramook Khungurnさんが公開したyoutubeから。
顔認識システムのベースであるOpenCVやdlibといった特徴点検出アルゴリズムと、AIは密接にかかわっています。

そのため、AIの研究が進んでライブラリとして一般化されてくると、
我々がその体をコントローラーにして行うことができる行動も増えてくる、といった展望が期待できます。

おわりに

当社では、クライアントからの幅広いリクエストにお応えするために、
こういったインスタレーション向けアプリの開発 / 研究を日々行っております。
また施策を点で捉えて終わらせないためにも、統合的にUXを評価し、
改善に取り組むコンサルティングも致しております。

ご興味をお持ちいただけましたら、ぜひContactよりお問い合わせください！

開発・研究を一緒に行ってくれるメンバーも募集中です！