AppleがAR機能を強化、ARKit3で人間の認識を可能に
iOS 11以降、AppleはAR（Augmented Reality＝拡張現実）機能の拡充に注力してきました。2017年9月にリリースされたiOS 11には、AR開発者向けのフレームワーク「ARKit」を標準で搭載。iPhoneやiPadのカメラを使って、現実空間の構造を認識したARを構築できるようになりました。そして2018年のARKit２で、AppleのAR機能は大きな進歩を遂げます。
このARKitが「ARKit3」にアップデートします。そして、ついに人間の動きを認識できる「People Occlusion」を搭載する予定です。WWDC 2019で話題を集めましたが楽しみですね。
この記事を読むと次の３つのことが分かります。
①ARkitの歩みとAR機能の概要
②Appleが注力するARの領域
③AppleのAR機能による可能性
ARKitの歩みと、ついに実現した人間の認識
機能を強化し続けてきたARKitについて、現在までの推移をまとめます。
ARKit1.0
2017年6月、iOSに初めて搭載された「ARKit1.0」は、端末のカメラ、内蔵されたCPU／GPU、モーションセンサーだけでARを実現し、高速処理と安定したモーショントラッキングが可能でした。しかし、機能は基本的なものに限られていました。
【主な特長】
l 平面推定、スケール推定、環境光推定の実現
l SceneKit （Unity、Unreal Engine、Appleの3Dフレームワーク）をサポート
l Xcodeテンプレートを用意
ARKit1.5
2018年3月、iOS 11.3のリリースとともに、ARKitも機能追加とパフォーマンス向上が行われました。このアップデートによって可能になったのは、壁に貼られたポスターなど垂直の画像の認識とトラッキングです。カメラが表示するリアルな世界の解像度を50％向上させ、オートフォーカス機能を追加するなど、画質も改良されました。
【主な特長】
l 2D画像の検出とトラッキング機能の追加
l 垂直面の検出機能を追加
l 丸いテーブルなど不規則な平面認識が可能に
l フェイストラッキングと組み合わせて、リアルタイムの装飾が可能に
ARKit2.0
2018年9月、iPhone XS、iPhone XS Max、iPhone XRと「iOS 12」のリリースとともに、AppleのAR機能は大きく飛躍しました。アップデートしたARkit2では、3Dオブジェクトの検出とトラッキングが可能になり、床や周囲の物を認識してARのオブジェクトに写し込ませるなど、リアリティの精度も上がっています。Face IDをアニメーションに変える「アニ文字」も、ARKitの技術によるコミュニケーションツールです。
【主な特長】
l ３Dオブジェクトの検出機能を追加
l 特徴点の永続化と復元、複数人の共有と同時アクセスを可能に
l オブジェクト周囲を認識しテクスチャとして写し込ませる環境マッピングを追加
l フェイストラッキング機能に目線と舌を追加
ARKit3.0
ARKit3では、さらに画期的な進化を遂げます。2019年の秋にリリースが予測されるARKit3の大きな特長は、人間の動きを認識、トラッキング可能になったことです。
これまで、現実とCGの重なり方は一定でした。しかし、ARKit3では、ある部分はCGが人間の背後に隠れ、別の部分では人間の前面に見える、まさに現実と同じ自然な画像を再現します。これが「People Occlusion」と呼ばれる機能です。機械学習によって人間のシルエットを認識し、前後関係の奥行きを判定してCGと重ねています。
Appleのプレスリリースに掲載された動画では、人間が動き回ると、CGで作られたARが人間の動きに合わせて現実と同じように隠れたり見えたりしています。
参考：
Apple、アプリケーション開発のための画期的な新しいテクノロジーを発表
https://www.apple.com/jp/newsroom/2019/06/apple-unveils-groundbreaking-new-technologies-for-app-development/
人間を認識する機能としては｢Motion Capture｣も搭載される予定です。
これまでモーションキャプチャーといえば「特撮か？！」というような、マーカーを身体の各部分に付けた大掛かりなスーツを着用しなければなりませんでした。しかし、ARKit３では端末のカメラだけで人間の動きを認識します。2Dまたは3Dの骨格や関節の動きを検出し、VTuberのように仮想化されたキャラクターを動かせます。いわゆるインバースキネマティックという手法です。
「Simultaneous Front and Back Camera」では、フロントカメラとリアカメラの映像を両方取り込んだARを可能にします。たとえばユーザーの表情を認識およびトラッキングして、ユーザーが笑うとイベントが起きるなどの演出が可能になります。
また、「RealityKit」というフレームワークも追加されます。オブジェクトの重さなどを計算して、ノイズやモーションブラーなどのよりリアルなアニメーションを付け加えることができる機能です。立体音響などの効果により、仮想空間と現実の違和感をなくす高品質なARを実現します。
【主な特長】
l 人間を認識してARを表示するPeople Occlusion
l リアルタイムで人間を認識するMotion Capture
l フロントとリアのカメラを利用したSimultaneous Front and Back Camera
l RealityKitフレームワークの追加
Appleが力を注ぐARの領域
VR（Virtual Reality）の場合、閉鎖的な仮想空間を再現するため、どちらかといえばエンターテイメント要素の強いコンテンツが主流でした。しかし最近では、教育用コンテンツのほか、実用的なシミュレーションにも使われています。
拡張現実と呼ばれるARも、Pokémon GOのように現実に仮想空間を重ねることによるエンターテイメント分野が当初は話題になりました。しかしVRと同様、現在では産業分野における活用が拡大しています。
ARの活用分野とAppleの現状を整理していきましょう。
一般ユーザーのゲーム以外の領域
「わたしのはらぺこあおむしAR」のように絵本の世界のキャラクターが部屋に出現するエンターテイメント性の高い子ども向けアプリがありますが、今後、一般ユーザー向けに増加しそうなアプリは実用的なARです。
たとえば、地図にARで店舗情報などを重ねることにより、眼の前に見えている現実の風景にメタ情報のレイヤー（層）を加えることが可能になります。
AR機能を持った地図としては、GoogleがAR機能を追加したマップを2019年5月に発表しました。｢Apple Maps｣にも、AR実装の動きがあります。2018年後半から、Apple MapsとCore Location API、AR関連のAPIに強い開発者の求人が増加していることがApple関連の情報サイトで指摘されています。Googleマップに対抗して、Apple MapのAR対応も十分にあり得ます。
American Airlinesでは、混雑した空港内をナビゲーションするアプリを開発しました。カメラの映像に表示されたARの指示されたとおりに進めば、チェックインなど空有構内の重要な場所に、ブルーの動く歩道のような動画が表示されて案内してくれます。ARが実装されたマップもこのようなイメージになるでしょう。
ARKit – American Airlines AR Digital Wayfinding Experience
Groove Jones
教育の領域
Appleは40年に渡り教育分野に注力し、MacやiPadを学校に納品してきました。直感的に使いやすいUIを搭載したAppleのハードウェアは、子どもたちの教育には効果的なツールであり、AR機能が加わることで立体的な体験学習ができます。
「WWF Free Rivers」は、教室の机の上にARで自然界を作り出し、川の流れを変えたりダムを作ったりすることによって、人々の生活や生態系がどのように変化するかを学ぶことができるアプリです。さながら神様の視点で学べます。AR機能を導入したインタラクティブ（双方向）のコンテンツは、子どもたちに楽しみながら学ぶ機会を提供します。
WWF FREE RIVERS
L Prime
ビジネスの領域
2019年5月に行われたERP大手メーカーSAPのイベント「SAPPHIRE NOW」のキーノートにAppleのCEOティム・クック氏が登壇し、AR・機械学習の活用でSAPとAppleは提携し、エンタープライズ分野におけるARの活用を促進していくことを表明しました。
製造業におけるARの活用としては、現場の技術者のトレーニングの事例があります。マニュアルをゴーグルやタブレットに表示することで、コスト削減と生産性向上をはかります。生産、メンテナンス、保守の領域で、ARの商用利用は加速する勢いです。
BtoBにおけるARの活用は、これからさらに成長が予測されます。IT専門のリサーチ会社IDCによると2019年～2023年の5年間におけるAR/VR市場は、年平均成長率（CAGR）で78.3％を見込み、2022年にはソフトウェア分野でAR向けがVR向けを逆転し、首位になると推測しています。
参考：
2023年までの世界AR/VR関連市場予測を発表
https://www.idc.com/getdoc.jsp?containerId=prJPJ45301519
まとめ：AppleによるAR機能の可能性
開発者向けフレームワークのARKitが充実することで、一般消費者はもちろんビジネス分野でも活用シーンが拡がります。
ちなみに、WWDC 2019では「Reality Composer」も発表されました。これはプレゼンテーション資料を作る感覚で、ARコンテンツを作成できるアプリです。アプリ内のオブジェクトを配置して、表示させる順番やアニメーションを設定するだけでARコンテンツができあがります。開発者だけでなく、一般ユーザーが「創って楽しむ」ARツールをAppleは提供し始めています。
現実と仮想の境界をなくすAR機能を提供するApple。開発者としては、Appleの技術を使って、どれだけ楽しく便利なARを開発できるか、ということが求められています。
▼キャパの公式Twitter・FacebookではITに関する情報を随時更新しています！
建設・土木業界向け 5分でわかるCAD・BIM・CIMの ホワイトペーパー配布中！
CAD・BIM・CIMの
❶データ活用方法
❷主要ソフトウェア
❸カスタマイズ
❹プログラミング
についてまとめたホワイトペーパーを配布中
DOWNLOAD大手ゼネコンBIM活用事例と 建設業界のDXについてまとめた ホワイトペーパー配布中！
❶大手ゼネコンのBIM活用事例
❷BIMを活かすためのツール紹介
❸DXレポートについて
❹建設業界におけるDX
お問い合わせ
