未来の文字入力を実現するFacebook PinchTypeって何？

2020.06.22

投稿者: chiebo

VR空間での文字入力を円滑に実現するにはどうしたら良いか？
この問いに対して、
「Facebook Reality Labs」
の最近の成果が話題になっています。

VR体験中のユーザーはヘッドセットを使用しているため、リアルキーボードを通じた文字入力が困難なケースが多く、現時点で有効と思われる方法はまだ見いだせていません。
そんな中、Facebookの技術者が考案した「PinchType」という新しい手法が、一定の成果を出しつつあるようです。
今回の記事ではその内容についてご紹介していきましょう。

この記事でわかること
・PinchTypeの概要
・技術と解決すべき課題
・ジェスチャー入力のアイディアとなったのは映画とは

Facebookの研究者が考案したPinchTypeの概要

「PinchType」を発表した「Facebook Reality Labs（FRL）」は、Facebook傘下であるOculusの研究開発部門です。
元々はOculus Researchという名称でしたが、2018年に改称されFacebookとの緊密な連携のもと、VR/AR関連の技術開発に取り組んでいる部署です。
自動運転技術やAIなど、近未来の技術開発に積極的に取り組んでいるFacebookですが、中でもVR/AR分野にはかなり本格的な投資をしていることで有名です。*注1

VR体験中のユーザーは、仮想空間内に視覚が縛られてしまうため、たとえPCが目の前にあってもリアルなキーボードを認識することが難しい状況です。
スタンドアローン型のヘッドセットならなおさらで、キーボードすら存在しない状態でVR体験をすることになってしまいます。
受動的にVR体験をするだけならまだしも、何らかの入力作業が必要なケースでは、いまだに有効で快適な手法は開発されていません。

仮に、文字入力に関してVR空間に仮想キーボードを出現させたとしても、一つ一つの文字をスピーディかつ正確にさし示すことが難しいことから、有効な入力方法の開発が待たれているところでした。
今回、FRLが発表した「PInchType」という技術は、現時点ではまだ十分とは言えないものの、未来のVR空間内での有効な文字入力の手法として可能性を秘めています。
では、具体的にどのような操作をするのか詳しく説明していきましょう。

QWERTYキーボード上で文字と指を対応させる

「PInchType」で使用するのは、一般的なQWERTYキーボードです。
仮想キーボードをVR空間内に出現させ、タイピングに利用します。
ただし、仮想キーボードをVR上でタッチするのではありません。
仮想キーボード上のどの文字に指が触れたのかを正確に判断するトラッキング技術を実現するのが現時点では難しく、まだ有効とは言えません。

仮想キーボードはあくまで対応する文字の確認と、入力された文字列を視認するためだけに表示されます。
実際の入力はというと、親指とその他の４本の指を接触させることで実行されます。両手の親指を除く８本の指がキーボードの文字列と対応しています。
これは、タッチタイピングするときの指とキーボードの文字との対応関係と同じですので、リアルなキーボード入力に慣れている人はそれほど戸惑わないでしょう。具体的には次のような対応関係になります。

・左手小指・・・QAZ ・右手小指・・・P
・左手薬指・・・WSX ・右手薬指・・・OL
・左手中指・・・EPC ・右手中指・・・IK
・左手人差し指・・・RFVTGB ・右手人差し指・・・YHNUJM

８本の指それぞれが、文字群に対応しています。
例えば「T」を入力したい場合、左手人差し指が対応する文字群の中に「T」があることを確認できますので、左手人差し指を親指でタッチします。

ここまではスマホで利用される「フリック入力」をイメージさせますね。
しかし、PinchTypeでは選択された文字群から特定の文字を指定する操作はありません。
今の例でいうと、「RFVTGB」という文字群は指定しますが、この中から「T」を特定する操作はしなくて良いというのです。

「ちょっと、何言ってるかわからない？」
それはそうですね。ではもう少し詳しく説明していきましょう。

ここで入力されるものが単なる「文字」ではなく、一連の「文章」であることが重要となります。
「This is a pen.」
という文章の入力を例にとってみましょう。

「T・h・i・s」
がある文字列はそれぞれ、
「左手人差し指・右手人差し指・右手中指・左手薬指」
に対応しています。

そこでこの順番に、左手なら左の親指で、右手なら右の親指でそれぞれの対応する指をタッチしていく、これで「This」の入力は完了です。
これだけでは、「文字群」は指定したものの「その中のどの文字なのか」は特定しないままなのですが、ちゃんと「This」が入力されるというのがこの「PinchType」の面白い点です。

上記の操作では４つの文字群が指定されました。
このままでは、それぞれの文字群に属する文字数をかけただけの単語の候補（６×６×２×３＝２１８通り）が存在することになります。
しかし、その候補の多くは単語として全く意味をなさないもので、この組み合わせの中から「４文字で構成される単語で、文章の始まりによく用いられるもの」
であれば、限られた候補の絞り込みができます。
これを膨大なデータベースの中から瞬時に抽出し、特定する作業をPinchTypeでは実行しています。

例えば比較的長い文字数である「important」という単語であれば、文字群を単純に組み合わせた総数だけでいうと膨大な数になってしまいます。
しかしその中で、
「9文字で構成される意味のある単語」
となると、かなり確実に絞り込まれるはずです。

実際、日常的に使われる単語数ならせいぜい数千語のオーダーで十分でしょうし、１万語も使えればかなり専門的な文章も構成することができます。
そう思えば、
「一般的に使われる単語の中から指定された文字群の順番に対応するもの」
はかなり高確率に指定できそうです。

とはいうものの、例文２番目の「is」や３番目の「a」は文字数が少なすぎて特定が難しいように思えます。
ここで用いられるのが「自然言語解析」と呼ばれる技術です。
パソコンなどの文字入力の際に利用される、AIによる予測変換を想像するとイメージが湧きやすいのではないでしょうか。

前後の文章を判断し、適する単語を予測して変換する技術が「自然言語解析」であり、「PinchType」でもこれと同様の手法が用いられます。
上記の例であれば、
「Thisの後に続く、２文字で構成され指定された文字群に対応する単語」
から
「is」
が適すると判断されます。

ここまで紹介したように、PinchTypeの特徴としては
・指の接触で文字群を指定するので入力が比較的楽
・使い慣れたQWERTYキーボードを模しているので習得が容易
・文字群の指定だけなので、入力操作が（他のVR入力手法に比べて）早い

などが挙げられます。*注2

背景となった技術と解決すべき課題

PinchTypeを実現するために、自然言語解析技術が重要な役割を担っているのは前述しました。
Facebookはこの分野に力を入れており、その基盤となるのがAI技術やディープラーニングといった最先端技術であることが想定されます。
AI技術は応用範囲が広いため、GAFAを筆頭に、IT産業の多くは何らかの形で今後関わっていくことになるでしょう。

一つ特筆する点があるとすれば、FacebookはVRで空間認識に用いられるカメラについては、決して高機能ではないものの利用にこだわりを持っていることではないでしょうか。

VR空間内で特定の場所を指定するためには、深度センサーがある高機能カメラの利用や、グローブの装着をすることによって比較的実現しやすいものです。
しかしFacebookでは、こうした煩わしい周辺装置を極力排除した技術開発に力を入れています。
スタンドアローンかつ、カメラ単体で動作するVR技術の実現を目指しているようです。
実際、それが有効に実現できればユーザーにとって利用しやすいのは間違いありません。

このような方針から、PinchTypeでもグローブの装着や指先にセンサーを取り付けるなどの手法は採用していません。
あくまでカメラで認識した指の動きをトラッキングすることで、入力操作を完了させるようです。
そのため、ハンドトラッキング技術については高い認識力が要求されますし、そもそもカメラの範囲外に指先がある場合は認識すらできないことになります。
この辺りの改善がより重要となりそうです。

これまでのVR空間内での一連の文字入力手法よりは習得しやすく、スムーズに実行できることは強みとなるでしょう。
しかしリアルキーボード入力に比べると、スピードの点ではまだまだ課題がありそうです。
FRLの計測では、PinchTypeでの入力スピードは12単語／分程度であり、リアルキーボード入力の40単語／分に比べて３分の１程度にすぎません。
最新のスマホでは35単語／分程度の入力スピードが実現可能であることからしても、決して快適な入力環境を実現しているとは言えない水準に留まっています。

ジェスチャー入力のアイディアとなったのは映画「マイノリティ・レポート」

2002年公開の映画「マイノリティ・レポート」はご存知でしょうか。
スピルバーグ監督、トム・クルーズ主演、フィリップ・K・ディック原作というSFファンにとって夢のような組み合わせの映画でした。
原作者のフィリップ・K・ディックは「ブレードランナー」の原作となった「アンドロイドは電気羊の夢を見るか」や、シュワルツネッガー主演で映画化され数年前にリメイクもなされた「トータルリコール」など、多くの映画化作品がある有名作家です。

「マイノリティ・レポート」は、SF映画としてストーリーも素晴らしいものでしたが、そこで表現されていた先端技術が実際の未来を予見するようなものであったことからも話題になりました。
2054年を舞台とするこの映画の冒頭で、トム・クルーズ扮する犯罪予防局の担当官がモニターに投影された映像データをジェスチャーで操作するところが映し出されます。
まるでオーケストラの指揮者のような、今から見るとやや大げさな動作が当時はスタイリッシュでまさしくSFの世界を感じさせるものでした。

先行する研究として、石井裕副所長が率いる「情報に直接触れられる研究」があり、そこで博士号を取得したジョン・コフラーという人物が、ジェスチャー入力によるユーザーインターフェースを提案したことが、このユニークな映像表現に信憑性とリアリティを与えています。
実際、映画「マイノリティ・レポート」は、その後の技術開発にも大きな影響を与え、実現すべき未来技術としてチャレンジする研究開発者も多かったのではないでしょうか。

現在では、マイクロソフトのkinectにおいて深度センサーを用いたジェスチャー入力を実現しています。
さらに多くの人が日常的に利用している、スマホなどのモバイル端末状でのジェスチャー操作も、考え方によっては「マイノリティ・レポート」をイメージさせるものと言っても過言ではなさそうです。*注3

【まとめ】
今回の記事では、現在開発中の新技術「PinchType」について、その概要をご紹介していきました。
現在、スマホやタブレット端末で使われているタッチ操作によるジェスチャー入力も、一番最初に登場した時には大型モニターを使ったものであり、そのデモ映像はまるで「マイノリティ・レポート」が描いた未来世界のように感じられました。
「PinchType」についてもまだまだ課題は多いようですが、どうやら2054年を待たなくても、VR空間での快適でスマートな入力手法を、私たちは手に入れることができそうな予感がします。

■参考文献
注1
Mogura VR 「研究施設名から消えた「Oculus」変わる名前と変わらぬ目標」
https://www.moguravr.com/oculus-research/

注2
UPLOAD　”Facebook Researchers Present ‘PinchType’ Typing System For Hand Tracking”
https://uploadvr.com/frl-pinchtype-ar-vr-keyboard/
BRIDGE 「仮想空間で文字入力はどうなる？ーーFacebookが「PinchType」で示したその方法とは」
https://thebridge.jp/2020/05/how-to-input-characters-in-virtual-space-pickupnews

Reddit　”Facebook Reality Labs] PinchType: Text Entry for Virtual and Augmented Reality Using Comfortable Thumb to Fingertip Pinches”
https://www.reddit.com/r/oculus/comments/g6u1dr/facebook_reality_labs_pinchtype_text_entry_for/
ARPlanet.Xperience facebook
https://m.facebook.com/ARPlanet.Xperience/posts/1679931052155073
MoguLive 「VRでの文字入力に新方式、指で輪を作って入力するキーボード」
https://www.moguravr.com/facebook-vr-keyboard/
ACM SIGCHI　”LBW080: PinchType: Text Entry for Virtual and Augmented Reality Using Comfortable Thumb to”
https://youtu.be/EPPAGApfAzc

注3
シネマトゥデイ　「『マイノリティ・リポート』は何がすごかったのか…実は続きも！」
https://www.cinematoday.jp/page/A0005016
CINEMORE　「『マイノリティ・リポート』SF映画の世界が現実に！？フューチャリストの活躍と現実世界への反映」
https://cinemore.jp/jp/erudition/475/article_484_p1.html
Wireless Wire NEWS　「プリコグが犯罪を予知する世界に残る “指先のジェスチャー”は、市民権を獲得しつつ進化中」
https://wirelesswire.jp/2015/12/48358/