Google Storyboardを使えば誰でも漫画が作れちゃう理由

インターネットではYouTubeやニコニコ動画など、動画全盛の時代ですが、Pinterestなどの写真中心のサービスも根強い人気があります。

静止画には静止画の瞬間的な美しさがありますよね。また、映画は映画で楽しいですが、漫画のコマ割りを読んでいくのはまた、映画とは違った楽しみがあります。

そんな漫画のコマ割りを自分で作れたら楽しいですよね。

GoogleがリリースしたStoryboardとは

最近リリースされたGoogleの「Storyboard」は、動画から漫画のコマ割りのような名場面を自動抽出してくれるという優れものです。動画の中で流れていく映像の中には、「あ！その名場面すごい！」というような、静止画にしたいものがありますが、その名場面を自動的に抽出して静止画にして、さらに漫画のようにコマ割にしてくれるのが「Storyboard」です。

技術的にすごいのは、スマホなどで普通に撮影した動画を読み込ませるだけで、アプリの側で「このシーンは名場面だな」というのを自動的に判断してくれるところでしょう。「ここは静止画にしたいほどすごい！」「感動的！」という場面を自動抽出してくれるのであっという間に、名場面集が漫画のコマ割りのように自動生成されるという、感動的なアプリです。

Googleならではの高度なテクノロジーの結晶

このブログをお読みの方は、技術的なことに関心の深い人が多いと思いますので、なんでこんなことが可能になってしまうのか、というところを少し掘り下げてみましょう。

こうした技術はGoogleが以前から研究している「画像の対象認識」や「画像を見た時の人物の分類がどうパターン化されるのか」といったことに関するアルゴリズムがベースになっています。

画像の対象認識では「TensorFlow Object Detection API」が使われています。TensorFlow Object Detection APIはGitHubから試すことができます。UNIX系OSやWindows、MacintoshいずれのOSでも操作できますので、興味のある方はぜひお試しください。

具体的に何ができるかについては、Googleの研究部門が執筆しているこの記事が非常に参考になります。

また、画像を見た時の人物の分類がどうパターン化されるのかについては、「Semantic segmentation」という技術が使われています。

これによって、動画の中に複数の人物がいたとしても、一人の人物を追って名場面を抽出するということが可能になります。ただ単に名場面だけ集めたのでは、漫画のコマ割りのようにストーリー性はできてきませんよね。バラバラのシーンの画像の寄せ集めが出てくるだけです。

Googleのこの「Storyboard」は、動画の中の人物を「Semantic segmentation」（意味を持った分類＝対象人物ごとに分類する技術）によって追いかけて、一つのストーリーを作り出してしまうというわけです。

このあたりの情報も、Googleの研究部門が発表しているこの記事に詳しいので、ご参照ください。

Storyboardは現在Android版のみ提供されています。

Androidユーザーの方は、ぜひお試しください！

株式会社キャパでは、アプリの企画・開発についてご相談を承っています。

アプリを作りたいので、具体的な提案が欲しい。頭の中にあるアイデアを本当に実現できるのか知りたい。予算内に収まるのか？
などのお客様のご相談に、親身に応じます。
アプリ開発：実績のご紹介