最近、AIによる動画生成に注目が集まっています。
短い時間の動画の中には、クオリティがなかなかのものが多いです。
ただ、個人的な感覚としては、まだ実用化というか、商用レベルでは難しいのかなという印象。
理由として、
- 繋がりに違和感ができやすい
- 荒唐無稽な動画ができやすい
- 数を作成する必要がある
あたりがネックかなと。
Youtuberなどにとっては、別に繋がりに違和感があろうが、荒唐無稽だろうが、それ自体がネタになるのですが、企業にとっては採用しにくいのかなと。
で、個人的に全く異なるアプローチで動画生成AIを作ったらどうかなと思いました。
人間と背景を分けて考える
まず人間と背景を分けて考えるというのが基本となるアイデアです。
人間は人間で生成して、背景は背景で生成して、最後に合成するということ。
ちなみに、人間と書きましたが、これは動物でもかまいません。
ただ、一番今、多くの人が欲しいのは動く人間の動画なんじゃないかなと。
人間の動きのモーションキャプチャーを集めて学習
ここまで書いたら、何をするのかは、わかりやすいかなと。
例えば、野球をしている人間の動きをモーションキャプチャーで集めて、それをAIに学習させるということです。
つまり、人間の動きをAIで生成するということ。
テクスチャを貼る
人間の動きが生成できたら、あとはそこにペタペタとテクスチャを貼っていくわけです。
今の技術なら、結構リアルに近いものも作れるんじゃないかなと。
もちろん、その部分だけ人間がやるという方法もあります。
で、背景も3Dで作成して、ガッチャンコとくっつけるという感じ。
最初はもしかしたら2Dでやるというのも手かも。
動きに違和感が無い
このアイデアのメリットは、人間の動きに違和感が無くなるという点です。
AI特有の腕が4つあるとか、曲がってはいけない方向に曲がるとか、背景と融合してしまうといったことが無くなります。
人間の動きに合わせて背景を変えることもできそう
作り方にも寄るかもしれませんが、人間の動きに合わせて、背景を変えるということもできそうな気がします。
走っていて、転ぶという動画を作る時に、転んだところに障害物を作るということです。
もちろん、これも後から人間がやっても良いですけど、理想的にはAIが全部やってくれるのがベストかなと。
長尺動画や複雑な動きの動画も作りやすい
また、この方法では長尺動画や複雑な動き、例えば殺陣などもAIに作成させることができそうです。
今の動画生成AIの課題というか、欠点というのは、動画の流れが元のデータに依存しないように、複数の動画を組み合わせている点。
なので、最初に書いたように変な動画ができやすくなってしまうんですよね。
加えてAI自体が動画のストーリーを理解しているわけではなく、次のコマに近い画像を生成するという方法なので、一度変な方向にいってしまうと、戻ることができなくなってしまいます。
そのあたりは今後改善されていくのでしょうが、個人的にはすぐに明確な解決策が思い当たりません。
しかし、本アイデアであれば、人間の動きに限定して学習させ、さらにそもそもモーションキャプチャーであれば無理な動きをしないですから、関節を変な方向に曲げやりもしなくなるかなと。
独創性には欠けてしまうのかもしれませんが、よくあるパターンのものは作りやすい気がします。
パッと今思いついたのは、主人公だけを人がやって、その動きに合わせてAIに敵の動きを作らせるとか面白そうだなと。
そんなことを思いました。まあ、もうすでに何処かの企業がやっているかもしれませんが。
