メタの「Animated Drawings」で1枚絵にアクションをつける
先日見たこんな↓ニュース。Facebook運営会社のメタ（Meta）が、手描きイラストをアニメーション化するAIデータセットを公開したとのこと。手元の手描きイラストなどをWebブラウザ経由でアップロードし、簡単な手順でアニメ化できるっぽい。
メタ「ANIMATED DRAWINGS」のWebサイト。子供が描くような抽象的だったり非現実的だったりする絵をAIが効果的に認識するためのプロジェクトから生まれたAIデータセットで、それを実際に使って絵をアニメーション化できるサイトだ。 うっそーん、つい最近世間を騒がせた「構図制御機能Multi ControlNetで画像生成AIのStable Diffusionに自由なポーズの人物絵とかを出力させてさらにアニメーション化する」みたいなヤツ？ アレなの？ と思ったが、アレと比べるとできるものも方向性も全然違うっぽい。
子供が描くような抽象的だったり非現実的だったりする絵をAIが認識し、それに動きを加えるということらしい。なーんだ、と思ったが、じつはオモシロいのでは？ と思った俺。
また、コレって手描きの絵とかをWebサイトにアップロードすると、絵がアニメーション化するというもの。iPhoneだけでデキちゃうのでは？ と思って試したらすぐデキた。iPhoneだけでデキるお絵描きのアニメ化、まずはいちばんシンプルな方法をご紹介したい。
左端はiPhoneのメモアプリで描いた絵。命名、サイトーくん。これをスクリーンショットとして保存しておく。次にSafariなどWebブラウザで、メタ「ANIMATED DRAWINGS」のWebサイトを開き「Get Started」ボタンをタップ。続いて「Upload Photo」ボタンをタップし、アップロードしたい絵を指定する。ここではiPhoneの写真ライブラリに保存したサイトーくんのスクリーンショットを選択した。 左端はアップロードする画像の確認表示。「完了」をタップ。サイトに絵をアップロードできたら「Next」をタップ。「このデモでのAIトレーニングのために図画を収集したり、使われ方を調べたり、それらを学術論文の一部として使ったりすることがありますが、同意してよ〜」的なことが表示されるので「Agree」をタップして続ける。するとアップロードした画像の人物らしき図形部分が自動でトリミングされる。 次のステップではマスクの編集（左端）と骨格の指定（中央左）となるが、基本的には自動で処理される。マスクはグレーに示された「人物以外のエリア」だが、手と体の間や足と足の間にマスクがない場合、手動でマスクを入れて「手と体や足と足がくっついていない状態」にする必要がある（しなくてもアニメーション化できるが）。骨格が希望通りでない場合は、各関節に点がくるように動かしたり、点が鼻・目・耳の位置にくるようにする。そして「Next」をタップするとすぐにアニメーションが始まる。アニメーションは32パターンのなかから選べる。できたアニメーションはSNSなどでシェアしたりダウンロードしたりできる。 出来上がったアニメーションを複数つなげた動画がコチラ。サイトーくん、よく動く！ あーらお手軽！ コレはアレですな、お子様のイラストをiPhoneなどで写真に撮って、アップロードしてアニメ化して、楽しいひとときを過ごすのに最適ですな！ BGMアプリで動画に音を入れたりしても楽しいですな！
アニメ絵を動かしてみる
スゲく簡単じゃん。じゃあじゃあアニメ風の1枚絵とかをアニメーションさせたら？
……あっ、コレもiPhoneだけでデキるか。画像生成AIのMidjourneyはWebブラウザでもDiscordアプリでも使えるわけだし、生成した画像をすぐiPhoneなどの端末に保存できるし。
というわけで、Midjourneyで作った絵をANIMATED DRAWINGSのWebサイトでアニメ化してみることに。じつはMidjourneyで作った人の絵を数度アニメ化させたが、両手両足が広がっている絵が最も容易に（ANIMATED DRAWINGSで）アニメ化できた。
Midjourneyでアニメ絵を生成。両手両足を開いたポーズが望ましいので、そういうプロンプトを入れたが、足を組むなどしてしまうことが多かった。なので最終的には「Anime girl. Full body. She is looking at us with her arms outstretched to the left and right.（アニメの女の子。全身。両手を左右に広げてこちらを見ている）」としたらこの絵になった。これはWebブラウザSafariでDiscordにアクセスしてMidjourneyを使っている様子だが、1枚絵表示にして長タップをすと絵を端末に保存できる。これをANIMATED DRAWINGSにアップロードした。トリミングまで問題なく自動処理できた。 ただマスク処理の段階で問題が。両足の太ももが接続した状態で認識されてしまった。太ももの間にグレーのマスクがない状態なので、太ももを2本に分けるようにマスクの線を入れた。その後は自動処理がうまくいき、アニメ絵の女の子が踊りだした。 この絵を何パターンかで動かしたものをつないだ動画がコチラ。 う〜ん、まあ動いてはいるのだが……。でもまあそうか、コレって「子供が描くような抽象的だったり非現実的だったりする絵をアニメーション化する」というコンセプト。だから人間らしいカタチの絵を動かしたりすると、ちょっとヘンな感じになっちゃうんですな。
実写風の人物を動かしてみる
ヘンな感じになっちゃうな〜とか言ってる俺だが、まだやるのであった。今度は実写風の人物画像を動かしてみたい!!!
動いてくれるのは、Midjourneyが生成した↓この方！
Midjourneyに実写風の女の子を生成してもらった。手足を広げていて背景はなにもないほうが処理しやすいので、プロンプトは「Girl in sportswear. Full body. Her arms outstretched to the left and right. Her legs are also open to the left and right. She is looking at us. There is nothing in the background. The background is white. （スポーツウェアを着た少女。全身。両腕は左右に開いている。足も左右に開いている。彼女はこちらを見ている。背景には何もない。背景は白）」とした。 この元画像を使ったら、Midjourneyで生成→ANIMATED DRAWINGSでの処理まで最も手がかからなかった！ とくにANIMATED DRAWINGSでは全自動で全ての処理を終えられた。 そして複数パターンのアニメーションを作り、それらをつないだ動画がコチラ。 うーん。……あっそうか、動画の最初のほうが左右への激しい欽ちゃん走りみたいなやつだからヘンな感じがするのかもしれない！
さておき、けっこう楽しく遊べるし、スマートフォンやタブレットだけで使えるANIMATED DRAWINGSなのでゼヒ！
小さな動画が再生できてWebサイト閲覧もできる程度の性能のスマートフォンやタブレットで遊べるのでゼヒ！
