After Effectsでトラッキングしたカメラの情報をBlenderへ

AfterEffectsのカメラ情報を、Blenderへもっていきたい！

まず必要なものをDLしておきます

https://blenderartists.org/t/after-effects-to-blender-2-70a-javascript-python-generator/520162
こちらのHPに行き、ちょっと下へスクロールすると

画像赤丸部分から必要なスクリプトをDL出来ます。
これをDLして

解凍しておきます。↑画像赤線部のスクリプトが確認できればOKです

またこのスクリプトが少し古く、最新バージョンのBlenderでは動作が上手く行かないので、
Blenderも旧バージョンの2.79をDLしておきます。

https://download.blender.org/release/Blender2.79/
↑のリンクからDLします。

僕はwindowsを使っているので、↑画像の四角で囲っているものをDLしました
そのまま解凍、インストールしていつでもBlender2.79が起動できるようにしておきます。

これで必要なものがそろいました！
ここから実際にAEでトラッキングして、そのカメラ情報を最新のBlenderへもっていきます。

まずはAEに動画を読み込み、カメラトラッキングをします。

https://pixabay.com/ja/videos/%E5%B7%9D%E6%B2%BF%E3%81%84-%E8%87%AA%E7%84%B6-%E6%A3%AE%E6%9E%97-%E6%96%B0%E9%AE%AE%E3%81%AA-36002/
今回使う動画は↑のリンクからDLさせていただきました。感謝です！
画質は1280×720を選びました。大きい画質を選択すると処理が重くなってしまうので注意です。

早速動画をAE読み込ませました。
そのまま画像赤線部を選択し、

上のアニメーションタブから3Dカメラトラックを選択します。

すると、すぐに計算が始まります。画像左側の赤丸で囲っている部分がオプションとなっています。
とりあえず今回はこのまま特に何もいじらず計算させます。

計算が終わるとカラフルなマーカーがいっぱい打たれます。
このマーカーが大体動画の動きとマッチしていればOKです。

マーカーにマウスオーバーすると、↑画像のように赤の的のような丸いマークが出現します。これが表示されている状態で

右クリックで色々と項目が出てきます。
テキストや平面を選べばそれに沿ったオブジェクトが配置できますが、
ヌルとカメラを作成を選びます。
これでマーカーを参照してトラッキングしたカメラが作成されます。

↑画像赤丸部分にヌルも作成されました。
ヌルとは、あくまで目安となるオブジェクトでレンダリング等には反映されず不可視となっています。今回はBlender側へ持っていったときに、この辺にキャラを配置したいと思える場所にヌルを配置すればそれが目安となって効果的だと思います。

作成したヌルとカメラはコンポジションの中にデータとして配置されます。
この二つをBlenderへ持っていきたい！

Blenderへもっていく前に、まずは普通に保存します。
実はこの保存も大事な過程で、保存してないとこのあと使うスクリプトでまずは保存してくれ！と警告が出て正常に動きません。
なのでここで保存を挟みました。

保存が完了したら、さっそくスクリプトを使ってみます。
ファイル→スクリプト→スクリプトファイルを実行　から

先ほどDLしておいた↑のスクリプトを選択します。

すると、設定画面が出てきます。

画像右上の赤丸部分の丸い箇所をクリックすると、青く光るのでその状態にします。
さらに、コンポジションから画像左下の赤丸部分のヌルとカメラを選択します。ここでヌルを他にも作っていた場合、それも選択しておきます。
ようはBlenderへもっていきたいデータを選択しておけばOKです。

あとは↑画像赤丸から保存先と保存名を選び、Export！
今回はtestという名称にしてます。

これでtest.pyが書き出されればOKです

ここからはBlender2.79の作業になります。
起動したら

↑にあるDefaultとなっている部分を、Scriptingにします。

画面が切り替わります。画像赤丸のOpenというところを開いて

先ほど書き出したtest.pyを選択します。

ぶわっとスクリプトが羅列されると思いますが、そこには目もくれず画像赤丸のRun Scriptを実行！

再びdefaultに戻します。

右のシーン項目に、L3Dというカメラと1というオブジェクトが追加されています。
この二つがAEで作成したカメラとヌルのオブジェクトとなっていて、それが読み込まれたのがわかります。

実際のシーンにもカメラとヌルが読み込まれています。

カメラにはこのようにキーフレームが打たれていて、恐らくトラッキングの情報が組み込まれているだろうこともわかります。
キーフレームのバーを動かせばカメラも動きます！

実際にトラッキング出来ているか確認したいですが、2.79は操作が難しいのでこれを最新バージョンのBlenderへもっていきます。

まずは今の状態のまま、Blenderを普通に保存します。
名称はcamera_trackとしておきます
これで2.79での作業は終了です

Blender2.91を起動します。

ファイルからアペンドを選択します。

先ほど保存した、camera_trackのデータを選択し、

更にその中にあるObjectを選択、

更にその中にある、ヌルとカメラのデータである1とL3Dというオブジェクトを選択し読み込みます。

これで最新バージョンであるBlenderに、AEからのカメラやオブジェクトのデータが読み込めました！

カメラのキーフレーム情報もばっちり生きています

さて、それではしっかりトラッキングが上手くいってるのかを確認してみます。
シーンから↑画像赤線部分のca_L3Dを選択して、

テンキーの0を押すことで、選択中のカメラのビューを見ることができます。

そのビュー画面の状態で、↑画像赤丸のカメラアイコンから矢印通りに進んで、今回のトラッキングに使用した動画を開きます

ビュー画面に動画が反映されます。
この時、ヌルの位置を確認します。AE側で設定したヌルの位置と、↑の画像のヌルの位置が大体あっていれば成功です！

少しキーフレームを進めても、ヌルがしっかりカメラの動きについていってます！