GENJUTSUの使い方｜AIで動画の人物・背景を変えてみよう

実例1：スタジオのダンスを、ネオン街のロボットへ

左はグレーのスタジオで踊る男性。右は、その動きを手がかりに作った銀色のロボットです。ステップや回転の流れを活かしながら、見た目をSFの短編に変えるのが狙いです。

ただ背景を豪華にするより、「普通の場所で撮った動きが、ありえない世界に移る」という変化を見せると、リールの企画になります。最初に元動画を少し見せ、次に変換後へ切り替える使い方にも向いています。

今回使ったのはMotion transferです。動きの元になる動画と、完成後のロボット画像を渡しました。静止画を一から動かすのではなく、動画にある動作を手がかりにする点がポイントです。

元動画のステップ、ターン、腕の動きを、添付画像の銀色のロボットに引き継いでください。
丸い青緑の目、金属の体、白いスニーカーを保ってください。
場所は、添付画像の雨で濡れたネオン街に変更。青緑と赤の光を路面に反射させます。
動作の順序とタイミング、撮影範囲を参考にし、ロボットを一体だけ映してください。文字とカット切り替えは不要です。

このプロンプトは、今回の英語指示と同じ狙いの日本語例です。動作は動画、姿と世界観は画像と、素材の役割を分けて伝えています。音楽に合わせて使う場合は、完成後の動きと曲の拍が合うかも確認しましょう。

実例2：動く商品写真から、別のパッケージ広告へ

差し替えに使った商品画像を見る

もう一つは、人物が登場しない商品動画です。白い缶が映る素材に、黄色いレモン柄の缶を参照として渡しました。結果では、レモン柄の黄色い缶になり、黒い背景と台座、周囲の氷も残っています。商品の撮影の雰囲気を活かし、パッケージを変える使い方です。

新フレーバーの告知、季節商品の紹介、パッケージ案の比較などに応用できます。商品を手に持つ動画なら、指と商品の重なりも確認が必要です。最初は今回のように、商品単体のカットから試すと違いを追いやすくなります。

元動画の白い飲料缶だけを、添付画像の黄色いレモン柄の缶に置き換えてください。
缶の向きと回転、カメラの動き、黒い背景、台座、氷の位置をできるだけ保ちます。
缶は一つだけ。新しい文字やロゴ、別の商品は追加しないでください。

形が近い商品同士から試すのがコツです。缶を細長い瓶に変えると、接地面や反射、手で持つ位置まで変わります。「商品だけ」という指示でも、周囲の描写が少し変わる場合があります。

この作例は架空の商品です。実商品の広告に使うときは、ラベル、形、容量表記などを原物と照合してください。生成した見た目を、そのまま商品の仕様として紹介しないようにします。

どちらを選ぶ？動きを移すか、対象を交換するか

ロボットのように出演者と世界観をまとめて作り変えたい場合はMotion transfer、缶のように撮影済みの場面を活かして対象を変えたい場合はObjects swapが出発点になります。

名前だけで迷ったら、「一部分を変えたいのか」「その動きを使って別の場面を作りたいのか」を考えてみてください。モードを選んだ後も、残したいものは文章で指定します。

作り方：動画・画像・指示を順番に入れる

1. GENJUTSUを開いてモードを選ぶ今回のロボットならMotion transfer、缶ならObjects swapを選びます。
2. Add a reference videoに元動画を入れる今回は5秒の素材を使用。自分で撮影した短い動画でも同じ考え方です。
3. Add reference imagesに完成後の姿を入れる人物なら顔・服・全身、商品なら輪郭と柄がわかる画像を用意します。
4. Promptに変更点と残す点を書くロボットは場所も変更、商品は周囲を残す、と指示を分けます。
5. Qualityとコストを確認して生成するまず480pで検証し、結果を最初から最後まで再生します。再生成にも費用がかかります。

最初は、必要な情報がそろった1枚で十分です。別の服や違う顔が混じると、何を優先するか曖昧になります。顔の参照を追加するときも、同じ人物・同じ見た目にそろえましょう。

今回のロボットは、全身とネオン街が一緒に入った画像を使用しています。元動画では腕が左右へ大きく開くので、変換後も手先が切れないか確認する必要があります。

リールの企画にするなら、変化を一つに絞る

リールを作るときは、機能を全部見せるより、一回の視聴でわかる変化を一つ選ぶと企画がまとまります。次の例は、今回の検証を広げるための提案です。

公式の「Hybrid Production」も、スタジオで撮った演技を別の場面へ展開する作例です。自分の企画では、撮影しやすい動きを先に作り、その動きが映える世界を選ぶと考えやすくなります。

完成したら、変えた場所と残した場所を見る

最初の一枚が良くても、途中で形が崩れることがあります。ロボットなら関節と足元、商品なら缶の輪郭とレモン柄を追ってみてください。

思いどおりにならないときは、「もっと自然に」だけで終わらせず、どの場面の、何が違うかを指定します。「回転中に目の形が変わる」「缶の下の氷まで消えた」なら、直す対象を共有できます。

【何秒ごろ】の【対象】を直してください。
【残したい特徴】を保ち、【今回変更したい部分】だけを調整します。
ほかの動作や背景は、今の結果をできるだけ維持してください。

参照画像が見切れていたり、元動画で対象が隠れていたりする場合は、指示を増やすより素材を変えたほうが早いこともあります。まずは5秒の一場面で成功させ、そこから投稿のバリエーションを増やしましょう。