生成AIを既存の映像制作ワークフローに組み込む｜Adobe FireflyとMiniMax H3で短編SF『浦島太郎』を制作

生成AIを使った短編映像として、日本の昔話『浦島太郎』をモチーフにしたSF作品を制作しました。
今回の目的は、単に「AIで動画を作ってみる」ことではありません。

Adobe Firefly、Photoshop、MiniMax H3、ComfyUI、Premiere Pro、After Effectsなどを組み合わせ、生成AIをこれまでの映像制作ワークフローの中にどう組み込めるのかを、一本の作品を完成させることを通して検証しました。
実際に制作してみると、生成AIならではの問題もありましたが、最終的に注意していたことの多くは、これまでの映像制作で考えてきたこととよく似ていました。

ツールは大きく変わっても、映像を作るための考え方は意外なほど変わらない。

今回は、そんな制作過程と、一本の作品を作ってみて分かったことを紹介します。

なぜ『浦島太郎』を題材にしたのか

実は、以前にも生成AIを使って昔話『かさ地蔵』を映像化しました。

そこで着目したのが、古くから伝わる昔話です。特定の現代作品を原作とするのではなく、昔話の基本的な設定をもとに独自に脚色することで、権利関係を整理しやすく、なおかつ多くの人が物語の前提を知っているという利点があります。
その中から今回選んだのが『浦島太郎』でした。ただし、昔話をそのまま映像化したわけではありません。今回の出発点となったのは、

「もし竜宮城が、現代のAI技術の延長線上に存在するものだったら？」

というアイデアです。
そこから設定を膨らませ、昔話の基本的な構造を残しながら、SF作品として再構成しました。

シナリオは人間とAIの共同作業

今回、ストーリーそのものをChatGPTに丸ごと作ってもらったわけではありません。物語の核となるアイデアや、作品として描きたいテーマ、展開の方向性はこちらで考え、それをChatGPTとの対話を通して具体的なシナリオへ整理していきました。

人間側の役割

• 作品のアイデアを考える
• 世界観を決める
• 作品の方向性を決める
• 展開を判断する
• 必要なシーンを考える
• AIから出てきた案を採用するか判断する

ChatGPTの役割

• アイデアを文章化する
• シナリオとして整理する
• セリフを調整する
• シーンをカット単位に分解する
• 修正案を出す
• 文章を校正する

AIに「何を作るか」を決めてもらうというより、人間がアイデアと方向性を決め、AIを執筆や整理のためのパートナーとして使うという形です。

今回使用した制作環境

今回の制作では、生成AIだけですべてを完結させるのではなく、普段から使用しているAdobe製品と組み合わせました。

工程	使用ツール	主な用途
企画・シナリオ	ChatGPT	構成、文章化、セリフ調整、校正
静止画生成	Adobe Firefly / Nano Banana	人物、背景、開始フレーム
画像加工	Adobe Photoshop	人物参照画像などの調整
動画生成	MiniMax H3 / ComfyUI	Ref2V、I2V、会話、ナレーション
ナレーター参照音声生成	Adobe Firefly	声色の基準となる音声制作
BGM生成	Adobe Firefly	シーン別の音楽生成
編集	Adobe Premiere Pro	カット編集、音声、BGM
映像処理・仕上げ	Adobe After Effects	必要な映像処理、仕上げ

動画そのものの生成はMiniMax H3が中心ですが、その前後ではAdobe Firefly、Photoshop、Premiere Pro、After Effectsを使用しています。
今回の制作を一言で表すなら、生成AIだけで映像を作ったというより、既存の映像制作ワークフローの中に生成AIを組み込んだという方が実態に近いと思います。

Adobe Fireflyを制作の複数工程で活用

今回、Adobe Fireflyは静止画生成だけに使用したわけではありません。大きく分けると、次の3つの用途で活用しました。

• 動画生成用の静止画素材（開始フレーム、参照画像）
• ナレーション用の参照音声
• BGM

Firefly Proプランを利用していることもあり、作品制作の各工程で積極的に活用しています。

Fireflyで動画生成用の静止画を作る

動画生成に入る前に、まず人物、背景、各カットの開始フレームを用意しました。Adobe Firefly上で利用できる画像生成機能やNano Bananaも活用しながら、動画生成に必要な静止画素材を作っています。

ここで重要なのは、一枚の完成画像を作ることだけが目的ではないことです。次の動画生成工程で使いやすい素材を作ることを意識しています。これは、CG制作でコンセプトアートや背景素材、テクスチャなどを事前に準備する考え方にも近いものがあります。

ナレーション用の参照音声を作る

ナレーションでは、MiniMax H3のプロンプト上で高齢の男性をイメージした声質を文章で指定しても、思ったほど声質が変わらず、他の男性キャラクターと似た声になってしまうことがありました。そこで、ナレーターの基準となる音声を別に作り、その音声を参照させる方法へ変更しました。
この参照音声の制作にもAdobe Fireflyを使用しました。Fireflyで使用した音声生成機能は日本語入力に対応していなかったため、日本語の文章をアルファベット表記にして入力し、日本語らしく発音させるという少々強引な方法を使っています。そして、ここで生成したのは日本語ナレーションではなく、ナレーターの声色の基準です。

Adobe Fireflyで声色の基準となる音声を作り、それをMiniMax H3へ渡し、実際の日本語ナレーションはMiniMax H3側で生成しました。

つまり、

Adobe Firefly → ナレーターの声色を作る

MiniMax H3 → その声色を参照して日本語ナレーションを生成する

という役割分担です。これによって、複数のナレーションカットでも声色を統一しやすくなりました。

BGMもAdobe Fireflyで制作

BGMについてもAdobe Fireflyを使用しました。作品全体を一曲で通すのではなく、場面によって音楽の役割を変えています。
例えば、

• 昔話らしい導入
• カメとともに竜宮城へ向かう場面
• 竜宮城で快適に暮らしている場面
• 徐々に違和感が強くなっていく後半
• エンディング

といった形です。
Adobe FireflyのMood、Style、Purpose、Energy、Tempoなどをシーンごとに調整しながらBGMを生成しました。

生成したBGMはPremiere Proへ読み込み、映像の尺や場面転換に合わせて編集しています。ここでも、AIから出てきたものをそのまま最終成果物として使うのではなく、映像編集で扱う素材の一つとして使用するという考え方です。

動画生成用の素材をどう準備したか

人物参照画像はPhotoshopで背景をグレーにする

MiniMax H3で同じ人物を複数のカットに登場させるため、浦島太郎や乙姫などの主要人物については、あらかじめ基準となる人物画像を用意しました。

顔だけではなく、

• 顔
• 髪型
• 体格
• 衣装

まで含めて統一します。

ところが実際に使ってみると、人物参照画像に含まれている背景まで生成動画に影響することがありました。

人物の後ろに部屋や屋外の風景があると、その色や構造、照明などまで生成結果へ影響します。

そこでAdobe Photoshopを使って背景を処理し、人物参照画像をグレーの無地背景に加工しました。

今回の制作では、参照素材の役割をできるだけ分けています。

人物参照画像：顔、髪型、体格、衣装
背景参照画像：場所、美術、世界観
開始フレーム：カメラ位置、構図、人物配置、ポーズ

一枚の画像にすべての情報を任せるのではなく、それぞれの参照素材に役割を持たせる方が扱いやすいと感じました。

背景は「一枚を固定する」のではなく「世界観を統一する」

竜宮城内部では、多くのカットを作る必要があります。一枚の背景画像をすべてのカットで使えば統一感は出ますが、その一方で構図の自由度がなくなります。そこで最初に、竜宮城全体のデザインルールを決めました。
例えば、

• 床
• 柱
• 壁
• 装飾
• 発光部分
• 色調
• 海中の見え方

などです。
これらを統一した状態で複数の背景画像を生成し、

• 宴会場
• 回廊
• 居室
• 特殊な装置がある場所

など、シーンに応じて使い分けました。

重要なのは、同じ背景画像を使うことではなく、同じ世界に存在しているように見える複数の背景を作ることです。このあたりも、従来のCG制作における美術設定やセットデザインとよく似ています。

開始フレームで構図を決める

各カットでは、動画生成前に開始フレームとなる静止画を用意しました。
開始フレームで、

• カメラ位置
• 画角
• 人物配置
• 身体の向き
• ポーズ
• 背景
• ライティング

をある程度決めておきます。
動画生成側ですべてを考えさせるのではなく、静止画生成の段階でカットの設計を済ませておくという考え方です。

MiniMax H3で動画を生成

Ref2Vを中心に使用

動画生成にはMiniMax H3を使用し、ComfyUIを使ったローカル環境で生成しました。
今回特に多く使用したのがRef2Vです。Ref2Vが必要になった代表的なケースが、開始フレームには人物が存在せず、途中から特定の人物がフレームインするカットです。例えば、

海辺だけが映っている
↓
浦島太郎が歩いて画面に入ってくる

といった演出です。
I2Vでは、開始画像に存在しない特定人物を後から安定して登場させることが難しいため、人物を別の参照画像として指定できるRef2Vを使用しました。
一方で、開始フレームに必要な人物がすでに存在しているカットであれば、I2Vでも対応できます。作品全体を一つの方式だけで作るのではなく、必要な演出に応じてI2VとRef2Vを使い分けることになります。

人物の一貫性だけではなく「立ち位置」も管理する

生成AI映像で人物の一貫性というと、顔や衣装を揃えることに目が向きがちです。しかし、実際に複数のカットを編集してみると、それだけでは足りませんでした。例えば、前のカットでは浦島太郎が画面左、乙姫が画面右だったのに、次のカットでは左右が逆になっていることがあります。人物自体は同じでも、これではカットをつないだときに違和感が生まれます。
そこで、

• 誰が画面左にいるのか
• 誰が画面右にいるのか
• 身体をどちらへ向けているのか
• 誰を見ているのか

といった位置関係まで指定するようにしました。これは生成AI特有の問題のように見えますが、考え方としては従来の映像制作におけるイマジナリーラインやカット間の連続性と同じです。

指定しても「ガチャ要素」は残る

プロンプトを細かく作れば、すべてを完全にコントロールできるわけではありません。
今回も、

• 人物が一人増えてしまう
• 発話者が入れ替わる
• 人物の立ち位置が変わる
• 表情が狙いと違う
• 動作のタイミングがずれる
• ウミガメが途中からリクガメのようになる

といったことがありました。指示方法を改善することで成功率を上げることはできますが、それでも一定のランダム性は残ります。そのため、作品上重要なカットについては、同じ条件で何度か生成して、その中から一番良いものを選ぶ方法を取りました。考えてみれば、これは撮影現場で複数のテイクを撮影し、その中からベストテイクを選ぶのと似ています。生成AIだから一度Generateを押せば完成、というわけではありません。
AI動画でもテイクを重ねる必要がある。
これは一本の作品を制作してみて強く感じたことの一つです。

「誰がしゃべるのか」も明確に指定する

MiniMax H3では映像と音声を同時に生成できます。日本語のセリフまで動画と一緒に生成できるのは非常に便利です。
一方、複数人物がいるシーンでは、話者を取り違えることがありました。今回の作品では、竜宮城そのものがAIとして話すシーンがあります。ところが画面内に乙姫がいると、本来は竜宮AIのセリフなのに、乙姫が口を動かして話してしまうことがありました。
そこで、

• このカットで誰が話すのか
• 他の人物は発話しないこと
• 発話していない人物の口の状態
• 声がどこから聞こえているのか

まで明確に指定しました。それでも安定しない場合には、発想を変えます。乙姫を無理に画面内へ残さず、浦島太郎だけのリアクションショットに変更し、竜宮AIの声を聞かせる構成にしました。
生成AIを無理に従わせ続けるよりも、映像演出として成立する別の方法へ切り替えた方が効率的な場合もあります。この判断も、従来の映像制作とそれほど変わりません。

Premiere Proで編集する前提で生成する

AI動画は完成尺ぴったりに作らない

今回、動画生成を続ける中で特に感じたのが、タイミングの問題でした。
生成AIへ、

「○秒後にこの動作をする」
「○秒までにセリフを終える」

と指定しても、毎回ぴったり同じタイミングになるわけではありません。秒数を指定しても、ある程度のばらつきがあります。そこで途中から、生成段階で完成尺へ完全に合わせることを重視しないようにしました。

セリフの後ろに編集しろを残す

特にセリフのあるカットでは、セリフが終わった瞬間に動画まで終了してしまうと編集時に困ります。そのため、

セリフが終わる
↓
少し表情や動作を残す
↓
その後に動画が終了する

というように、後ろ側を少し長めに生成しました。従来の映像編集でいう「編集しろ」を残しておく考え方です。こうしておけばPremiere Pro上で、

• セリフの間を調整する
• カットポイントを変更する
• 前後のカットとのテンポを合わせる
• 不要部分を削除する
• 良い部分だけを使う

といった調整ができます。AIにタイミングを完全に合わせてもらうために何度も再生成するより、良い映像が生成された時点で素材として確保し、Premiere Proで調整した方が効率的なケースも多くありました。
今回の制作では、　生成AIに完成カットを作らせる　という考え方よりも、生成AIに編集可能な映像素材を作らせる　と考えた方が、制作しやすくなりました。

Adobe製品を使い慣れていることが生成AI映像でも強みになる

今回の制作では、Adobe製品を積極的に使用しています。Fireflyで素材を生成し、Photoshopで参照素材を整え、MiniMax H3で動画化し、Premiere Proで編集し、必要に応じてAfter Effectsで仕上げる。

この流れは、生成AI以前から行ってきた映像制作ワークフローとそれほど離れていません。違うのは、その途中に生成AIによる素材生成という新しい選択肢が加わったことです。これは既存の映像制作者が生成AIを導入するうえで、大きな利点だと思います。

これまで使用してきたPhotoshopやPremiere Pro、After Effectsを捨てて、すべてを新しいAIツールへ置き換える必要はありません。

むしろ、生成AIから出てきた映像を素材として扱い、作品へ仕上げていく段階では、これまで身につけてきた映像制作や編集の知識がそのまま役立ちます。

結局、映像制作で考えることは同じだった

一本の作品を最後まで作ってみて、最も印象に残ったのはこの点でした。生成AIという新しいツールを使っているにもかかわらず、最終的に注意していたのは、

• 人物の立ち位置
• カット間の連続性
• 美術の統一
• テイクの選択
• セリフのタイミング
• 編集しろ
• 音声の統一
• カットとして成立しているか

といった、これまで映像制作で考えてきたことばかりでした。ツールが変わっただけで、映像を作るために考えること自体は、それほど変わっていない。という印象が強く残りました。

むしろ、これまで映像制作を経験してきた人の方が、生成AIから出てきた素材を「どうすれば作品として成立させられるか」を判断しやすいのではないかと思います。

生成AIは映像表現の選択肢を増やしてくれる

一方で、生成AIには大きなメリットがあります。それは、実際に撮影しなくても映像を作れることです。この感覚は、私たちがこれまで扱ってきた3DCGに近いものがあります。3DCGも、現実には存在しないもの、実際には撮影できないもの、撮影すると非常に大掛かりになるものを映像化するために使われます。
生成AIも同じように、今回の作品でいえば、

• 昔の海辺の村
• 海中に存在する竜宮城
• 話すウミガメ
• 現実には存在しない人物や空間

といったものを、実際にセットを作ったりロケをしたりすることなく映像化できます。生成AIによって従来の映像制作が置き換わるというより、実写、3DCG、モーショングラフィックス、生成AIという映像制作の選択肢の中に、新しい手段が一つ加わった。今回一本の作品を制作してみて、そのように感じました。

既存の映像制作者にとっては、これまで培ってきた技術を捨てる必要はありません。撮影、演出、美術、CG、編集といった経験は、生成AIを使う場合にもそのまま役立ちます。今回の制作で得られた大きな収穫は、生成AIそのものの新しさよりも、これまで培ってきた映像制作の考え方を、新しい生成AIというツールにも応用できることを確認できたことでした。
そして、これまで撮影条件や制作コストの問題で難しかった映像表現にも、別の方法でアプローチできるようになります。私たちにとって生成AIは、これまでの映像制作を置き換えるものではなく、映像表現の幅をさらに広げる、新しい制作ツールの一つになりそうです。

今回使用した主なツール

• Adobe Firefly
• Adobe Photoshop
• Adobe Premiere Pro
• Adobe After Effects
• MiniMax H3
• ComfyUI
• ChatGPT

---