絵コンテにAI画像を活用することの検討
映像制作に携わる方にとって「絵コンテ」は重要なツールです。
このため絵コンテに必要となる画像の選択や調達もおろそかには出来ません。イラストが得意な方はご自身で描かれることもあると思いますが、私のようにイラストを得意とされない方は絵コンテ用の素材の調達に時間を費やしている方もいるかもしれません。
そこで、最近話題のStable Diffusionが、絵コンテの背景用素材に使用できるのか検討してみたいと思います。
検討の条件、設定について
前提として、絵コンテに使用しますので著作権等の問題が生じないことが求められます。
今回は、StableDiffusionを用います。使用するモデルは「kisaragi_mix(v2.11)」です。
背景はよく出てきそうなシーンを想定します。
・場所(都市、店、オフィス、自然の中)
・天候(晴れ、曇、雨、豪雨、雷)
・時間帯(早朝、昼間、夕方、夜、夜中)
共有して使用するプロンプトは下記のようになります。
best quality, ultra high res, (photorealistic:1.4), RAW photo,
Negative prompt： (worst quality:2), (low quality:2), (normal quality:2), ((monochrome)), ((grayscale))
解像度：1280✕720
Sampling method：DPM++ 2M Karras
Smapling steps：20
場所
都市
best quality, ultra high res, (photorealistic:1.4), RAW photo,
Urban hustle and bustle, skyscrapers, roads, traffic lights, automobiles
視点が高くなりましたが、概ね都市感のある良いイメージだと思います。
飲食店
best quality, ultra high res, (photorealistic:1.4), RAW photo, wide shot
Restaurant interior, tables, chairs
レストランのイメージとしては充分のものが出力されていると思います。
カフェ等もイメージに合うものが出力されました。
オフィス
best quality, ultra high res, (photorealistic:1.4), RAW photo, wide shot
Company, office, lined desks, many computers
今どきのオフィスっぽいイメージだと思います。
自然
best quality, ultra high res, (photorealistic:1.4), RAW photo
Vast landscapes, distant mountains, misty lakes, mysterious forests
プロンプトの指定通りのものが出力されていると思います。
時間帯の変化
次に時間帯を変えての変化を確認していきます。
場所は、町中っぽいもので統一しています。
早朝
best quality, ultra high res, (photorealistic:1.4), RAW photo
(Early morning:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
早朝っぽい雰囲気は充分ですね
昼間
best quality, ultra high res, (photorealistic:1.4), RAW photo
(midday:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
特に説明の必要ないくらいの昼間です。
夕方
best quality, ultra high res, (photorealistic:1.4), RAW photo
(evening:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
右上が一番イメージに近いと思います。全体して夕方というよりも夜に近いものが生成される確率が高いのですが、夕日などのキーワードを入れるともう少し夕方っぽいイメージになるような気がします。
夜
best quality, ultra high res, (photorealistic:1.4), RAW photo
(night:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
夜ですね。イメージ通りだと思います。
夜中
best quality, ultra high res, (photorealistic:1.4), RAW photo
(midnight:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
夜と同じですね。このあたりは具体的に窓の灯も暗くするなど、具体的なプロンプトを追加して演出していくべき部分なのかなと思いました。
天候による違い
晴天
best quality, ultra high res, (photorealistic:1.4), RAW photo
(clear sky:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
晴天ですね。今回のプロンプトでは視点の指定をしていまっせんので右上のように俯瞰の画像も生成されますが、これは視点を追加することで回避できます。
曇天(くもり空)
best quality, ultra high res, (photorealistic:1.4), RAW photo
(cloudy weather:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
曇もいろいろな表現があって、雲がある状態、空全体が雲の状態、いまにも雨が振りそうな状態、といろいろ英語の表現があってそれらに応じた画像が出やすい傾向を感じました。
雨
best quality, ultra high res, (photorealistic:1.4), RAW photo
(rain:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
ちゃんと雨になっています。雨粒までは見えませんが、路面などの状態でそれとわかります。
嵐・豪雨
best quality, ultra high res, (photorealistic:1.4), RAW photo
(Torrential downpour of storms:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
雨粒は見えませんが、先程の雨とは雲の様子や全体の明るさが違いますので差は出ていると思います。
嵐感を出す場合は、水しぶきや霞を加えていくと良いと思います。
雪
best quality, ultra high res, (photorealistic:1.4), RAW photo
(snow:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
雪の降った後(積もった状態)になりました。「snowing」にすると降っている感じの画像を出力されました。
霧(キリ)
best quality, ultra high res, (photorealistic:1.4), RAW photo
(fog:1.2),
in sidewalk, Towns, houses, streets, pedestrians,
キリというよりも「煙・湯気」に近いイメージになりました。
結果・考察
以上の結果となりました。凝った画像を生成するにはプロンプトを更に工夫している必要はありますが、各カットのイメージに合う画像を探す作業を考えると、私はAIで画像生成する方がより良いものになるように思います。
実務において使用できるものであるかと問われると、「使用できる」と判断できます。
残る問題は、著作権の問題ですが、こちらについては様々な方が積極的に論議を始めて頂いておりますのでその結果を見守りたいと思います。今回使用したモデルは、CreativeML Open RAIL-Mのライセンスの範囲において商用活用可能(生成画像のみ)ですので、今後もこちらで検討をすすめて行こうと思っています。
ますます激化していくことが予想されるAI分野ですが、楽しんで取り組んでいける環境があれば、それは明るい未来につながると信じています。