CUIで解説動画を作るソフトウェアとその内部構造、そしてffmpegとの死闘について by Windymelt

YouTubeやニコニコ動画、諸君らも大好きだよね？その一大ジャンルとして色々な事柄を解説してくれる動画、いわゆる「解説動画」というカテゴリが存在します。

普通こういった動画は汎用的な動画編集ソフトウェアや各種のプラグインを用いてGUI上で編集していくのが一般的です。でも操作の再現性がないしGUI編集は大変！いつしか動画作成のためには動画を編集するスキルが必須となっていきました。でもそれって良い解説動画のために本当に必要なのかな？知識と文才さえあれば動画を作れる時代のほうが面白いのでは？

そもそも、よく考えると解説動画って画面をセリフごとにレンダリングしていけば割とプログラム的に作れるのではないか？だったら俺たちが慣れ親しんだHTML使ってレンダーできらあっ！

そこで私はXMLをベースとした原稿ファイル、イラスト、BGMといったアセットから自動的に解説動画を生成するためのソフトウェアを開発しました。

私はこのソフトウェアの開発過程において、レンダリングエンジンとしてブラウザを利用したり、原稿を編集しても生成済みの箇所をキャッシュさせてレンダリングは最小限で済むなど、効率的な編集を支える様々なテクニックを導入しました。

音声合成とシーンレンダリングといった非同期処理の塊といってもよい機構を支えるのは何か？複雑な透過合成を支えるffmpegのトリックとは？なぜ口パクにモナドが必要なのか？テキストベースの利点は何なのか？荒れ狂うグラフィックボード、たまにSEGVを吐くブラウザ、かわいいずんだもん、全てをお話しします。