ボーカロイド新着ダイジェスト自動生成のしくみ

ｎｉｃｏｎｉｃｏ（旧・ニコニコ動画）に投稿されるボーカロイドの新着動画１日分（５２曲～２６０曲）を１曲２０秒のダイジェストにして全曲を１個の動画にまとめて投稿するのをＶＰＳ下で全自動に行います。こんな感じのです。
2018-01-19 【マイリストを削除しました】

ツイッターのＴＬで紹介していたブログを読んだのがきっかけです。 ブログ主が当時の記事を消したので背景が分からなくなってしまいましたね。
とりあえず作っただけです - ブロマガ

当時の関連したブログがありましたので雰囲気を掴んで頂けると幸いです。
いまのランキング動画に求められるもの――日刊VOCALOIDランキング廃刊に寄せて - 週刊歌らん作者のブログ

べ、別に巨乳が気になってクリックした訳じゃないから！（紹介してくださってありがとうございます）
★ブルマと巨乳とランキング製作メモ

まあ、こんな雰囲気の中、ボーカロイド楽曲の新着を１日毎にまとめた紹介動画を全自動で毎日投稿するのも力試しに面白そうだと思って作り始めました。 まさか軌道に乗るまでに２ヶ月もかかるとは思ってなかったですよ、ハイ。

当時からこれまでのツイートを辿ることができます。

どこのご家庭にもあるｃｒｏｎｔａｂを使い、毎朝７時に開始します。
０　７　＊　＊　＊　？？？？？？？？？？←内緒
ただしｃｒｏｎはアカウントのｈｏｍｅをカレントディレクトリにして起動するので都合が悪いです。 こんなシェルスクリプトを中継してディレクトリを切り替えています。

#!/bin/bash

THIS_FILE_PATH=`readlink -e $0`

FILE_DIRECTORY=${THIS_FILE_PATH%/*}
cd ${FILE_DIRECTORY}

SCRIPT_FILE=${THIS_FILE_PATH##*/}
SCRIPT_FILE=${SCRIPT_FILE/%.sh/.pl}
perl $SCRIPT_FILE

対象となる新着動画は運営が用意したスナップショット検索ＡＰＩを使い検索します。 このスナップショットは毎日朝５時のものですが概ね朝７時から公開してくれます。 「概ね」というのはログから分かった実績で、ＡＰＩでは正式な更新時刻を明記していません。 その代わり「スナップショットの日時が分かるＡＰＩ」で日時を貰い、昨日の投稿を把握できる状態になるまで待機します。
ニコニコ動画 『スナップショット検索API』 ガイド

1. ＡＰＩでタグ「ＶＯＣＡＬＯＩＤ」で昨日投稿した動画ＩＤをごっそりいただきます。
2. タグ検索でヒットする動画にボーカロイドの新着でないのが多数含まれていますので、除外する既知のタグにハイフン「－」を前置して検索キーに追加します。
3. 投稿開始から３ヶ月で除外タグは５０個を越えました。
4. それとＡＰＩを１回呼ぶと最多で１００個までの動画ＩＤを取得できます。
5. １０１個目以降は１００個単位で取得できますけれど最初の１００個と一部重複することがあるので重複分を除外して全ての動画ＩＤを取得するまで検索を繰り返します。
6. 幸い最初の１００個を取得した際に総数を取得できています。これがなければ正確な全動画の一覧を取得できないところでした。

検索した動画には、まだ除外するものが含まれています。 無関係の動画にタグＶＯＣＡＬＯＩＤを付ける投稿者が投稿した動画や、除外タグがないけれどタイトルで除外できる動画です。 それとスナップショットにあってもダイジェスト作成時に削除や非公開になっている動画も除外します。

1. 大げさなものではなくて、ｍｐ４エンコード時のＣＲＦ値を決定します。
2. この後、個々の新着動画からダイジェストを作りますが、無圧縮で保存するとＶＰＳの容量不足になってしまいます。
3. 借りてるＶＰＳの容量は１０ＧＢですからピーク時で５ＧＢを越えないようにしておきます。
4. そこで暫定的に投稿動画より若干画質が良い程度にｍｐ４でエンコードしておきます。
5. 投稿動画は１００ＭＢが上限で、ダイジェストの個数から再生時間が分かるのでビットレートを逆算、ざっくりとした圧縮の程度をＣＲＦ値で決めて、個々のダイジェスト（暫定のほう）は、それよりも２だけ小さい値で少し高画質な程度にエンコードします。
6. 投稿動画はデフォルト１９で、これが１増える毎に映像のビットレートがだいたい１ｄＢ減ります。
7. 投稿動画をエンコードした際に１００ＭＢを越えていれば全自動でＣＲＦ値を１増やして再試行するので、不正確でも大丈夫、単に再エンコードの回数が減るのを期待している程度です。

ここから先は、新着動画１個ずつの処理となります。 新着動画の個数は日によってバラつきがあり、今のところ５２個～２６０個の範囲です。

ダウンロード

普通のダウンロードで動画を丸ごとぶっこ抜きます。 抜いたファイルはＩＤがｓｍで始まる動画がＭＰ４ファイルで、ｎｍで始まるのがＳＷＦファイルです。 ダウンロード時の応答ヘッダにファイル名があるので推定は不要です。

ＳＷＦ→ＡＶＩ変換

ｎｉｃｏｎｉｃｏに投稿されているＳＷＦファイルはｆｆｍｐｅｇで扱えないＣＷＳ形式ですから同じＳＷＦファイルのＦＷＳ形式に変換します。 それから音声と映像の第１フレーム（１コマ目）を抜き出して静止画のＡＶＩファイルを作ります。 本来、ＳＷＦファイルはＦｌａｓｈＰｌａｙｅｒの再生ファイルなので、スクリプト＋映像＋音声で構成されていて、その内、ｎｉｃｏｎｉｃｏに投稿されている物は、大抵ニコニコムービーメーカーで作成されていて、映像＋音声の紙芝居的な構造になっています。 スクリプトの再生は諦めて、音声はそのまま、映像は止め絵にしました。

ダイジェスト編集（映像）

1. 括弧内はｆｆｍｐｅｇのフィルタ名です。
2. 新着動画の１：００～１：２０を切り出してフレーム合成をします。
3. フレームはＧＩＭＰで作ったＰＮＧファイルです。
4. 窓を透明（αチャネル）にしてありフィルタで新着動画の上からかぶせます（ｏｖｅｒｌａｙ）。
5. 新着動画の解像度は様々なので、縦横比を変えずに縮小、中心を合わせて配置します（ｓｃａｌｅ）。
6. 黒の下地に幅と高さのどちらが大きいか自動判定して収めていますので小さい方は黒の下地が見えています（ｐａｄ）。
7. 合成後の状態は新着ダイジェストをご覧の通りです。
8. タイトル、投稿日、曲順、総数を字幕で埋めます（ｄｒａｗｔｅｘｔ）。
9. タイトルの字幕をプロポーショナルスペーシングにできず等幅なので、新着動画のタイトル通りではハミ出ます。
10. フォントは、おたもんさんの源暎ゴシックを使いました。とても読みやすいフォントです。→御琥祢屋 - 源暎ゴシック置き場
11. 可能な限り半角に変換して幅を縮めています。
12. 全角の記号も代用できそうな半角へ変換しています。
13. 当初、Ｗｉｎｄｏｗｓ下で色々とテストしていてｐｅｒｌのｓｙｓｔｅｍ関数を使いフィルターのｄｒａｗｔｅｘｔもそのままパラメタで渡していました。
14. ところがｄｒａｗｔｅｘｔの文字列は先頭の空白や文字列中のダブルクォーテーションのエスケープがややこしくて、更にＷｉｎｄｏｗｓというかＭＳ－ＤＯＳのパラメタの切り出しやエスケープもあって降参しました。
15. オプションのｆｉｌｔｅｒ＿ｃｏｍｐｌｅｘ＿ｓｃｒｉｐｔにフィルターを書いたテキストファイルを指定して回避しました。
16. フィルタのテキストファイルを別に用意するにしても、これらの編集をｆｆｍｐｅｇのコマンド一発でできる事に驚きました。
17. 稀にメモリ不足が発生するケースがありｒｃ－ｌｏｏｋａｈｅａｄを減らすと改善するため３０を指定するようにしました。
18. それでもごく稀に再発するので失敗した際は５ずつ減らして再試行、５でもダメなら諦めるようにしてあります。

ダイジェスト編集（音声）

1. ｆｆｍｅｐｇでは音声を並行して切り出す事もできますというか普通は一緒に切り出されます。
2. しかしながら元動画の映像につられた位置と長さで切り出されてしまうことがあります。
3. それを使うとダイジェストがピッタリ２０秒にはならないケースがあり、映像の１フレーム分の増減があります。
4. この１フレーム分の約０．０３秒が１００個集まると３秒のズレが生じます。
5. 新着ダイジェストでは再生中の新着動画へジャンプできる「本家」ボタン、次の新着を再生する「次」ボタンをニコスクリプトで設定する都合上、
6. １秒以上のズレはボタンが使いにくいというかほとんどバグ。
7. 音声だけを２０秒切り出してから映像と合成、ピッタリ２０秒になるよう工夫しています。
8. 曲間でのノイズと違和感を抑制するため、フェードイン、フェードアウトをそれぞれ１秒入れてます（ａｆａｄｅ）。
9. 何故か新着動画は音量調整がバラバラ（笑）なので、新着ダイジェストで統一感が出るようコンプレッサーを掛けています（ｃｏｍｐａｎｄ）。
10. ボーカロイドの動画はヘッドルームがない状態（０ｄＢＦＳ）で投稿される傾向にあり、－８０ｄＢＦＳから－１２ｄＢＦＳへ向かう緩やかなカーブを設定しました。
11. コンプレッサーのカーブと言ってもｆｆｍｐｅｇのフィルターは折れ線の設定です。
12. これで爆音の動画が新着してもピークが－１２ｄＢＦＳの落ち着いた新着ダイジェストになります。
13. 音声のエンコードはｐｃｍ＿ｓ１６ｌｅ、サンプリング周波数４８ｋＨｚ、チャネル数２（ステレオ）です。

ダイジェスト編集（合成）

２０秒の映像と音声を貼り合わせます。 二つのファイルを入力してｍａｐオプションで映像と音声を並べます。 エンコードしないで右から左へコピーして終わりです。

1. ｆｆｍｐｅｇで入力ファイルを連結するのに、オプション－ｉをひたすら並べていくとＷｉｎｄｏｗｓ下で１００個行く前に失敗するようになりました。
2. そこで入力ファイル名を並べたテキストファイルを用意、その名前をオプションなしで指定、－ｆｉｌｔｅｒ＿ｃｏｍｐｌｅｘのｃｏｎｃａｔフィルターで連結しました。
3. この方法で２６０個を連結できました。
4. 音声のエンコードはｌｉｂｆｄｋ＿ａａｃ、プロファイルはＨＥ－ＡＡＣ（ｖ１）、ビットレートは４８ｋｂｐｓです。
5. このｆｆｍｐｅｇではプロファイルＨＥ－ＡＡＣｖ２も使えますけれど、試聴で音質が良かったｖ１を使います。
6. 前述しました通りｎｉｃｏｎｉｃｏ動画の投稿サイズ１００ＭＢを越えていればＣＲＦ値を１ずつ増加させてファイルサイズが小さくなるように調整して再試行します。
7. 「次」ボタンで次の新着へスキップさせた時に曲の頭へシークできるように２０秒毎にキーフレームを入れてあります。

新着ダイジェストを投稿後、私が視聴して除外する場合にニコスクリプトでスキップさせます。 その元ネタとなる動画ＩＤ一覧と個々の再生／スキップの状態をテキストファイルに保存しておきます。 投稿直後は全て再生の状態です。 その後、私の視聴で除外が決まればその動画だけスキップに変更します。

新着ダイジェストを投稿します。 ｎｉｃｏｎｉｃｏで動画を投稿した方ならご存知のアップロード、投稿設定を行います。 サムネイルは０：００固定、そのほかの設定は新着ダイジェストをご覧の通りです。

再生中の本家（新着動画）へジャンプできる「本家」ボタン、次の新着へスキップできる「次」ボタンを設定します。 前述のダイジェスト情報から取得した動画ＩＤを使い本家ボタンから本家へジャンプできるようにしてあります。 2015.04.11 ニコスクリプトの問い合わせがありましたので追記しました。 １分２０秒から動画sm12345678を紹介する例を載せます。 同時刻に「本家」と「次」を設定すると上下が逆転するケースがありましたので、「次」を１秒遅らせて同時に消します。 ４行目の右端に半角の空白が１個あります。 ニコスクリプトの上限は１０００行でしたので、１０００行／動画÷５行／曲＝２００曲／動画まで設定し２０１曲目からはありません。 １０００行を越えて送信すると全行失敗しました。 プログラムがサーバーへ送信するフォーマットは投稿者のブラウザ画面で設定するものと異なります。

80:@20:@キーワードジャンプ 本家 sm12345678 本家動画を開きます 完全一致 別窓
80:@20:@キーワードジャンプ 次 1:40 「」 完全一致
80:shita @20:@ボタン 「　　　　　　　　　　　　　　　　[本家]」 本家 非表示
80:shita small @20: 
81:shita @19:@ボタン 「　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 [次]」 次 非表示

投稿した新着ダイジェストをこのページ冒頭で紹介したマイリストへ登録します。 これで全自動の処理は終わりです。

投稿後、私が視聴して除外を決めた場合、自分宛に除外指定をツイートします。 ＶＰＳはツイートを監視、除外指定を拾い、ダイジェスト情報から新着ダイジェストの投稿者コメントを生成して上書きします。例によってｃｒｏｎｔａｂの出番です。
＊　＊　＊　＊　＊　？？？？？？？？？？←内緒
監視間隔は１分毎です。 その他に、除外タグ、除外ユーザも同様に自分宛にツイートすることでＶＰＳが更新します。 時々、除外指定をツイートしていますのでどんな感じか興味がありましたらご覧ください。 いやあ、ツイッターって本当に便利ですね。 昔なら、ブラウザでサイトを開き、サイトはＣＧＩで受けなきゃいけなかったから、 それに比べると除外指定の操作も、仕組みを構築するのも両方とも省力化できました。

このページを書いている間に自動投稿された新着ダイジェストがこちらです。 2018-01-19 【この動画を削除しました】

2015.12.15 このページを動画にしました。 ２ヶ月のボーカロイド新着を眺めていると毎日１００件程度の投稿があるので１ヶ月３０００件のペースで投稿されているのが分かりました。 こんなに投稿されているなら、わざわざランキングに上った曲を聞かなくても良いと思う。 …ん、なんか全ランキング動画投稿者を敵に回してないか、コレ？