Skip to content

Latest commit

 

History

History
1065 lines (833 loc) · 112 KB

encode.md

File metadata and controls

1065 lines (833 loc) · 112 KB

エンコード

録ったあとの話。 何をどうエンコードするか、字幕をどう入れるか。CM の見つけ方は cm.md。 選ばなかった案と、実測して見送ったものも置いてあります。

保存先と配り方は library.md、局ロゴは logo.md。

既定は AV1 + Opus + ARIB 字幕 (そのまま) の Matroska。同じ画質でファイルは小さくなりますが 時間がかかるので、AV1 をデコードできない相手 (古いテレビなど) 向けに設定画面で H.264 も選べます。 GPU で H.265 をエンコードできる機材では H.265 も選べます (下)。 音声・字幕・コンテナは変わらず、どれも 8bit です (下の実測)。4K の局の録画の AV1 だけは、放送のまま 10bit の HLG で出します (下)。

いくつも同時に選べます。 1 本の録画を AV1 (….mkv)・H.265 (… [H265].mkv)・H.264 (… [H264].mkv) のうち 選んだぶんだけ同時にエンコードします (下)。主は AV1 → H.265 → H.264 の先頭で、置き方と主・従の決め方は library.md。 CM は 1 本目をエンコードしながら探し、どのコーデックも境目が決まってからチャプターを書き足します (cm.md)。

「エンコードしない」は「どれも選ばない」ことです。 元の TS (4K の局は 1 局に絞った TLV の .mmts) をそのまま保存先へ置くので、 CM のチャプターも字幕トラックも付きません (どちらもエンコードのときに入れるため)。 予約したあとに「エンコードしない」へ変えたときも、録り終えた時点の設定に従って元の TS を置きます。待っているエンコードは「映像コーデックが選ばれていません」で失敗にし、元の TS は残します。

GPU でエンコードする (VA-API)

GPU が見えれば、起動時に自分で見つけて使います。 コンテナに /dev/dri を渡してあれば、 src/lib/server/hwenc.ts が起動のたびに HW_DEVICES (既定 /dev/dri/renderD*) に当たるデバイスを全部見つけ、 デバイスごとに VA-API で 3 つのコーデック (H.264 / H.265 / AV1) を 1 コマずつエンコードして確かめます。 ffmpeg -encoders は「組み込んであるか」しか分からず、動くかは世代でも違う (Arc より前は AV1 のエンコードが無い) ためです。イメージの中身は Dockerfile の ffmpeg 段の説明にあります。

使えるものは自動で使います。設定の「録画」の「エンコード」(/settings/recording#encoding) では、映像コーデックごとに横の欄でエンコーダ (ソフトウェア・GPU の名前・GPU を順番に使う) を選べます。欄は「録画」と「ライブ」の 2 列で、別々に選べます (下)。欄が出るのは、そのコーデックを GPU でエンコードできるときだけです (H.265 はソフトウェアが無いので、録画の欄にソフトウェアは出ず、ライブの欄はソフトウェアの代わりに「使わない」です)。 GPU が 2 枚あればコーデックごとや録画とライブで割り振れ、「GPU を順番に使う」では 1 本エンコードするごとに先頭を入れ替えます。 設定はデバイス × 方式 × コーデックで持っていて (録画は hwAllow、ライブは liveHwAllow)、画面で選び直しても使えない方式・いま見えていない デバイスの分は変えないので、GPU を挿し替えればそのまま効きます (hw.chooseHw)。挿し直した・権限を直したときは コーデックの下の「再確認」で、再起動せずに確かめ直せます。

試す順は (デバイスごとに) VA-API (Rockchip は MPP、NVIDIA は NVENC)、最後にソフトウェア (H.265 を除く) で、どの方式でも「素のまま → 先頭を少し捨てて」の 2 回が落ちたら次へ移ります。試しのエンコードが通っても素材しだいで落ちることはありますが、GPU が駄目なだけで 録画は失敗しません。Intel も QSV ではなく VA-API で使います (QSV を使わない理由)。 この起こし直しは、ジョブを試す上限 (ENCODE_MAX_ATTEMPTS) に数えません。上限が数えるのはジョブのやり直し (ポッドが止まって、起動したときに最初からエンコードし直す) だけです。

画質は H.264・H.265 が CQP (-qp)、AV1 が ICQ (-global_quality) で、値はコーデックごとに、ソフトウェアのエンコードと同じ画質になる所です。 CQP は量子化の幅を固定する指定 (0〜51)、ICQ は x264 の crf に当たる「この画質で」の指定 (1〜51) です。Arc A310 で放送の 1440x1080 を 60 秒ずつ 2 か所エンコードし、ソフトウェアの設定を決めたのと同じ XPSNR が、svt-av1 preset 9・crf 35 (前の設定) と x264 crf 23 の高いほうに 2 か所とも −0.26 dB 以内で揃う値を選びました (ソフトウェアどうしは 0.84 dB まで離れている。H.265 はソフトウェアのエンコーダが無いので同じ目標に合わせる)。 svt-av1 をいまの preset 8・crf 37 にすると 600 秒の所だけ x264 より少し上になります (本番機の測り方で XPSNR 40.37 と 40.02 dB) が、 GPU の値は前の目標で選んだまま測り直していません。

録画は急がないので、同じ画質で小さくなる指定を足しています (ライブには足しません)。

  • -compression_level:v 1 … ドライバの品質と速さの段 (iHD は 1〜7 で、渡さないときは 4 と同じ出力)。1 は 3 つとも、同じ XPSNR で 3〜5% 小さくなりました。 :v を付けないと音のエンコーダにも効き、libopus は計算の手間 (complexity) を 10 から 1 に落とします
  • -bf 3 -b_depth 2 -b_qfactor (H.264・H.265 だけ) … B フレームを 3 枚にして真ん中の B を参照に使うピラミッドにし、B の qp を P の 1.3 倍 (H.265 は 1.4 倍。どちらも +1.25) にします。同じ qp では XPSNR が少し下がるので、qp を 25 から 24 に上げました。 倍率はコーデックごとに、目標の内でいちばん小さくなる値です (H.264 の 1.4 は前の測り方で −0.49 dB と外れ、H.265 の 1.3 は +0.16・−0.10 dB で 1675・1055 kbps)。 -bf 7 -b_depth 3 は映像が壊れます (A310 で XPSNR が 14〜35 dB に落ちた)。AV1 は B フレームの数や GOP の長さを変えると、 大きくなるか場所によって良し悪しが割れたので既定のままです
コーデック 指定 ビットレート (300 秒・600 秒の所) 目標との差 (dB) 前 (qp 25・ICQ 26) ICQ と CQP
H.264 CQP 24 2203・1383 kbps −0.10・−0.18 2347・1472 kbps 同じ XPSNR で CQP が 5〜7% 小さい
H.265 CQP 24 1498・988 kbps −0.20・−0.19 1803・1064 kbps CQP が 9〜17% 小さい。ICQ は 25〜26 で頭打ち
AV1 ICQ 26 2157・1250 kbps +0.47・−0.16 2182・1262 kbps ICQ のほうがはっきり良い

「前」の列 (ピラミッドを足す前の大きさ)、「ICQ と CQP」の列、H.264 の倍率 1.4 は、下に書いた前の測り方のときのものです。

XPSNR そのものの値 (dB) とビットレートです。

300 秒・600 秒の所 XPSNR ビットレート
x264 medium crf 23 38.769・38.750 2488・1395 kbps
svt-av1 preset 9 crf 35 (前の設定) 37.927・38.996 1131・718 kbps
目標 (高いほう) 38.769・38.996
H.264 qp 23・-b_qfactor 1.3 39.027・39.194 2532・1632 kbps
H.264 qp 24・-b_qfactor 1.3 (いま) 38.665・38.812 2203・1383 kbps
H.264 qp 25・-b_qfactor 1.3 38.189・38.416 1859・1152 kbps
H.265 qp 23・-b_qfactor 1.4 39.007・39.165 1817・1221 kbps
H.265 qp 24・-b_qfactor 1.4 (いま) 38.573・38.803 1498・988 kbps
H.265 qp 25・-b_qfactor 1.4 38.261・38.480 1302・839 kbps
H.265 qp 24・-b_qfactor 1.3 38.931・38.901 1675・1055 kbps
AV1 ICQ 25・-compression_level 1 39.686・39.283 2658・1595 kbps
AV1 ICQ 26・-compression_level 1 (いま) 39.240・38.836 2157・1250 kbps
AV1 ICQ 27・-compression_level 1 38.997・38.618 1930・1098 kbps

3 つとも、いまの値から 1 段粗くすると (qp 25・ICQ 27) 目標から外れます (H.264 は −0.58・−0.58 dB、H.265 は −0.51・−0.52 dB、AV1 は 600 秒の所で −0.38 dB)。 1 分の映像のエンコードは H.264・H.265 で 4.7〜5.0 秒 (前は 3.4〜4.2 秒)、AV1 で 6.4〜6.8 秒 (前は 4.2〜4.4 秒) です。 インタレ解除と引き伸ばしは CPU のフィルタで済ませ、エンコードするところだけ GPU に渡します。

XPSNR は FFmpeg の vf_xpsnr を JS で書き直したもので、輝度だけを測ります。作った映像で ffmpeg の xpsnr フィルタと突き合わせ、 小数点以下 4 桁まで同じでした。輝度は yuv420p の生の出力から範囲を変えずに取り、1 本の録画 (1440x1080) の 60 秒 2 か所を、 bwdif を通した後 (29.97 コマ/秒) の全部のコマ (1 か所 1798 コマ) で比べています。 -vf format=gray は放送の Y (16〜235) を 0〜255 に引き伸ばし、5 コマおきの取り方は映像の周期と重なる位置があり (300 秒で 2.0 dB、600 秒で 1.0 dB)、 測る位置によって値が低く出ます。輝度を取り出すときは範囲を変えず、全部のコマで比べてください。

足した指定は、どれもドライバが持たなくても落ちません。FFmpeg は段を持たないドライバでは -compression_level を 無視し、B フレームを持たないドライバでは I と P だけにします。なので試しのエンコードは録画と同じ引数のまま試します。

ICQ を持たないドライバ (i965。Gemini Lake などの古い Intel と、Mesa) では、AV1 を CQP で指定します。 試しのエンコードで AV1 の ICQ が落ちたら CQP でも試し、通ればそちらでエンコードします。H.264・H.265 は初めから CQP なので、ICQ では試しません。 AV1 の CQP は -global_quality 75 (量子化の値 0〜255) です。 av1_vaapi は -qp を黙って無視し、既定の値で 9〜12 Mbps も出していました (前の -qp 120。HuC の無い A310 の録画が 2.5 GB になったのはこれ)。AV1 がどちらで通ったかはデバイスごとに覚えていて、 設定画面のコーデックの下の「詳しく」には「VA-API: AV1 (CQP) / H.264」のように出ます。 CQP は場面に応じて量を変えないので、ICQ より動きの多い場面で大きく、静かな場面で小さくなるはずです (i965・Mesa の実機では測っていません)。

ドライバにそのコーデックのエンコードが無いときと、ICQ が無いときは、警告ではなく理由の 1 行をログに出します。 GPU の世代で決まっていて、起動のたびに同じ警告が出るだけになるためです。どちらも FFmpeg のエラーの文で見分けます (hwenc.trial)。

  • No usable encoding profile found (Arc より前の Intel・RDNA3 より前の AMD の AV1 など) … そのコーデックは使いません。AV1 の CQP も試しません。 ログは「av1_vaapi (/dev/dri/renderD128) は使えません。ドライバにこのコーデックのエンコードがありません: …」です
  • Driver does not support ICQ RC mode (supported modes: …) … ドライバが持つレート制御を添えて出し、AV1 は CQP で試します。 通れば「CQP でエンコードできました」と出します

それ以外で落ちたら、今までどおり警告します。警告とこの 1 行には、VA-API のドライバの名前 (VAAPI driver: …) を添えます。 名前は verbose の段の行にあるので、試しのエンコードは ffmpeg を -v repeat+level+verbose で起動し、行ごとの段の印からエラーの行を選びます。 repeat は同じ行をまとめる Last message repeated (段の印が付かない) を出させないためです。

ffmpeg 9 がエンコーダを開けずに落ちると、最後の行はいつも -22 (Invalid argument) になります。 フィルタの側で開けずに落ちたあと、 エンコードの側は開いていないまま終わりを受け取り、Could not open encoder before EOF で EINVAL を返すためです (fftools の ffmpeg_enc.c)。 本当の理由は、その前のエンコーダの行と、ffmpeg の終了コード (エラーの番号の下 8 ビット。218 は −38 で ENOSYS) にあります。 そのため警告には、原因を持たない行 (Task finished with error code・Terminating thread・Nothing was written into output file・ Could not open encoder before EOF・Error while opening encoder - maybe incorrect parameters・Conversion failed!) を外したエラーの行を出します。

AV1 の CQP は、同じ画質で ICQ より 5 割ほど大きくなります。 FFmpeg の av1_vaapi は CQP のとき CDEF を使わず (vaapi_encode_av1.c が enable_cdef を立てるのは CQP でないときだけ)、ループフィルタの強さも渡しません (ICQ ではドライバのレート制御が決める)。A310 で CQP にすると、CDEF もループフィルタも全部のコマで 0 でした。 300 秒の所で b_qfactor 1.1 の 75 が ICQ 26 とほぼ同じ XPSNR (前の測り方で差は 0.07 dB) で 3368 kbps と、ICQ の 2182 kbps の 1.5 倍です (既定の b_qfactor の 75 は測っていません)。それでも AMD で AV1 をエンコードできるように残しています。 直すには FFmpeg の側を変える必要があります (CQP でもフィルタを使うように)。

AMD の GPU も VA-API で使います (amd64 のイメージだけ)。ドライバは Mesa の radeonsi です。 Mesa は ICQ を持たないので、AV1 も上の CQP で指定します。H.264 は今の世代ならほぼ全部、 AV1 は RDNA3 (RX 7000・Radeon 780M など) から使えますが、どれが使えるかは試しのエンコードが決めます。 ドライバは Debian のパッケージではなく、radeonsi と VA-API だけを LLVM 無しで組んだものです (パッケージは LLVM ごと 入ってイメージが約 170 MB 増えるため。Dockerfile の mesa 段)。手元に AMD の GPU が無いので、実機ではまだ確かめていません。 AMD の別の仕組み (AMF) は、Linux では AMD が別に配るランタイムが要り、イメージ 1 つで配れないので使いません。

QSV を使わない理由

Linux では Intel の GPU も VA-API だけで使い、QSV (libvpl) はイメージに入れていません (前は QSV を先に試し、VA-API を予備にしていました)。

  • 速さは同じです。 Linux の QSV は VA-API の上にかぶさる層で、下では同じドライバ (iHD) が動きます。
  • QSV にしかできないことを使っていません。 denpa が渡すのは CQP・ICQ・キーフレームの間隔だけで、どれも VA-API でできます。 QSV の先読み (look_ahead・extbrc) は、Arc A310 で ICQ 24 に足しても大きさも画質も変わりませんでした (指定がそのまま無視される)。
  • Tiger Lake より前の世代では QSV が動きません。 今の QSV のランタイム (vpl-gpu-rt) は Tiger Lake 以降だけで、それより前を受け持つ Media SDK は 2023 年に開発が止まり、配布物からも外れています。VA-API のドライバは Broadwell まで受け持ちます。
  • Arc A310 では QSV の H.265・AV1 が落ちました (hevc_qsv は Invalid FrameType:0、av1_qsv は mkv に書けない)。H.264 は通りましたが、 同じ素材・同じ ICQ 24 で VA-API のほうが少し画質が上でした (Y の PSNR で 44.87 dB と 44.48 dB)。

Intel のドライバは Debian の non-free のパッケージです。 free のパッケージはソースの無いシェーダを抜いてあり、シェーダを使うエンコード (Skylake〜Comet Lake の H.265、Broadwell のエンコード全部) ができないためです。

ライブは別に選んだエンコーダで GPU に載る

ライブの列でそのコーデックのエンコーダに GPU を選んであれば、ライブと追っかけ、録画を別の形式で観るときのその場の変換も GPU でエンコードします (設定 liveHwAllow。ソフトウェアにすれば CPU に戻ります。録画でチェックを外したコーデックも同じです)。H.265 はライブだけで、 ライブの列で GPU を選んであるときだけライブに出します (「使わない」にすれば出しません。下)。録画と分けてあるのは、録画とライブで 使う GPU を分けられるようにするためです (録画のエンコードとライブが同じ GPU を取り合わないように、など)。上げたときは録画と同じ選び方から始まります (マイグレーション 0026_live-hw-allow が hwAllow を写す)。低遅延のために録画とは引数を変えています (hwenc.liveHwArgs: -bf 0、 -async_depth 1。NVENC は別の言い方で、NVIDIA の節)。

MPEG-2 を GPU でデコードできるデバイスでは、デコードとインタレ解除も GPU に寄せます (VA-API だけ。-hwaccel vaapi -hwaccel_output_format vaapi + deinterlace_vaapi=rate=field)。エンコードするところだけ GPU に移しても、CPU に残るデコード・ bwdif・nv12 への変換で非力な機材は 3 本同時に間に合わないためです (issue #417 の実測。Celeron J4125 で 3 本同時、 エンコードするだけ GPU が 0.76x、全部 GPU が 1.2x)。使えるかは試しのエンコードで、その場で作ったインタレの MPEG-2 を GPU でデコードして 解除してエンコードして確かめます (hwenc.probeFull。GPU でデコードできないとフレームが GPU に無いので必ず落ち、通った = GPU でデコードできた)。 設定画面の「詳しく」には「ライブはデコードから GPU: H.264」と出ます。

映像を 1 つも出さないうちに GPU の ffmpeg が失敗して終了したら、ソフトウェアで再エンコードします (live.ts の Session.runEncode。H.265 は除く。下)。 ソフトウェアで映像が出たら GPU のせいだったと決めて、画面に一行出し、その方式を 15 分覚えてその間はソフトウェアで エンコードします (選局のたびに待たせない)。ソフトウェアでも出なければ GPU とは関係なく失敗したので (選局直後に映像が まだ来ていない、など) 覚えません。NVENC が同時に開ける数を超えて失敗したときも覚えません (NVIDIA の節)。出し始めてから落ちたものも GPU のせいとは限らないので、いつもどおり 「映像を出せませんでした」です。

手元に GPU が無いので、確かめていないもの: 最初の映像が出るまでの時間 (x264 ultrafast と比べて)、 deinterlace_vaapi の画質が bwdif と比べてどうか、ライブの画質 (H.264 は CQP の qp 25 で B フレームなし、AV1 は録画と同じ ICQ) が x264 ultrafast の既定 (crf 23) と見た目で揃うか。 MSE に渡す codecs (avc1.640029 = Level 4.1) は GPU でエンコードしたものの level と合わないことがあるが、 ブラウザは level で断らない前提でいます。GPU が init だけ出して終了したときは、画面は init を 2 回 (GPU のものとソフトウェアのもの) SourceBuffer に足し直しますが、SPS の違う init を足し直したときの MSE の振る舞いも見ていません。

Intel の VA-API ドライバは amd64 のイメージだけです (Debian の arm64 に無い)。arm64 向けの VA-API ドライバはいま入れていない ので、実際にはソフトウェアでエンコードします (実機では未確認)。arm64 で GPU に当たるのは、下の Rockchip MPP です。

Helm は既定で /dev/dri を hostPath で渡してあります (denpa.gpu.hostPath。 そのぶん Pod は privileged。デバイスプラグインを使うなら false にして resources.limits で)。Compose は devices: - /dev/dri:/dev/dri (compose.prod.yml のコメント。ホストに 無いと起動できないので既定では書いていません)。

録画のその場の変換も同じエンコード方式。本数に上限を置く

録画をエンコード済みと違う形式で流すとき (api/recordings/<id>/stream。server/playback.ts) もライブと同じ エンコード方式・同じ印で GPU に載せ、1 バイトも出さずに終了したらソフトウェアで再エンコードします (落ちた方式を 15 分覚えるのも ライブと共有)。元がエンコード済みならインタレ解除は済んでいるので挟まず、GPU もデコードからは載せません。

同時に走らせる本数には上限があります (server/transcode.ts。設定の「録画」の「エンコード」にある「同時に変換する本数」)。 数えるのは録画の変換と追っかけ再生で、ライブは数えず断りません (回線に合わせて段を下げたライブを新しくエンコードするときだけは数え、埋まっていれば段を下げない。stream.md)。詰め替え (映像を写すだけ)・元の TS をそのまま・ 音声だけも軽いので数えません。埋まっていれば 503「サーバが混んでいます」です。 録ったあとのエンコードはこの枠を使わず、別の枠 (ENCODE_CONCURRENCY) で数えます (下)。

既定は GPU が無ければ 2、あれば 4 です。ドライバに「同時に何本エンコードできるか」を聞く手が無いので、GPU の有無で 決めています。 denpa が使う VA-API はセッション数の上限を言わず、NVENC の消費者向けの上限 (いまは 12) もドライバには聞けません。実際に何本間に合うかは機材と素材で変わるので、設定で変えられるようにしてあります (起動時の試しのエンコードは使えるかを見るだけで、速さは測っていません)。

回線に合わせて下げた段も同じ関数で組む

回線に合わせて画質を下げたライブ・追っかけ・録画の変換は、段の表 (src/lib/rungs.ts) の高さ・30 コマ以下・ビットレートの上限でエンコードします (live.videoArgs の rung。いつ下げるかと段の表は stream.md)。

エンコード済みの録画は、元が 30 コマを超えるとき (60 コマ) だけ fps で 29.97 コマに間引きます。元が 30 コマ以下 (24 コマ・29.97 コマ) なら コマを足さずにそのままのコマ数で縮め、キーフレームも 1 秒ごと (24 コマなら -g 24) にします。元のコマ数はファイルを ffprobe で読んだ 平均のコマ数 (avg_frame_rate) で、読めなければ 29.97 コマにそろえます。放送 (インタレ) は今までどおり bwdif で 29.97 コマにします。bwdif はインタレのコマだけを解除するので (deint=interlaced)、720p (59.94p) の局はそのあと fps で 29.97 コマにそろえます。

どのエンコーダも、ピーク (-maxrate) を段の値で止めます。 段の値は回線に収まる量で、段 0 のように平均の 2 倍まで許すと、動きの多い場面で回線を超えるためです。

エンコーダ レート制御 縮める所
x264 veryfast・-crf 23 -maxrate <上限> -bufsize <上限> (上限つき crf) CPU (bwdif=mode=send_frame:deint=interlaced,fps=30000/1001 か fps、scale=-2:<高さ>)
Rockchip MPP 今の AVBR (hwenc.rkmppRate)。上限 (-maxrate) が段の値になるよう、目標を段の値の 16/17 にする CPU
NVENC 今の VBR (hwenc.vbrRate)。-b:v・-maxrate・-bufsize に段の値 CPU
AMF 今の VBR (-rc vbr_latency)。-b:v と -maxrate に段の値 CPU
VA-API CQP をやめて VBR (-b:v と -maxrate:v に段の値) デコードから GPU なら GPU (deinterlace_vaapi=rate=frame,scale_vaapi)、ほかは CPU
QSV ICQ をやめて -b:v と -maxrate に段の値 (qsvenc.c は 2 つが同じだと CBR) CPU
VideoToolbox -b:v と -maxrate に段の値 CPU
MediaCodec CBR (-bitrate_mode cbr) で -b:v に段の値。上限の指定を持たない CPU
  • x264 は ultrafast にしません。CABAC とデブロックを切るので、低いビットレートでは粗さが目立ちます。静かな場面は crf のぶんだけ小さく、動きの多い場面は上限で抑えます
  • 段 1〜3 の音声は 96k です (256k は 2.4 Mbit/s の回線の 1 割を使う)
  • ソフトウェアでエンコードするのは H.264 だけです。SVT-AV1 は段を下げても重く、x265 は組んでいません (下)
  • scale_vaapi は段を下げたときのためだけに Dockerfile のフィルタに足してあります

段を下げた変換の重さを測る

scripts/rung-bench.ts が、段の引数と同じものを本物の ffmpeg に通して、コマ数/秒と CPU のコア数を出します (RK3588 向け)。 映像の引数は live.videoArgs と同じものをスクリプトの中で組みます (イメージの中では src の依存を読めないため)。ずれていないかは scripts/rung-bench.test.ts が確かめます。

# RK3588 の機械で。チェックアウトを読み取り専用で渡し、MPP のデバイスを渡す
docker run --rm -v "$PWD:/src:ro" -v /tmp/bench:/work -w /work \
  --device /dev/mpp_service --device /dev/dma_heap \
  --entrypoint /usr/local/bin/bun ghcr.io/danything/denpa:latest \
  /src/scripts/rung-bench.ts /work [放送の TS] [H.265 の mkv]
  • 測るもの: H.265 1080p (ソフトウェアでデコード) → hevc_rkmpp / h264_rkmpp の 720p30・540p30、MPEG-2 1080i → bwdif で 30 コマ → 同じ、 MPEG-2 1080i → x264 veryfast の 540p30・720p30、MPP を何本同時に動かせるか (段 1 の h264_rkmpp を 1 本ずつ増やし、どれかが 29.97 コマ/秒を割るまで)
  • 1 行ごとに「コマ数/秒 (実時間の何倍)、CPU のコア数」を出します。CPU は ffmpeg の -benchmark の (utime + stime) ÷ rtime です
  • 素材を渡さなければ testsrc2 に noise を足して作ります (H.265 は hevc_rkmpp で作る)。合成の映像はエンコードしやすいので、本物の放送の録画とエンコード済みの H.265 を渡したほうが実際に近くなります
  • 使えないエンコーダ (RK3588 でない機械の rkmpp など) の行は飛ばします。J4125 などでは x264 の行だけが出ます

まだ測っていません。 結果で段の表 (rungs.ts) と既定の段を直します。

Rockchip (RK3588) でエンコードする

RK3588 / RK3588S のハードウェアエンコーダ (MPP) で H.264 と H.265 をエンコードできます (arm64。NanoPi R6S など)。 本家 FFmpeg の h264_rkmpp・hevc_rkmpp (8.1 から) を使い、MPP (https://github.com/rockchip-linux/mpp) は Dockerfile の ffmpeg 段で ソースから組んで arm64 のイメージに入れています。イメージは分けていません。 Rockchip でない arm64 の機械にも入りますが、 /dev/mpp_service が無ければ試さないだけです。

要るもの:

  • Rockchip の BSP カーネル (5.10 / 6.1 系。ボードの配布 OS の多くがこれ)。メインラインのカーネルには /dev/mpp_service がありません
  • コンテナに渡すデバイス: /dev/mpp_service (エンコーダ) と /dev/dma_heap (MPP がフレームの置き場を取る。無ければ /dev/dri/renderD128 か /dev/dri/card0 で取る)。compose.override.yml に次のように書きます。
services:
  denpa:
    devices:
      - /dev/mpp_service:/dev/mpp_service
      - /dev/dma_heap:/dev/dma_heap

起動時に /dev/mpp_service が在れば、GPU (renderD*) とは別の行 (mpp_service (Rockchip)) で h264_rkmpp と hevc_rkmpp を 1 コマずつ試し、 通れば設定の「エンコード」で H.264・H.265 のエンコーダに選べます (自動で使うのも、落ちたら次の方式・ソフトウェアへ倒れるのも GPU と同じ)。 ライブとその場の変換 (H.264) も同じ印で MPP に載り、映像を出さずに終了したらソフトウェアに戻ります。

  • AV1 は対象外です。 RK3588 は AV1 をデコードできてもエンコードできません。AV1 はソフトウェアのままです
  • インタレ解除と引き伸ばしは CPU のまま (bwdif・scale)。本家のデコーダは MPEG-2 を持たず、IEP のインタレ解除も 無いので、エンコードするところだけ MPP に渡します

画質はビットレートで決める

本家の h264_rkmpp・hevc_rkmpp は画質での指定 (CQP・qp) を持たず、レート制御は -rc の vbr / cbr / avbr だけです。そこで AVBR (静かな場面では量を下げる VBR) に、出す高さとコマ数ごとのビットレートを渡します (hwenc.hwBitrate)。

出す映像の高さ 30 コマ 60 コマ
1080 9.0 Mbit/s 10.5 Mbit/s
720 5.5 Mbit/s 6.5 Mbit/s
それより下 2.5 Mbit/s 3.0 Mbit/s

ライブとその場の変換は映像が来る前に引数を決めるので、いちばん重い 1080・60 コマの値です。MPP の VBR / AVBR が 目指すのは上限なので上限 (目標の 17/16) と下限 (1/16) も渡し (MPP のテスト用のコードと同じ置き方)、キーフレームの 間隔は x264 の既定と同じ 250 コマにしています (渡さないと libavcodec の既定の 12 コマになる)。

値は、今の CPU の H.264 と同じくらいの画質になるように測って決めました。放送のデータは使っていません。

  1. 公開のテスト映像 Big Buck Bunny (60 コマ) と Tears of Steel (24 コマ。シネスコなので真ん中を 16:9 で切り出す) から 10 秒ずつ 4 か所を切り出し、放送に似せた MPEG-2 にする (どちらも Blender Foundation の CC BY 3.0) (1440x1080 の 29.97i を 14 Mbit/s、720x480 の 29.97i を 5 Mbit/s、1280x720 の 59.94p を 12 Mbit/s)
  2. denpa と同じフィルタ (bwdif・正方形の画素への引き伸ばし) を通し、今の CPU の H.264 (libx264 medium crf 23) の 平均ビットレートと VMAF (フィルタを通しただけの映像と比べる) を測る
  3. ハードウェアのエンコーダの代わりに libx264 veryfast・B フレームなし・ビットレート指定 (上限は目標の 17/16) を ビットレートを変えて 5 通り測り、2 と同じ VMAF に届くビットレートを内挿する。MPP の H.264 は B フレームを作らず、 手間のかけ方も x264 の速い設定に近いとみた
  4. 4 か所のうちいちばん大きい値に 2 割足して丸める

測ったもの (kbit/s。「代わり」は 2 と同じ VMAF に届くビットレート。720 と 480 は 60 コマだけ) です。

素材 1080 30 コマ: crf23 → 代わり 1080 60 コマ 720 60 コマ 480 60 コマ
Big Buck Bunny・草原 4549 → 7169 (VMAF 92.6) 5155 → 8636 2705 → 5046 1373 → 2321
Big Buck Bunny・追いかけっこ 4214 → 6793 (94.8) 4848 → 8022 2631 → 4385 1179 → 1966
Tears of Steel・会話 4763 → 5901 (93.3) 4824 → 6407 2351 → 3327 1293 → 1876
Tears of Steel・戦い 5735 → 7299 (92.7) 5679 → 7584 2685 → 3562 1520 → 2144
いちばん大きい値 × 1.2 8759 → 9000 10363 → 10500 6055 → 6500 2785 → 3000

代わりは crf 23 の 1.2〜1.9 倍を要りました (アニメのほうが差が大きい)。720 と 480 の 30 コマは測っておらず、1080 の 30 コマと 60 コマの比 (0.85) で出しています。ライブの x264 (ultrafast・crf 23) は同じ VMAF で 1080・60 コマが 10.4〜11.7 Mbit/s で、 ライブに渡す 10.5 Mbit/s とほぼ同じ量です。VMAF はコマの番号で突き合わせています (Matroska の時刻は ms に丸めて あるので、時刻で合わせると 60 コマでは 1 コマずれて 15 点ほど低く出る)。

実機の h264_rkmpp では測っていません (手元に無い)。x264 の代わりと MPP の効率の差は 4 の 2 割で見込んだつもりで、 足りるかは実機で見てもらうしかありません。粗く見えたら hwenc.hwBitrate の表を上げてください。

実機で確かめていないこと: 上の値で見た目が今の H.264 と揃うか、速さ (1080i を 1080p の H.264 にして実時間の何倍か。 CPU に残る bwdif がどれだけ食うか)、要るデバイスファイル (/dev/mpp_service と /dev/dma_heap で足りるか)、 ライブで最初の映像が出るまでの時間。

NVIDIA でエンコードする

NVIDIA の GPU の NVENC で H.264・H.265・AV1 をエンコードできます (amd64。h264_nvenc / hevc_nvenc / av1_nvenc)。AV1 は RTX 40 以降 (Ada) だけで、それより前の GPU では AV1 の試しのエンコードが落ちて H.264・H.265 だけになります。ffmpeg は nv-codec-headers (MIT) で 組んであり、ドライバのライブラリ (libcuda・libnvidia-encode) はイメージに入れていません。 ホストのものを NVIDIA Container Toolkit がコンテナに差し込みます (Dockerfile の ffmpeg 段)。

要るもの:

  • ホストの NVIDIA のドライバ 530 以降 (イメージの nv-codec-headers 12.1 が求める)
  • NVIDIA Container Toolkit (Docker・containerd に GPU を渡すもの)。イメージは NVIDIA_DRIVER_CAPABILITIES=compute,video,utility を置いてあり、NVENC のライブラリ (video) も差し込ませます。Compose は compose.override.yml に次のように書きます。
services:
  denpa:
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu, video, compute, utility]
  • Kubernetes は NVIDIA の device plugin と RuntimeClass (GPU Operator が作るもの) を入れ、chart の denpa.runtimeClassName にその名前を、denpa.resources.limits に nvidia.com/gpu: 1 を書きます

起動時に /dev/nvidia0・/dev/nvidia1 … が見えれば、GPU (renderD*) とは別の行 (nvidia0 (NVIDIA)) で 1 枚ごとに NVENC を 1 コマ試し、通れば設定の「エンコード」でエンコーダに選べます (自動で使うのも、落ちたら次の方式・ソフトウェアへ倒れるのも、 ライブとその場の変換が同じ印で載るのも GPU と同じ)。HW_DEVICES は変えていません。NVENC は GPU をデバイスファイルではなく 番号 (-gpu N) で受けるので、探し方を分けています。番号はデバイスファイルの並びの位置です (コンテナに 2 枚目だけ渡すと、CUDA からは 0 番に見えるため)。並びと CUDA の番号を揃えるため、イメージは CUDA_DEVICE_ORDER=PCI_BUS_ID を置いています。

  • 画質はビットレートで決めます。 NVENC は ICQ (-global_quality) を受けないので、Rockchip MPP と同じ表 (上) の値を VBR (-rc vbr) で渡します。上限とバッファは目標の 2 倍 (測っていません)、 -preset p4 (7 段の真ん中)、キーフレームの間隔は 250 コマです。p7 など遅い段は録画の時間が延びるので、実機で測ってから変えます。 時間方向の AQ・先読み・B フレームを参照にする指定は、持たない GPU で開けずに落ちる (FFmpeg の nvenc.c が ENOSYS で断る) ので渡しません。AV1 の表はいまは H.264 と同じ値で、何も測っていません。 CPU で比べたもの (下) では、同じ画質で忙しい実写は AV1 のほうが大きく、表はいちばん重い素材で 決めているので、下げる根拠が無いためです。VBR は平均を表の値に寄せるので、AV1 を選んでもファイルは H.264 とほぼ同じ大きさで、 浮くぶんは画質に回ります。小さくしたければ、実機で測ってから hwenc.hwBitrate の AV1 の表を下げてください。 H.265 の表も同じ理由で H.264 と同じ値で、何も測っていません (Rockchip MPP も同じ表)
  • ライブは低遅延の引数に替えます (hwenc.liveHwArgs): -preset p2 -tune ll -bf 0 -zerolatency 1 -delay 0。 VA-API の -async_depth は NVENC に無く、渡すと失敗して終了します。デコードとインタレ解除は CPU のままです (イメージの ffmpeg に NVIDIA のデコーダ (nvdec) と CUDA のフィルタは組んでいません。GPU に寄せるなら、実機で確かめてから Dockerfile の ffmpeg 段に足します)
  • 消費者向けの GPU (GeForce) は、同時に開けるエンコードの数に上限があります (いまの NVIDIA の一覧で 12。システム全体で)。 超えた 1 本はエンコードを開くところで失敗するので、ライブとその場の変換はその 1 本だけソフトウェアでエンコードし、方式は覚えません (ほかの理由で失敗したときのように 15 分外すと、空いたあとの選局までソフトウェアになるため)。見分けは ffmpeg の言い分で (hwenc.nvencBusy)、録画は今までどおり次の方式へ倒れます。録画のエンコードはコーデックを同時に走らせても ENCODE_CONCURRENCY 本 (既定 2) まで、その場の変換は既定で 4 本までなので、ライブを足しても上限には届きにくい本数です

実機で確かめていないこと (手元に NVIDIA の GPU がありません): 上の値で見た目が今の H.264 と揃うか・AV1 の値、速さ、 ライブで最初の映像が出るまでの時間、同時に開ける数を超えたときの言い分 (ドライバで違う。FFmpeg の nvenc.c が出す形から out of memory と incompatible client key を見分けている)、2 枚挿しで番号が並びと合うか、distroless の実行イメージで Container Toolkit がライブラリを差し込めるか (Toolkit は差し込んだあと ldconfig を走らせようとするが、イメージには無い。 差し込み先の /usr/lib/x86_64-linux-gnu は既定の検索先なので、dlopen は通るはず)。

Windows でエンコードする

Windows の denpa は、NVIDIA の NVENC・Intel の QSV・AMD の AMF で H.264・H.265・AV1 をエンコードできます (install-windows.md)。Windows に VA-API は無いので、GPU の作り手ごとのエンコーダを使います。 同梱の ffmpeg は MSYS2 で組み、3 つとも入れてあります (.github/ffmpeg-windows.sh)。ヘッダとライブラリは MIT のもの (nv-codec-headers・AMF のヘッダ・libvpl) で、nonfree にならず、ffmpeg は Linux と同じ GPL-3.0-or-later のままです。 ドライバのライブラリ (nvEncodeAPI64.dll・Intel のメディアランタイム・amfrt64.dll) は GPU のドライバが入れるもので、zip には入れません。

GPU があれば起動時に自分で見つけて使い、無ければソフトウェアでエンコードします。 Windows には /dev のデバイスファイルが無く、 GPU の一覧を ffmpeg に問い合わせる方法も無いので、hwenc.probeWindows が番号を順に試します。

  • NVENC は -gpu 0 から順に、H.264 を 1 コマエンコードして確かめます。落ちた番号で止め、通った番号は AV1・H.265 も試して nvidia0 (NVIDIA) のような行にします
  • QSV は Direct3D 11 のアダプタの番号 0〜3 を順に (qsv0 (Intel))、AMF も同じく (amf0 (AMD))。Intel でも AMD でもない アダプタ (NVIDIA・ソフトウェア) が先頭にあるので、落ちても 3 番まで試します
  • どの番号も落ちれば行は出ず、録画もライブもソフトウェアでエンコードします (設定の「エンコード」にそう出ます)。 落ちる理由は、ドライバが無い・GPU が無い・その世代がコーデックを持たないのどれかで、見分けずに使えないものとして外します

使えた GPU は、Linux と同じく設定の「録画」の「エンコード」で録画とライブを別々に選べます (上)。 自動で選ぶ順 (stream.md) は OS に依らず同じ関数です。

画質は速さより優先します (録画)。 3 つとも実機では測っていません (手元に GPU が無い)。下の値は、各エンコーダが持つ画質寄りの指定の うち、持たない GPU でも開けずに落ちないものだけを選んだものです。

エンコーダ 指定 理由
NVENC -preset p4、VBR (Rockchip MPP と同じビットレートの表) (Linux と同じ) ICQ は受けない (FFmpeg が断る)。p7 は録画の時間が延びるので測ってから。時間方向の AQ・先読みは、持たない GPU で開けずに落ちるので渡さない
QSV -preset veryslow -global_quality:v 23 (ICQ)。AV1 は 26 veryslow は target usage の最良品質。H.264・H.265 の 23 はソフトウェアの H.264 の crf と同じ数、AV1 の 26 は VA-API の AV1 の ICQ と同じ数
AMF -usage high_quality -quality high_quality -rc vbr_peak (同じ表のビットレート。上限は 2 倍) 高画質の変換向けの指定。hqvbr・先読みは世代で開けないことがあるので渡さない。CQP・QVBR は値と画質の対応を測れていない
  • AMF は GPU の世代で指定を替えます。 試しのエンコードはまず上の高画質の指定で行い、落ちたら古い世代向けの指定 -usage transcoding -quality quality でもう一度試します。通ったほうの指定をその GPU の行に覚え、録画もその指定でエンコードします (設定の「エンコード」に「(古い世代向けの指定)」と出ます)。high_quality は usage も quality も AMF にあとから足された値で、 VCN 1.0 (Ryzen 5 2500U などの Raven Ridge) では、同じ PC で VCEEnc は使えるのに denpa では GPU が見つからないと報告がありました。 transcoding は usage の最初の値 (変換向け)、quality は high_quality より前からある画質寄りの段で、FFmpeg 9.0.2 の h264_amf・hevc_amf・av1_amf のどれも持ちます。レート制御とビットレートは同じです。画質を取るため、古い世代向けの指定は 高画質の指定が落ちたときだけ使います。ライブの指定 (下) は初めから古い世代も持つ値なので替えません
  • QSV は、GPU のメモリへ移す形 (hwupload) で落ちたら、CPU のメモリのまま渡す形でもう一度試します (HwDevice.qsvSystem。 設定の「エンコード」に「(CPU のメモリから渡す)」と出ます)。HD Graphics 620 (Kaby Lake、ドライバ 31.0.101.2140) では、QSV のランタイムは開けるのに hwupload が Direct3D 11 の入れ物を作れずに落ち (Could not create the texture (80070057))、GPU が見つからないと報告がありました (#2342)。 同じ PC で、フレームを CPU のメモリのまま h264_qsv に渡すとエンコードできました。GPU のメモリへ移すのはランタイムがします。 インタレ解除と縮小は元から CPU でするので、移す所が変わるだけです。指定 (-preset・ICQ) は替えません
  • NVENC は世代で指定を替えません。ドライバが FFmpeg の求める API のバージョンを持たなければ、どの指定でも開けません。 QSV の -preset (target usage) はランタイムへの希望で、持たない段は近い段に寄せて受けます
  • 試しのエンコードが落ちたら、ffmpeg のエラーの最後の 3 行をログに出します ([hwenc] h264_amf (amf0) の試しのエンコードが落ちました …)。原因を持たない行は外します (VA-API の節)。 GPU があるのに使えないときは、ここで落ちた理由 (ドライバが無い・オプションを受け付けない・時間切れ) を読めます
  • Linux で QSV を使わない理由 (上) は Windows に当てはまりません。 Windows の Intel の GPU で使えるのは QSV で、 VA-API は無いためです。H.265・AV1 の QSV が Arc で落ちたのは Linux で、Windows のドライバでは確かめていません。 通らなければ、その GPU のそのコーデックは試しのエンコードで外れます
  • ライブは低遅延の速い段にします (hwenc.liveHwArgs)。QSV は -preset veryfast -bf 0 -async_depth 1 (ICQ は録画と同じ値。回線に合わせて 段を下げたときは -b:v と -maxrate に段の値)、AMF は -usage ultralowlatency -quality speed -rc vbr_latency -async_depth 1。デコードとインタレ解除は CPU のままです (GPU に寄せるのは VA-API だけ)。映像が出る前に失敗すれば、Linux と同じくソフトウェアでエンコードし直し、その方式を 15 分外します
  • QSV は GPU を -init_hw_device qsv=…,child_device=<番号>,child_device_type=d3d11va で選び、CPU で作ったフレームを hwupload で渡します (通らない GPU は CPU のメモリのまま。上)。 AMF は -init_hw_device d3d11va=…:<番号> で開いたデバイスを使います

CI (test.yml の server-windows) は GPU の無いランナーで、tests/native-smoke.ts が次の 3 つを確かめます。 ffmpeg -encoders に h264・hevc・av1 の _nvenc・_qsv・_amf の 9 つが出ること、denpa が渡すオプションを各エンコーダが持つこと (AMF は -usage・-quality・-rc に渡す値が選択肢にあることも)、試しのエンコードが全部落ちて GPU の方式が 0 になること (録画もライブもソフトウェアに戻る)。単体テストは hwenc-probe.test.ts が Windows の探し方 (GPU 無し・NVIDIA と Intel の 2 枚・ 高画質の指定だけ落ちる AMD) を偽の ffmpeg の返事で流します。

実機で確かめていないこと (手元の Windows に NVIDIA・Intel・AMD の GPU がありません): どの GPU でも試しのエンコードが通るか、上の値で見た目が今の H.264 と揃うか・どれだけ小さくなるか、同梱の libvpl の DLL が Intel のランタイムを見つけるか、2 枚挿しや Intel + NVIDIA の ノート PC でアダプタの番号が使いたい GPU に当たるか (libvpl が渡したアダプタ以外の Intel のランタイムを選ぶと、同じ GPU が qsv0 と qsv1 の 2 行に出ます)、 AMF が開いてある Direct3D 11 のデバイスを使うか (FFmpeg の amfenc.c の読みで、実機では見ていない)、ライブの低遅延の指定、 VCN 1.0 で落ちていたのが high_quality の指定だったか (報告から推定。古い世代向けの指定で通るかも、画質の差も見ていない)。

Mac でエンコードする

Mac の denpa は、Apple の VideoToolbox で H.264・H.265 をエンコードできます (install-mac.md)。 同梱の ffmpeg は CI の Mac のランナーで組み、h264_videotoolbox・hevc_videotoolbox を入れてあります (.github/ffmpeg-macos.sh)。 VideoToolbox は macOS の一部なので、配布物には何も足さず、ffmpeg は Linux と同じ GPL-3.0-or-later のままです。 AV1 は VideoToolbox でエンコードできないので、SVT-AV1 (ソフトウェア) だけです。

使えれば起動時に自分で見つけて使い、使えなければソフトウェアでエンコードします。 Apple Silicon のメディアエンジンは VideoToolbox が選ぶので、番号もデバイスファイルもありません。hwenc.probeMac が H.265 と H.264 を 1 コマずつ試し、 通ったものを videotoolbox (Apple) の 1 行にします。

  • ハードウェアでだけエンコードします。 -allow_sw を渡さないので、FFmpeg の videotoolboxenc.c はハードウェアのエンコーダを求め (RequireHardwareAcceleratedVideoEncoder)、無ければ開けずに落ちます。Apple のソフトウェアのエンコーダには倒れず、試しのエンコードが落ちて x264 に戻ります (設定の「エンコード」にそう出ます)
  • 使えたら、Linux と同じく設定の「録画」の「エンコード」で録画とライブを別々に選べます (上)。 自動で選ぶ順は OS に依らず同じ関数です

画質は速さより優先します (録画)。 画質と大きさは測っていません (CI の Mac のランナーで、試しのエンコードが通って放送に似せた素材をエンコードできるところまでは見ている)。

場面 指定 理由
録画 -prio_speed 0 -bf 2、H.264 は -profile:v high。Rockchip MPP・NVENC と同じ表のビットレート (上限は 2 倍) -prio_speed 0 は速さより画質を取る (macOS 13 から)。-bf は B フレームを使わせる (FFmpeg は枚数を渡さず、使うかだけを渡す。既定の 0 では使わない)。画質での指定 (-q:v) は値と画質の対応を測れていない
ライブ -realtime 1 -prio_speed 1 -bf 0。同じ表の、いちばん重い映像の値 実時間でエンコードさせ、B フレームの待ちを作らない。段を下げたときは平均も上限も段の値
  • デコードとインタレ解除は CPU のままです (GPU に寄せるのは VA-API だけ)。映像が出る前に失敗すれば、Linux と同じくソフトウェアでエンコードし直し、 その方式を 15 分外します

CI (test.yml の server-macos) は tests/native-smoke.ts で、ffmpeg -encoders に h264_videotoolbox・hevc_videotoolbox が出ること、 denpa が渡すオプション (profile・prio_speed・realtime) を持つこと、録画とライブの引数で名前の違いで落ちないこと、 試しのエンコードが通れば、その方式で放送に似せた素材をエンコードできること、試しのエンコードが全部落ちる ffmpeg で探し直すと方式が 0 になってソフトウェアに戻ることを確かめます (ランナーでは VideoToolbox が通る)。 単体テストは hwenc-probe.test.ts が Mac の探し方を偽の ffmpeg の返事で流します。

実機で確かめていないこと: 実機の Mac で試しのエンコードが通るか、上の値で見た目が今の H.264 とそろうか・どれだけ小さくなるか、 ライブの遅れ。

Android でエンコードする

Android のアプリ (install-android.md) の ffmpeg は、ソフトウェアのエンコーダ (SVT-AV1・x264・Opus) を Linux と同じに入れ、MediaCodec のエンコーダも組み込んであります。 端末のハードウェアのエンコーダで H.264・H.265・AV1 をエンコードできれば、Mac の VideoToolbox と同じく起動時に自分で見つけて使い、使えなければソフトウェアでエンコードします。 エンコードの本数 (ENCODE_CONCURRENCY) は、端末の速さと熱を実機で測ってから既定を決めます。いまは Linux と同じ既定 (2) です。

  • 組むのは CI で、NDK (API 29) で Dockerfile の ffmpeg 段と同じバージョンと部品を組みます (.github/ffmpeg-android.sh)。 MediaCodec のエンコーダ h264_mediacodec・hevc_mediacodec・av1_mediacodec と、デコーダ (H.264・H.265・AV1・MPEG-2) はここで足します。 bsf の h264_metadata・hevc_metadata も足します。MediaCodec のエンコーダは高さを 16 の倍数に切り上げて (1080 は 1088) エンコードし、はみ出した分を切り落とす印をこの bsf で付けるためで、無いと 1080 の映像でエンコーダを開けません
  • libav は共有ライブラリにし、ffmpeg と ffprobe が共有します* (Linux のイメージと同じ)。Mac・Windows のように libav* を静的に繋いで ffprobe を読む部品だけで別に組むと、 arm64 で 19.8 MB (圧縮して 9.4 MB) になり、共有ライブラリの 14.0 MB (圧縮して 6.7 MB) より大きいためです (2026-11-12 に両方を組んで測った)。 実行ファイルは RUNPATH の $ORIGIN で、同じ置き場 (アプリの nativeLibraryDir) の libav* を読みます
  • MediaCodec は JVM の無いプロセス (bun から起動した ffmpeg) からも使えます。FFmpeg は JVM が無ければ NDK の AMediaCodec を使い (-ndk_codec)、binder のスレッドも自分で立てます。 x86_64 のエミュレータ (API 36) で、アプリの子プロセスの bun から起動した ffmpeg が、3 つとも 1 秒の素材をエンコードできました (エミュレータのエンコーダはソフトウェアの c2.android.*)

ハードウェアのエンコーダは、アプリが名前で選んで denpa に渡します。 FFmpeg の MediaCodec のエンコーダは、名前が無ければ MIME の種類で選びます。 ハードウェアのエンコーダが無い端末ではソフトウェアの c2.android.* を開き、試しのエンコードが通ってしまうためです。NDK でエンコーダの一覧を引けるのは API 36 からなので、一覧はアプリ (Kotlin) が引きます。

  • アプリ (Encoders.kt) は、MediaCodecList のうち isHardwareAccelerated (API 29 から。アプリの minSdk は 29) のエンコーダを、video/avc・video/hevc・video/av01 ごとに 1 つ選び、 MEDIACODEC_ENCODERS (h264=c2.qti.avc.encoder,hevc=c2.qti.hevc.encoder の形) で渡します。並びは端末が勧める順で、先のものを選びます。別名 (isAlias) は外します
  • denpa (hwenc.probeAndroid) は、名前のあるコーデックだけを -codec_name でその名前を指定して 1 コマ試し、通ったものを mediacodec (Android) の 1 行にします。 名前が 1 つも無いか、どれも落ちれば行は 0 になり、ソフトウェアでエンコードします (設定の「エンコード」にそう出ます)
  • 使えたら、Linux と同じく設定の「録画」の「エンコード」で録画とライブを別々に選べます (上)
  • -ndk_codec 1 で NDK の AMediaCodec を使います。フレームは CPU で作った nv12 で渡します (MediaCodec の COLOR_FormatYUV420SemiPlanar)。 デコードとインタレ解除は CPU のままです

画質の指定は Mac と同じくビットレートです。 MediaCodec にも画質での指定 (-bitrate_mode cq) はありますが、持つかどうかが端末で違い、値と画質の対応も測れていないためです。

場面 指定 理由
録画 -bitrate_mode vbr、H.264 は -profile:v high。Rockchip MPP・NVENC と同じ表のビットレート、-g 250 MediaCodec に上限の指定は無い (FFmpeg が -maxrate を渡さない) ので平均だけ。H.264 のプロファイルは渡さないとエンコーダ任せ
ライブ -bitrate_mode vbr。同じ表の、いちばん重い映像の値。段を下げたときは -bitrate_mode cbr で段の値 上限を決められないので、回線に収めるときは CBR にする
  • B フレームは使いません。FFmpeg は -strict experimental を付けないと MediaCodec の B フレームを断ります (出したパケットに DTS が無いため)
  • 低遅延の指定 (MediaCodec の latency・priority) は FFmpeg が渡さないので、ライブも録画と同じエンコーダの既定です
  • -g は FFmpeg が秒に直して MediaCodec の i-frame-interval に渡します (-g 250 で 30 コマなら 8 秒、ライブの -g 60 は 1 秒)
  • キーフレームの印は、端末のエンコーダが同期フレームと返したコマにそのまま付きます (FFmpeg の mediacodecenc.c。IDR を指定する手段はありません)。 VA-API などは IDR にだけ印を付けるので、MediaCodec の録画だけは IDR でないコマに印が付いていることがありえます。 観る画面の詰め替えは、印の付いたコマが IDR でなければ手前の IDR から始めます (api.md)

CI (android.yml の emulator) は、エミュレータ (API 29・35) の中で tests/native-smoke.ts を bun で流し、次のことを確かめます。

  • MediaCodec の H.264 のエンコードが通ること。denpa が渡すオプション (ndk_codec・codec_name・bitrate_mode) を持ち、録画とライブの引数で名前の違いで落ちないこと
  • エミュレータのエンコーダはソフトウェアの c2.android.* だけなので、アプリが名前を渡さず (MEDIACODEC_ENCODERS が空)、探すと方式が 0 になってソフトウェアでエンコードすること
  • ソフトウェアのエンコーダ (c2.android.avc.encoder) の名前を渡したことにして探し直すと、その名前で mediacodec の方式になり、録画とライブ (段を下げた CBR) の引数で放送に似せた素材を H.264 にエンコードできること (API 35)
  • API 29 のエミュレータでは、名前でエンコーダを開けません (Failed to create encoder。c2.android.* も OMX.google.* も同じで、MIME の種類で選ぶと開ける。原因は確かめていない)。 そこでは試しのエンコードが落ちて方式が 0 になり、ソフトウェアでエンコードすることを見ます。Android 10 の端末では、ハードウェアのエンコーダも同じく開けずにソフトウェアになると見ています (推定)

単体テストは hwenc.test.ts が引数と名前の読み方を、hwenc-probe.test.ts が偽の ffmpeg の返事で Android の探し方を流します。

実機で確かめたこと (#2794): MediaTek の端末 (G30A) で、アプリの denpa v2.45.0 が起動時の試しのエンコードを通しました。 ハードウェアのエンコーダ c2.mtk.avc.encoder (H.264) と c2.mtk.hevc.encoder (H.265) が isHardwareAccelerated で見つかり、名前を指定して開けました。この端末に AV1 のハードウェアのエンコーダはありません。

実機で確かめていないこと: 録画とライブを通しでエンコードできるか、上の値で見た目が今の H.264 とそろうか・どれだけ小さくなるか、ライブの遅れ、SoC の熱で速さが落ちるか、 MediaTek 以外の端末。

H.265 は GPU でだけ

H.265 は、GPU で H.265 をエンコードできる機材でだけ選べます (VA-API hevc_vaapi (Intel・AMD)・NVENC hevc_nvenc・QSV hevc_qsv と AMF hevc_amf (Windows)・VideoToolbox hevc_videotoolbox (Mac)・MediaCodec hevc_mediacodec (Android)・Rockchip MPP hevc_rkmpp)。使えるかは AV1・H.264 と同じく起動時の試しのエンコードで 決まり、どれも通らなければ設定画面に H.265 の行が出ません。AV1 をデコードできず H.265 ならデコードできる端末 (数年前のテレビ・スマホ) 向けに、H.264 より小さく持つためのものです。

  • ソフトウェアではエンコードしません (libx265 を組んでいない)。CPU で H.265 をエンコードすると AV1 と同じくらい 時間がかかるうえ、それなら AV1 を選べば足ります。エンコーダの欄にも「ソフトウェア」は出ず、GPU が全部落ちたら その 1 本は失敗です (AV1・H.264 のようにソフトウェアへ倒れない)
  • いま H.265 をエンコードできる GPU が無ければ、H.265 は飛ばします (抜いた・設定で外した)。ほかに選んだコーデックは いつもどおりエンコードし、H.265 だけを選んでいたらエンコードは失敗にします (元の TS は残るので、GPU を戻して再エンコードすれば戻ります)
  • ライブは、ライブの列で H.265 のエンコーダに GPU を選んであるときだけ H.265 を出します (live.liveHevc。GPU が見つかれば 自動で選ばれ、「使わない」にすれば出さない)。どの順で選ぶかと、GPU が映像を出さずに終了したときの動きは stream.md にあります。 ソフトウェアには切り替えず、その方式を 15 分覚えます (同時に開ける数を超えただけなら覚えない)。 引数は H.264 と同じ低遅延の指定 (VA-API は qp 25) で、fMP4 は -tag:v hvc1 (Safari は hev1 を受け取らない)
  • 追っかけ・録画のその場の変換は H.265 を出しません。 ブラウザの H.265 は端末しだいで、AV1 か H.264 に変換すれば足ります。 H.265 のファイルをそのまま渡す・fMP4 に詰め替える (-tag:v hvc1) のはします (library.md)。 例外は回線に合わせて段を下げるときで、端末が H.265 を再生できて GPU で H.265 をエンコードできれば H.265 にします (上)
  • 画質は H.264 と同じ決め方です。 VA-API は H.264 と同じ CQP の qp 24 と B フレームのピラミッド (H.265 の qp も 0〜51)、NVENC・Rockchip MPP は H.264 と同じビットレートの表 (H.265 では何も測っていません。AV1 の表と同じく、測らずに下げる根拠が無いため。 ファイルは H.264 とほぼ同じ大きさになり、浮くぶんは画質に回ります)。8bit (Main) で出します。元の放送が 8bit で、 AV1・H.264 も 8bit にしている (下) のと同じです
  • 字幕 (-c:s copy)・チャプター・デュアルモノの音声の分け方は AV1・H.264 と同じです

実機で確かめていないこと (手元に GPU がありません): どの GPU でも試しのエンコードが本当に通るか、上の値で見た目が H.264 と揃うか・どれだけ小さくなるか、hvc1 に詰め替えたものを Safari や Android の MSE が受け取るか。

字幕は放送の ARIB 字幕をそのまま

エンコードするときに ARIB の字幕を -c:s copy で写します (Matroska では S_ARIBSUB。encoder.captionArgs)。 観る画面はそれをサーバでデコードして文字の配置で描きます (api/recordings/<id>/captions.json。ライブと同じ描き方。 api.md)。

ffmpeg -i <録画.m2ts> ... -map 0:s:0? -c:s copy <出力.mkv>   # 字幕は S_ARIBSUB になる
  • CodecPrivate は ffmpeg が書く (部品タグ 0x30 とデータ符号化方式 0x0008 の 3 バイト。実物で確認)
  • 字幕のストリームを名指しする (0:s:0)。名指ししない既定の選び方では ARIB の字幕が落ちる。? は字幕の無い番組でも止めないため
  • 局 (0:p:<局>) では名指ししない。録画の TS は 1 局に絞ってある。前の番組から録ると、番組が変わってから現れた字幕を ffmpeg が局の外に並べ、局の名指しに当たらず落ちる (#2189)
  • 探り (ts-probe.tsProbe) は、録画の先頭から本編が始まるまでの秒数だけ延ばす。前の番組に字幕が無いと、本編の字幕は番組が変わってから現れる
  • 音声のチャンネル数は番組表の構成 (モノラル 1・ステレオ 2・5.1ch 6) にそろえる (-ac:a:<n>)。ffmpeg は先頭の音声でエンコーダを開くので、前の番組がモノラルだと本編のステレオも 1 チャンネルになる
  • 時刻は映像と同じだけ詰まる。先頭の音声だけの区間を捨てる -ss はストリームごとに同じに効く (チャプターの書き足しは -map 0 -c copy なので、字幕のストリームは落ちない)
  • 字幕の無い番組では字幕トラックが入らない

外のプレイヤー向けの画像の字幕 (PGS) は作りません。 ずっと前にエンコードした録画に入っている PGS も読みません (captions.json は 404)。 元の TS が残っていれば、再エンコードすると ARIB の字幕が入ります (詳細の「その他…」→「再エンコード」)。

ffmpeg は ARIB 字幕をデコードしません。 -c:s copy は中身をそのままコンテナに移すだけなので、字幕のデコーダ (--enable-libaribcaption) は要らない (ffprobe もデコーダなしで Subtitle: arib_caption と名乗る)。 デコードするのはライブも録画も denpa (packages/arib/src/b24caption.ts)。

トラックの名前は放送のものを入れる

音声も字幕も、番組表と同じ言い方で名前を付けます。 付けないと切り替えに「Audio 1」「Audio 2」しか出ず、 二カ国語や解説放送でどちらがどちらか分かりません。

名前 どこから
音声 「主音声 (日本語)」「解説 (日本語)」「ステレオ (日本語)」 番組表の audios (arib.audioTitles)
音声 (デュアルモノ) 「主音声 (日本語)」「副音声 (英語)」 同上。1 本を左右に割るので必ず 2 本
字幕 「字幕」 決め打ち (言語は観る画面で選ぶ)

番組表の行は 24 時間で消えるので、音声の構成は録るときに recordings.audios へ 写しておきます (ジャンルと同じ扱い)。写しの無い古い録画は既定の名前 (「音声」/「主音声」「副音声」) に落ちます。

番組表の本数と実際の本数がずれても困りません。ffmpeg は在りもしないトラックへの指定を 黙って読み飛ばします (実機で確認)。

入れ物にも番組名を書きます (mkv の title。title.displayTitle で [字][デ] などの 装飾記号を落としたもの)。 字幕トラックには language=jpn と default の印を付け、並びは映像 → 音声 → 字幕にしてあります。 字幕がトラック 0 だった頃、テレビ組み込みのデマルチプレクサで字幕を選ぶと固まる症状があったためです。

先頭の音声だけの区間は、ずらさずに捨てる

TS は音声のほうが先に始まっているのがふつうです。そのままエンコードすると出来上がりも 音声だけの区間から始まり、1 コマ目を 0 秒として数えるプレイヤーではそのぶん 字幕が早く出ます。

測るのは「実際にデコードできた 1 コマ目」です。stream.start_time は最初の パケットの時刻で、そこから何コマかは参照先が録れておらず捨てられます。

入れ物の始まり           6115.509
start_time (パケット)    6115.872   ← これを信じると 0.363
実際に出た1コマ目 (I)     6116.439   ← 本当は 0.930   差 0.567 = 17コマ = 半GOP

ずらす (-output_ts_offset) のでは直りません。 Matroska は負の時刻を持てないので、 下がった音声を muxer が押し戻し、全トラックまとめて元の位置に戻ります。実測は次のとおりです。

映像 音声
ずらさない 0.934 0.022
-output_ts_offset -0.363 0.912 0.000
-ss 0.930 で捨てる 0.000 0.000

0.363 渡して動いたのは 0.022 だけでした。捨てれば映像も音声も 0.000 から始まり、 捨てるのは映像がまだ無いところなので見えるものは減りません。

捨てる長さは encoder.headSkip に 1 か所だけ置いています (字幕はエンコードする ffmpeg が映像と一緒に写すので、同じだけ詰まる)。 再試行のときに先頭を捨てる長さ (PAT/PMT が固まる前のぶん) とは理由が別なので、両方あるときは足します。

CM のチャプターも同じ量を引きます。 検出は境目を入れ物の先頭から数えた秒で返すためです (cm.md)。

地上波の HD は 1920x1080 に引き伸ばす

1440x1080 (画素が横長、SAR 4:3) の放送は、正方形の画素の 1920x1080 にしてからエンコードします (encoder.ts の squarePixels)。 もともと正方形の素材 (BS の 1920x1080 など) は大きさを変えません。

1440x1080 のまま SAR を付けてエンコードする形は、試して見送りました (2026-11)。

  • AV1 は映像の中に画素の縦横比を書く場所が無く、SAR は Matroska の DisplayWidth・DisplayHeight にしか残りません。 ffmpeg はここに縦横比 (16 と 9。DisplayUnit 3) を書き、Firefox 157 は AV1 のときそれを画素の数として読んで videoWidth を 16x9 で返します。 映すのは 16:9 のままですが、videoWidth で大きさを決める切り抜きの 1 コマが 16x9 の画素になります。 ffmpeg の Matroska の muxer には、画素の数で書かせる指定がありません
  • 画質 (XPSNR) を揃えると、既定の AV1 は大きさが変わりません。小さくなるのは H.264 だけで、crf を下げたうえで 1 割ほどです

1440x1080 のまま出すと、映像の中と入れ物にはこう入りました (ffmpeg 9.0.2)。

コーデック 映像の中 Matroska 配る fMP4 (playback.copyArgs)
H.264 VUI 4:3 16 と 9 (DisplayUnit 3) pasp 4:3
H.265 VUI 4:3 16 と 9 (DisplayUnit 3) pasp 4:3
AV1 無し 16 と 9 (DisplayUnit 3) pasp 4:3

チャプターを書き足すときの -c copy でも DisplayWidth・DisplayHeight は残ります。 H.265 は libx265 で作って確かめました。denpa は H.265 を GPU でだけエンコードしますが、GPU の経路は試せていません。

再生先で 16:9 に映るかは、Playwright のブラウザで 640x360 の枠に object-fit: contain で置いて見ました (videoWidth・videoHeight と、枠の左右の帯に映像が出ているか)。

ブラウザ mkv をそのまま fMP4 を MSE で
Chromium 156・Chrome 157 H.264・AV1 は 1920x1080 (H.265 は再生できない) H.264・AV1 は 1920x1080
Firefox 157 H.264・H.265 は 1920x1080、AV1 は 16x9 どれも 1920x1080
WebKit 27.2 (Linux) どれも 1920x1080 確かめられない

WebKit の MSE は、いまの 1920x1080 の H.264 でも「Failed to push buffer」で読めませんでした。 ライブは段 0 で 1440x1080 + SAR 4:3 の fMP4 をそのまま配っていて (stream.md)、 互換モード (raw/fmp4.ts) と放送のまま描く経路 (raw/worker.ts) は SAR を掛けた幅で描きます。 端末に保存した録画を互換モードで描く経路 (ts/mkv-media.ts) は DisplayWidth・DisplayHeight を読まず、画素の数のまま描きます。 denpa-tv は映像を 16:9 の枠いっぱいに広げて映すので (PlayerSurface)、画素の縦横比によらず 16:9 で出ます。

大きさと画質は、Big Buck Bunny (Blender Foundation、CC BY 3.0) の 1080p から 10 秒を 3 か所と、そのうち 1 か所に粒状の雑音を足したもので測りました。 放送に似せて 1440x1080 (SAR 4:3) の 29.97i、MPEG-2 14 Mbit/s (GOP 15・B 2 枚) にし、denpa と同じ ffmpeg 9.0.2 と同じフィルタ (bwdif=mode=send_frame) でエンコードしています。 XPSNR は ffmpeg の xpsnr の (6Y+U+V)/8 で、全部のコマ (299) を 1920x1080 で比べました。 元は bwdif を通した映像を denpa と同じ scale で 1920x1080 にしたもので、1920 のエンコードはエンコーダに入れたものそのものと比べます。 1440 のエンコードは同じ scale で 1920x1080 にしてから、同じ元と比べます。

素材 (1920 に対する大きさ・XPSNR の差) H.264 crf 23 のまま H.264 crf 22.5 AV1 crf 37 のまま AV1 crf 35
草原 82%・−0.21 dB 88%・+0.01 dB 88%・−0.29 dB 99%・+0.04 dB
追いかけっこ 82%・−0.37 88%・−0.09 85%・−0.36 97%・+0.04
森 85%・−0.17 91%・+0.07 90%・−0.30 103%・+0.07
草原 + 雑音 81%・−0.08 91%・+0.11 85%・−0.14 100%・+0.03

同じ crf のままだと 1〜2 割小さくなる代わりに 0.1〜0.4 dB 下がります。1440x1080 で比べても差はほぼ同じでした。 H.265 (libx265 medium・crf 26 で代わりに測った) も同じ crf で 86〜94%・−0.12〜−0.51 dB です。

コマ数は本編の映像から測って決める

bwdif の既定は send_field で、1 フィールドから 1 コマ作って 59.94p にします。 放送は 1080i (毎秒 60 フィールド) なので、実写・スポーツ・報道は撮られたとおりの 動きになりますが、コマ数が倍なのでエンコードの時間もサイズもおよそ倍です。

ffmpeg 9.0 / 9.0.1 では 60 コマの長尺で音声が途中で終わっていました (9.0.2 で直った。1 時間超を通しで 確かめるのはまだ。patches/README.md)。

実測 (地上波 1 分、AV1) は次のとおりです。

所要 サイズ コマ数
send_field (60 コマ/秒) 31.8 秒 26 MB 3598
send_frame (30 コマ/秒) 16.9 秒 15 MB 1799
H.264 medium (60 コマ/秒) 29.2 秒 34 MB 3598
AV1 -preset 8 (60 コマ/秒) 59.5 秒 27 MB 3598

アニメは毎秒 24 コマ前後の映像をプルダウンして 60 フィールドに乗せているだけなので、 フィールドごとにコマを起こしても同じフレームが並ぶだけです。そこでどちらの素材かを、 エンコードする前に本編から実測します (encoder.measureSmoothMotion)。

放送の TS に「本当のコマ数」は入っていません (本番で実測)。

  • EIT の component_descriptor は中身が何でも 1080i (アニメも映画も同じ)
  • avg_frame_rate は常に 30000/1001、field_order は常に tt
  • MPEG-2 の interlaced_frame もほぼ全部立ち、テレシネの印 (repeat_pict) も無い
  • 縞の検出 (idet) も使えない。アニメ本編ですらプログレッシブ 0〜2% (パン・合成・ノイズで縞が出る)

そこでフィールドそのものを比べて素材を見分けます (src/lib/server/fps.ts)。本編から 30 秒の窓を 5 つ取り、 窓ごとに 2 つの値を出します。

  • 繰り返し (rep) … 上フィールドだけを並べ (field=type=top)、前の上フィールドとの差 (signalstats の YDIF) を 1 秒ずつ位相 mod 5 で平均し、いちばん小さい位相 ÷ 残り 4 つの平均。3:2 のテレシネは 5 回に 1 回同じフィールドを 繰り返すので 0 に近く、60i と 30p は 1 に近い
  • 上下の差 (wr) … separatefields で並べたフィールドの差を「同じコマの上と下」と「コマをまたぐ」に分け、 小さいほう ÷ 大きいほう。30p は上下が同じ時刻の映像なので低く、60i とテレシネは 1 に近い

どちらも動いている秒 (差の平均 0.5 以上) だけで数え、中央値を採ります。窓は次のように分けます。

判定 条件 出すコマ数
測れない 動いている秒が 5 未満 (静止・黒)、ffmpeg の失敗 数えない
24p 系 (アニメ・フィルム) rep < 0.45 30
30p rep ≥ 0.45 かつ wr < 0.5 30
60i (実写・生放送) rep ≥ 0.45 かつ wr ≥ 0.5 60

5 窓の多数決で、60i が 24p 系 + 30p と同数以上なら 60 コマ、測れた窓が無いときも 60 コマです。 窓ごとの rep・wr・判定はログ ([fps]) に出るので、閾値を詰め直すときはそれを見ます。

実測 (窓ごとの値) は次のとおりです。

素材 窓 rep wr
アニメ本編 (本番の録画 5 本) 27 0.04〜0.42 0.74〜0.98
CM のフィルム撮り 13 0.04〜0.20 0.29〜0.92
CM の 30p 4 0.52〜0.89 0.24〜0.40
実写の 60i (スポーツ・バラエティ、2 局) 4 以上 0.83〜0.93 0.87〜0.97
合成: テレシネ (ノイズ・60i のテロップつきも) 4 0.08〜0.26 0.88〜0.99
合成: 60i 2 0.97〜0.99 0.90〜0.98
合成: 30p 2 0.96〜0.99 0.29〜0.39
  • 60 コマに起こして同じフレームを数える方法 (mpdecimate) は使えません。 bwdif が同じ映像の上下フィールドから 少しずつ違う 2 枚を作るので、動きの激しいアニメが重複に数えられず 60 コマと誤判定します
  • CM は実写の 60i とは限りません。 本番の CM の窓 18 個のうち、13 個がフィルム撮り (24p のテレシネ)、 3 個が 30p で、60i らしいのは 2 個だけでした
  • 30p も見分けます。 出すのは 30 か 60 だけですが、wr が無いと 30p (rep は 1 に近い) が 60i に見えます
  • [0:v:0] で主映像に固定。 地上波の TS にはワンセグ (320x180 の H.264) も残っていて、 任せるとフィルタがそちらに当たることがあった
  • 窓は録画全体に散らす。 CM はエンコードしながら探すので、測る時点では分かりません。散らせば CM に乗るのは 5 窓のうち多くて 2 つで、多数決は動きません (本番の録画 117 本の CM 位置で数えると、乗るのは 0〜2 窓で 3 窓以上は無かった)。最初の本編区間に 5 窓を固めると、アバン+OP に引きずられます
  • 確かめ方。 判定の計算は単体テスト (fps.test.ts) で、本物の ffmpeg での値はイメージの確認 (.github/image-smoke.sh → scripts/fps-smoke.ts) で、testsrc2 から作ったテレシネ・60i・30p・テロップ帯つきの TS を測って見ます。image-smoke は Dockerfile などを触った PR と fps.ts を触った PR で走ります
  • 迷ったら 60 コマ。 本物の 60i を 30 に落とすと動きが崩れるが、逆は無駄が出るだけ

録画はいつも実測して決めます。 ライブは映像が来る前に決めるので、測らずに 60 コマで始めます。エンコードが遅れたときと、回線に合わせて段を下げたときは 30 コマ以下にします (stream.md)。

どちらに転んだかは recordings.fps に書き、番組詳細に「30 コマ/秒」「60 コマ/秒」のラベルで 出します。未エンコードの録画と、記録を始める前にエンコードしたものには付きません。

H.264 は crf 23 (AV1 と同じ画質)

画質は AV1 の前の設定 (preset 9・crf 35) に揃えています。 同じ番組をどちらでエンコードしても見た目が 変わらないようにするためで、大きさは揃えません (いまの AV1 は同じ大きさで少し上の画質。下)。

本番の録画 4 か所を可逆で切り出し、同じコマを両方でエンコードして XPSNR で測ったものです。

素材 AV1 crf35 h264 crf24 h264 crf23 h264 crf22
実写 60 コマ・忙しい所 35.28 dB 34.34 (−0.94) 34.93 (−0.35) 35.53 (+0.25)
実写 60 コマ・静かな所 35.36 dB 35.23 (−0.14) 35.64 (+0.28) 36.05 (+0.69)
アニメ 30 コマ 34.86 dB 35.10 (+0.24) 35.52 (+0.66) 35.97 (+1.11)
アニメ 30 コマ その 2 38.52 dB 37.80 (−0.72) 38.16 (−0.36) 38.50 (−0.02)
平均 −0.39 平均 +0.06 平均 +0.51

crf 23 が AV1 の真上に乗ります (平均 +0.06 dB、いちばん外して −0.36 dB)。 crf 24 は平均で 0.4 dB 低く (実写の忙しいところでは 0.94 dB)、crf 22 では AV1 を追い越します。 SSIM で当てると 22 寄りで (一致点は SSIM で 21.3〜23.7、XPSNR で 21.9〜24.6)、23 は両者の間で AV1 を下回りにくいほうです。

画質を揃えて AV1 と比べた大きさです。

素材 AV1 crf35 h264 crf23 H.264 は
実写 60 コマ・忙しい所 20.7 MB 17.1 MB 0.8 倍 (ここだけ H.264 が小さい)
実写 60 コマ・静かな所 1.6 MB 3.9 MB 2.4 倍
アニメ 30 コマ 2.6 MB 6.1 MB 2.4 倍
アニメ 30 コマ その 2 0.8 MB 2.1 MB 2.7 倍

忙しい実写では 2 つの効率はほぼ互角で、AV1 の強みは簡単な映像で出ます (そこで AV1 を crf 38 に落とすと 18.7 MB・34.34 dB となり、H.264 の crf 24 とぴったり重なる)。

  • preset は medium。 slow にしても同じ画質で時間だけ 25% 増える (crf 22 で slow 0.9757/76 MB ↔ medium 0.9760/78 MB)

preset は 8・crf 37 (値は書いておく)

書かずに既定へ任せません。 SVT-AV1 の既定はバージョンで変わり (preset は 2.3.0 が 10、4.2.0 が 8、crf はどちらも 35)、 黙って入れ替わるとエンコードする速さも大きさも変わるためです (ffmpeg の -crf が既定 0 と出るのは「未指定」の番兵で、渡さなければ SVT-AV1 内部の 35 が使われる)。

大きさはそのまま、画質を上げる

前は preset 9・crf 35 でした。preset 8 にして crf を 37 に上げると、大きさはほぼ同じで画質が上がります。 本番機 (Intel、SVT-AV1 4.2.0、8bit) で録画 527 の 300 秒・600 秒の所を 60 秒ずつ、bwdif (send_frame) で 1440x1080 29.97p にしてエンコードし、インターレース解除した元と全部のコマ (1798) を比べました。XPSNR は ffmpeg の xpsnr の (6Y+U+V)/8、VMAF は v0.6.1 です。

300 秒・600 秒の所 ビットレート XPSNR VMAF
preset 9・crf 35 (前) 1114・703 kbps 38.93・39.95 93.81・95.18
preset 8・crf 36 1104・776 kbps 39.29・40.45 94.12・95.67
preset 8・crf 37 (いま) 1031・732 kbps 39.19・40.37 93.86・95.60

crf 37 は 2 か所合わせて前の 97.0% の大きさで、XPSNR +0.26・+0.42 dB、VMAF +0.05・+0.43 です (crf 36 だと 103.4% に大きくなる)。増えるのはエンコードの時間で、エンコードだけなら preset 9 の 1.55〜1.61 倍 (60 秒あたり 5.5〜5.8 秒 → 8.1〜8.8 秒)。1 本のジョブはデコードと bwdif にも時間を使うので、それより増え方は小さくなります。

同じ画質で小さくする選び方もありました。preset 8 で XPSNR を前に揃えると 79〜80% の大きさ、preset 7 なら 71%・56% ですが 時間は 2.1〜2.5 倍です。preset 6 の crf 42 は 34〜45% 小さくなりますが時間は 3〜4 倍で、1 本のエンコードにコアを 5〜6 個使います。 enable-qm=1 は変わらず、tune=0 は 11〜19% 大きくなりました。

10 は使いません

4.x の -preset 10 は「人が見る映像のための段」から外れています (Svt[warn]: Non-RTC M10+ are meant for automation tooling usage. Visual artifacts may occur otherwise.)。 症状はシーンの変わり目のブロックノイズで、カット直後の数コマだけ大きく崩れてすぐ戻ります。

実測は実素材 (地上波アニメ 90 秒、1440x1080 を denpa と同じ経路で 1920x1080 へ、 カット 22 箇所)。「カット直後」はカットのコマから 4 コマの PSNR です。

preset カット直後 最低 カット直後 平均 全体 所要 大きさ
10 29.74 dB 42.15 dB 46.27 dB 17 秒 8.5 MB
9 37.77 dB 43.89 dB 46.70 dB 20 秒 8.1 MB
8 37.69 dB 44.64 dB 47.50 dB 25 秒 10.0 MB

10 から 9 にすると崩れが 8 dB 戻り、全体の画質も上がり、しかも小さくなります (同じ crf で比べたもの)。 8 でも崩れは 9 と同じく戻っています (差 0.08 dB)。

他のオプションは触りません

scd=1 (シーン変わり目でキーフレーム) は効きません。 4.2.0 は指定すると こう返して無視します。「SVT-AV1 has an integrated mode decision mechanism to handle scene changes and will not insert a key frame at scene changes」。 付けても付けなくてもキーフレームの位置は 0 と 161 のままでした。

tune (0/2)・enable-variance-boost・qp-scale-compress-strength・sharpness も同じ素材で測りましたが、大きさを揃えると差は 0.05 dB 以内でした (固定 crf だと variance-boost がよく見えるのは、5 割ビットを積んでいるだけ)。効くのは preset だけです。

10bit では出しません (実測して 8bit へ)

素材は実機の録画から 100 秒 (地上波の実写)、denpa と同じフィルタ・ SVT-AV1 2.3.0 -preset 10 -crf 35。画質は同じフィルタを通した元との SSIM です。

所要 大きさ SSIM PSNR
10bit 39 秒 21.71 MB 0.97582 44.65 dB
8bit 34 秒 22.09 MB 0.97472 44.47 dB

10bit は 1.7% 小さく、SSIM +0.0011 (PSNR +0.18 dB)。 それでも元の放送が 8bit なので、8bit で出します。AV1 10bit をハードウェアでデコードできる Android 機はまだ少なく、実機 (Android TV のプレイヤー) で 1080p59.94 の AV1 10bit が まともに再生できませんでした。2% は、観られなくなる代償に見合いません。

既にある 10bit のファイルは再エンコードしません (元の TS が無いものは再エンコードできず、あるものも 2% のためでは釣り合わない)。

4K の局の録画

4K の局 (ケーブルで受けた MMT/TLV の局) の録画は、AV1 を放送の画質 (2160p・10bit・HLG) のまま出し、H.264 と H.265 は今の録画と同じ 1080p・8bit の SDR にします。 元の録画は 1 局に絞った TLV のまま置いてあります (.mmts。library.md)。ffmpeg も ffprobe も TLV を読めないので、 エンコードの前に denpa が MP4 に詰め替えます。

  • 詰め替え (mmts.remuxMmts) … 放送の HEVC と AAC をエンコードせずに fragmented MP4 (<元の録画>.remux.mp4) に写す。中身はライブの 4K の局と同じ (mp4/mmt.ts)。映像と音声をそのまま写すので、元と同じくらいの大きさになる。エンコードの段階は「MP4 に詰め替え中」と出す。 あとは TS の録画と同じく、詰め替えた MP4 からエンコードし、CM を探し (決め方は同じ。cm.md)、サムネイルを取って、終われば消す。 番組が替わってアセットの並び (MPT) が変わっても作り直さず、映像と音声をそれぞれのトラックに続けて入れる (4K の局は番組が替わっても HEVC と AAC のままと見ている。推定)
  • AV1 … 縮めずに format=yuv420p10le で出す。色はコマに書き込む (uhd.HLG_PARAMS の setparams)。出力のオプション (-color_trc など) では、 色の印の無い素材のときに出したものに印が付かなかった (Debian の ffmpeg 7.1 と SVT-AV1 で確かめた)。GPU は使いません。 GPU の経路は 8bit (nv12) で組んであり、10bit のまま渡す組み方を確かめていないため
  • H.264・H.265 … 1080p に縮めてから HLG を SDR に直す (uhd.HLG_TO_SDR。ライブの 4K の局と同じ。stream.md)。 AV1 をデコードできない相手のための形式なので、今の録画と同じ形式にそろえる
  • インタレ解除と引き伸ばしはしない (プログレッシブで、画素は正方形)。コマ数は入力のまま (59.94 コマなら fps の列は 60)
  • サムネイルは縮めたあとで SDR に直して取る。データ放送の変化ログ (.bml.jsonl) は作らない (MMT のデータ放送は HTML5 で、まだ読まない)

10bit にしたのは、元の放送が 10bit の HLG だからです。 2K の放送を 8bit で出す理由 (上) は 「元の放送が 8bit」で、4K の局には当てはまりません。8bit の SDR にすると 4K と HDR を失い、元の録画を残していなければ戻せません。 AV1 10bit の 4K をデコードできない端末 (上の Android TV の記録より厳しいと見ている。推定) では、観る画面がその場の変換に移ります。 変換は縮めて SDR に直し、回線が足りなければ段を下げます (ライブの 4K の局と同じ。library.md)。

字幕 (TTML) は Matroska に入れず、文字の配置にして隣に置きます (….captions.json。encoder.writeCaptions)。 ffmpeg 7.1 の Matroska は TTML を書けません (Subtitle codec 94232 is not supported。Debian の ffmpeg 7.1 で確かめた)。 置くものは観る画面に渡すものと同じ形式で、captions.json はそれをそのまま返します。時刻は詰め替えた MP4 の時刻から、ffmpeg が 0 に寄せる 入力の先頭 (start_time) と捨てた先頭を引いたものです (推定。実際の放送の字幕では測っていない)。字幕の無い番組では置きません。

TS で送る 4K の局 (ケーブルの 4K の局のうち、HEVC を TS に入れて送る局) の録画 (.m2ts) も、同じ引数でエンコードします。 拡張子では分からないので、エンコードの前に録画の先頭の PMT を読み、映像が HEVC なら 4K の局の録画として扱います (encoder.encodeInput。recorded-broadcast.recordedBroadcast。stream.md)。録り終えた録画には PMT が書かれています。

  • 縮め方・10bit と HLG・AV1 で GPU を使わないこと・コマ数・サムネイルは、上の 4K の局の録画と同じ
  • 入力は元の TS のままで、詰め替えはしない。復号・音声 (AAC LATM を Opus に)・データ放送の変化ログは TS の局の録画と同じ
  • 字幕は TS の ARIB 字幕を Matroska に写す (TS の局の録画と同じ)。….captions.json は置かない
  • CM 検出と局ロゴは元の TS の 2160p のコマから、TS の局の録画と同じ決め方で探す
  • エンコードしない録画のサムネイルも、元の TS から縮めて SDR に直して取る (recorder.ts)

確かめたのは合成の素材 (64x64 の HEVC Main10 と AAC。@danything/arib/synth-mmt-av) で、詰め替えた MP4 を ffprobe が読み、AV1 は 10bit の HLG、 H.264 は 1080p の 8bit になるところまでです (encoder.test.ts)。4K の HEVC 10bit を SVT-AV1 で 10bit のままエンコードする速さ、出来上がりの大きさ、 トーンマップの画質は測っていません。実際の 4K の放送は ACAS でスクランブルされていて、まだ録画できないためです。 TS で送る 4K の局は、合成した TS (PAT と、映像が HEVC の PMT) で見分けと引数を確かめただけです (encoder.test.ts)。実際の放送の録画ではエンコードしていません。

映像の無い録画はエンコードしない

映像の無い録画 (ラジオ・データ放送の局) は、エンコードする設定でも元の TS をそのまま置きます (recorder.finish)。 映像のエンコードはできないので、「エンコードしない」設定の録画と同じく、元の TS を拡張子のまま保存先へ移します。 映像があるかは局ではなく録画の PMT で決めます (recorded-broadcast.recordedMedia。TS で送る 4K の局の見分けと同じ読み方)。 先頭の PMT に映像が無ければ、録画を 8 等分した区切りの PMT も読み、どれかに映像があれば映像のある録画としてエンコードします。 番組の途中で PMT が変わって映像が付く録画を、先頭だけで映像の無い録画にしないためです。区切りの間だけ映像が付いて外れた録画は、映像の無い録画のままです。 録っている最中に映像が無いと決めた答えは、録画が伸びていれば録り終えたときに読み直します。

  • データ放送の変化ログ (.bml.jsonl) は、エンコードするときと同じく元の TS から取り出します (recorded-bml.saveRecordedBml)。物差しは元の TS なので、先頭で捨てた長さは 0
  • サムネイルは作りません。CM 検出もしません
  • 再エンコードと CM 検出のやり直しは「映像の無い録画はエンコードしません。元の TS のまま観られます」「映像の無い録画は CM を検出しません」で失敗にします
  • 観る画面は音声だけの fMP4 で流します (音声も無い録画は無音。library.md)
  • 音声だけの形式 (AAC の m4a など) にもエンコードしません。元の TS を残せばデータ放送も残り、音声も放送のままです

SVT-AV1 は上流をソースから組みます

上流の最新をソースから組んでイメージに入れています (バージョンは Dockerfile の SVT_AV1_VERSION で、Renovate が上げます。 この節と上の節の実測は 4.2.0 のとき)。Debian trixie のパッケージは 2.3.0 で止まっていて更新が来ません。 libavcodec に静的に繋ぐので実行イメージは増えません。 2.3.0 から上げたときの実測 (実機の録画から 100 秒、地上波の国内アニメ、denpa と同じフィルタ、当時は 10bit。画質は元との SSIM) です。

SVT-AV1 preset crf 所要 大きさ SSIM
2.3.0 10 (2.3.0 の既定) 35 28 秒 5.25 MB 0.98900
4.2.0 10 35 26 秒 5.65 MB 0.98821
4.2.0 10 36 — 5.27 MB 0.98770
2.3.0 8 35 45 秒 5.87 MB 0.99133
4.2.0 8 (4.2.0 の既定) 35 37 秒 6.69 MB 0.99090
4.2.0 8 37 — 5.77 MB 0.99034

同じ preset なら速くなり (preset 10 で 7%、8 で 18%)、大きさあたりの画質は変わりません (5.25 MB どうし・ 5.8 MB どうしで比べると、SSIM は 2.3.0 がわずかに上)。上げた理由は速さと上流の直しに乗り続けるためで、 仕上がりが黙って変わらないよう preset と crf は書いてあります (上の「preset は 8・crf 37」)。

選んだコーデックは同時にエンコードする

コーデックをいくつも選んだら、コーデックごとに ffmpeg を 1 本ずつ起こして同時にエンコードします (encoder.runJob)。 録り終えてからエンコードするのは今までどおりで、コマ数の実測 (30/60) もエンコードする前に 1 回だけ測ります。 1 本ずつ順にエンコードしていた頃は、AV1 + H.264 で AV1 が終わるまで H.264 が始まらず、観られるまでの時間がコーデックの数だけ延びていました。

  • CM は 1 本目 (主と同じ AV1 → H.265 → H.264 の先頭) をエンコードする ffmpeg で一緒に探します。 1 本目をエンコードし終えたら境目を決めます。エンコードするときには何も足さず、境目が決まったらどのコーデックにも -c copy でチャプターを書き足します (cm.md)
  • 1 本が落ちても、ほかは止めません (コーデックごとに別の ffmpeg なのはそのため。GPU → 次の方式 → ソフトウェアの倒れ方もコーデックごと)。 出来たものは置いて観られるようにし、ジョブは失敗にして理由を落ちたコーデックの名前つきで残します (H.264: …)。 元の TS は消さないので、再エンコードすれば全部作り直せます。1 本目が落ちたら CM は分からないまま置きます (あとから「CM の再検出」でチャプターを入れられる)。全部落ちたら置きかけを消して失敗にします
  • 進み具合は 1 つにまとめて出します (encoder.combineProgress)。画面と DB の進み具合はジョブに 1 つしか無い (encode_jobs.percent) ので、 割合はコーデックの平均 (終わったものは 100%、枠を待っているものは 0%)、残り時間はいちばん遅いもので、ログ (encode_jobs.log) にはコーデックごとの値を並べます。 DB の列は増やしていません。1 本目の CM の境目を決めている間もほかのコーデックがエンコードしていれば、段階は「エンコード中」のままです
  • 中止はその全部を止めます。 ジョブごとに走っている ffmpeg を全部覚えておき、中止で全部に SIGTERM を送って、全部が終わって後始末が済んでから返します (下)。枠を待っているコーデックは起こさずに終わります。ポッドが止まるときは今までどおり ffmpeg も一緒に終わり、 起動したときにジョブを最初からやり直します (コーデックごとの作業ファイル <名前>.<jobId>.<codec>.encoding は片付けで消える)

同時に走る本数は ffmpeg の本数で数える

録ったあとのエンコードの上限 (ENCODE_CONCURRENCY、既定 2) は、ジョブではなくエンコードする ffmpeg の本数で数えます (server/encode-slots.ts)。 ジョブで数えていると、3 つ選んだ録画が 2 本重なっただけで ffmpeg が 6 本になり、ライブや追っかけ再生と CPU・GPU を取り合います。 ffmpeg の本数で数えれば、同時に走るエンコードは 1 本ずつ順にしていた頃と同じ本数のままです。その場の変換の枠 (「同時に変換する本数」) とは別で、 こちらがあちらの枠を食うことはありません。

  • ジョブは走り出すときに 1 枠取り、終わるまで持っています (下ごしらえの復号・CM の支度・コマ数の実測もこの枠)。1 本目のコーデックはこの枠でエンコードします
  • 2 本目からは空いた枠を取ってから起こします。上限が選んだコーデックの数より小さければ、取れたぶんだけ同時に走り、残りは枠が空いてから走ります (上限 1 なら今までどおり 1 本ずつ。自分の 1 本目が終われば、その枠が 2 本目に回る)
  • 枠を待っているコーデックがある間は、新しいジョブを始めません。 走り出した録画を先に仕上げます。どのジョブも 1 枠は持っているので、待っていても必ず 1 本は進みます
  • -c copy でチャプターを書き直すだけのものは軽いので数えません

録ったあとのエンコードと CM 検出の ffmpeg は、OS のいちばん低い優先度 (nice 19、Windows は IDLE) で走らせます (stream.lowerPriority)。 Raspberry Pi 5 のような非力な機材でもライブの変換が CPU を先に取り、コマが落ちません。他に何も動いていなければ速さは変わりません。

中断は後始末が終わってから返す

「エンコード中断」は、ffmpeg が終わって後始末が済むのを待ってから返します (encoder.cancel)。画面は その返事で読み直すので、待たずに返すと押した直後は何も変わらず (同じ「エンコード中 60.9%」が出る)、 SSE が切れた端末ではリロードするまで変わりません。

上限は 5 秒 (ffmpeg は SIGTERM から 1 秒ほどで終わる)。間に合わなければ返して、通知 (SSE) に任せます。 待つ前に段階の名前を「中止しています」にし、以後は書き換えません (後始末の途中の段階が上書きすると、 押したのに「CM の境目を決めています」に戻って見える)。

ボタンは後始末が終わるまで回したままにします。 行に isCanceling (DB には無く、動いている間だけ) を添え、 立っている間は押せない回ったボタンを出します。

AbortSignal の abort は押された瞬間にしか鳴りません。 あとから起こした処理は最後まで走るので、 処理を起こす関数 (stream.run など) は起こす前に signal.aborted を見て、中断されていれば起こさずに戻ります (stream.run は SIGTERM で終わったときと同じ 143 を返す)。signal を受け取らない ffprobe の前にも同じ判定があります。

行を先に canceled にはしません。 速く見えますが、ffmpeg が元の TS を読んでいる間に削除の API が 開きます (動いている間に出すのは中断だけ、が画面側の決まり)。 テストの偽 ffmpeg は、止められてから終わるまでの間を本物に似せてあります (trap 'sleep 2'。すぐ終わると直っていなくても通る)。

進み具合はエンコードできたコマ数から出す

画面に出す進み具合は、ffmpeg が何コマエンコードしたか (-progress の frame= ÷ エンコードするコマ数) から出します (encoder.encodeProgress)。残り時間も同じ出どころ (直近 30 秒で何コマエンコードできたか) です。出どころを混ぜると、 止まった数を動いている速度で割って「残り 20 時間」のような値が出ます。

エンコードするコマ数はエンコードする前に測った入力から出します (expectedFrames = 尺 × 入力の毎秒コマ数。60 コマで出す 1080i は × 2)。 インタレ解除はインタレのコマだけを倍にするので、入力が 59.94 (720p の局) なら 60 コマで出しても倍にしません。 本番の録画を最後までエンコードして突き合わせたものです。

素材 見込み 実測
闇芝居 十七期 (5 分 26 秒) 19553 コマ 19498 コマ 99.7%
さよならララ (30 分 25 秒) 109412 コマ 109374 コマ 99.96%

見込みのほうが少しだけ多いので、バーは 99.7% あたりで頭打ちになります (終わるまで 99% で止めるので見えない)。 逆向きに外すと、終わる前に 100% と出て止まって見えます。

以前の 2 つの物差しは、エンコーダの位置ではないものを見ていました (2026-09、BS-TBS の映画を libx264 で 240 秒エンコードした時点で 3 つを同時に測ったもの)。

物差し 実際には何か 言っている位置
frame=9576 (毎秒 39.89 コマ) エンコーダの位置 2 分 40 秒ぶん (正しい。240 秒 × 39.89)
out_time_us mux が最後に書いたパケットの時刻。疎な字幕 (当時の .sup の copy) が先に mux されると先に飛び、壊れた副音声が混ざるとそこで止まる (Packet corrupt のあと 0% のまま) 13 分 10 秒ぶん (speed=3.29x もこれ由来)
入力 TS の読み位置 (/proc/<pid>/fdinfo) デマクサの位置。7.4 GB の映画ではエンコードが半分進んだところで読み切り、99% に貼り付いた 12 分 30 秒ぶん (RSS 1.07 GB)

読み位置は控えとして残してあります (encodeProgress の第 2 引数)。尺が測れなかったとき (ffprobe が使えない環境など) はこちらで出します。ログには両方を並べて書くので、詰まったときに「デマクサだけ先に 走っているのか、本当に遅いのか」が分かります。