デジタル処理によるアップスケーリングというのは、20年以上前からある枯れた技術がベースになっています。
最近、機械学習を中心としたAIテクノロジーの導入で、「AIアップスケーリング」がまた話題になっています。
そこで今回は、「動画のアップスケーリング」について詳しい方法を解説します。
目次
（1）動画アップスケーリングとは
動画アップスケーリングとは、動画を元の大きさよりも高い画素数（解像度）に変換すること。分かりやすく言えば、低解像度の動画を高解像に拡大すると理解してもいいです。
使われる場面は人によって異なるが、大抵の場合、画質の向上、大画面での表示、ディテールの復元などが主な目的として挙げられます。具体的な手法と言えば、下記のようにAIを使用するかどうかによって分けています。
機械学習とは、機械（コンピュータ）が大量のデータを学習することで、そのデータに存在するルールやパターンを見つけ出して、分類や予測を実現する技術です。
動画アップスケーリングの分野では、低解像度な動画と高解像度な動画の特徴を大量に学習したAIが、元々存在しない画素を予測で補完することで、高解像度の動画を生成するとのことです。
・バイキュービック補間（Bicubic Interpolation）
両者どっちもピクセル間の値を直線的に補間して拡大する手法です。
前者は周囲2×2のピクセル情報を使って求めたい点の色を算出しているので、処理が軽い補間と言えます。
後者は前者の上位版みたいで、6×6の計算方法を採用するため、負荷が重くなるのは当然だが、その分より高クオリティな結果も得られます。
（2）AIで動画をアップスケーリングする方法（4K/8K）
1. メリットとデメリット
【メリット】
- SD→フルHD→4K(さらに8K)並みに動画を解像感良く変換することができる。
- 動画を拡大しながらディテールを復元（補間）できるので、元々高解像度で撮影された動画とほとんど見分けがつかないほど自然な美しさ。
【デメリット】
- 膨大な計算やデータ処理によって、高性能なパソコンとグラフィックカードが必要になる。
- AIモデルは学習データに依存しているため、結果は動画の内容によっても異なるし、観る人の好みにも左右される。
- 元動画の解像度が低すぎると、AIによるアップスケーリングも高品質な結果を得ることは難しい場合がある。
- PCのスペックと生成された動画の容量にもよるが、動画の変換終了までかなり時間がかかるのが一般的。
2. AIアップスケーリングに対応したツール
現状、「AIアップスケーリング」の機能を搭載したツールと言えば、「パソコンソフト」は主流になっており、「オンラインサイト」も利用できます。
どちらが良いかは、具体的なニーズや要件、使用状況によって異なります。筆者の場合は、パソコンソフトにしたほうが断然快適です。パソコンソフトを使うことは、ローカルで処理を行っているため、作業の効率アップやセキュリティの観点からも得策と言えます。
AIアップスケーリングソフトって、それぞれ独自のアルゴリズム技術があるようで優劣が出ます。その中で、「Topaz Video AI」はダントツのクオリティで、他に無いと言える程ですね。
Topaz Video AIは、動画アップスケーリングに特化したもので、あらゆる動画（実写映像、アニメ、CG）を最大4K/8K解像度まで向上させることができる上、高度なAIモデルと設定項目があるので、ノイズを綺麗に除去し荒れている被写体のディテールを回復し輪郭のボケも綺麗に修整してくれます。
海外製のソフトで英語表記になっているが、操作画面はいたってシンプル。難しい単語も一切出てこないため、誰でも簡単に使いこなすことができます。
3. AIで動画を4Kにアップスケーリングする手順
ここで、Topaz Video AIを使って具体的なやり方と操作手順を説明していきます。
※ 異なるソフトでも基本的な操作方法には共通する部分が多いので、他のソフトを使っているという人でも参考になるかと思います。
step1Topaz Video AIを起動してから、変換したい動画をソフトにドラッグ＆ドロップで取り込みます。
step2次の編集＆設定画面で、下図のように「PRESETS（プリセット）」タブで目的な解像度を選択しましょう。今回は「Upscale to 4K」を選択します。
ちなみに、プリセットを使用せず、「Video（ビデオ）」タブで出力解像度とフレームレートを自分が設定できます。
step3出力形式とコーデックを設定します。デフォルトでは、H.264（mp4）は選択されているが、変更したい場合、H.264（mp4）をクリックして設定を進みます。
step4最後に、「Export」アイコンをクリックして、動画のアップスケール変換が開始されます。
自分で検証してみたら、スマホで撮影したフルHD画質を4Kへアップスケールすると、まるで元々4K素材であったかのように変換してしまいます。
最近のテレビやデッキにも、ゲーム機のPS5にも、一部のPCの再生ソフトにも、AIアップスケーリングを標準搭載していることがあります。ほとんどは、少なくともフルHD画質のものを4K相当に変換することができます。興味があれば自分で調べてみましょうか。
動画高画質化ソフト「Topaz Video AI」の使い方・設定方法を分かりやすく解説！
（3）AIを使用せずに動画をアップスケーリングする方法
1. メリットとデメリット
【メリット】
- 従来の手法（アルゴリズム）によって、計算量が少ない＝CPU負荷や処理時間が少ない
- 動作が軽くて、低スペックのパソコンでも(ある程度)快適に変換作業を行える。
- Handbrake、XMedia Recode、FFmpegなど無料な動画変換ソフトだけでイケる。
【メリット】
- 画像が引き伸ばされて、ドットが潰れて全体がボヤけて見えるようになってしまう。
- 元より全然高画質にならないのに、ファイサイズは無駄に大きくなっている。
2. Handbrakeで動画をアップスケーリングする手順
ここで、Windows/Mac/Linuxに対応して、完全無料でオーペンソースの動画変換ソフト「Handbrake」を使用します。
step1Handbrakeを開いて、対象の動画をグレーのエリアにドラッグ＆ドロップでインポートします。
step2動画タイトルの下側に各種パラメータの設定項目があるが、拡大サイズを設定するには、「寸法」タブをクリックして⇒「解像度と拡大縮小」から出力動画の解像度を指定します。「Allow Upscaling（拡大を許容する）」にチェックを入れることを忘れないように。
step3上部メニューから「エンコード開始」ボタンを押します。これで変換が始まります。
（4）まとめ
以上が、動画のアップスケーリング方法を初心者でもわかるように説明してきたが、いかがでしたでしょうか。
AIを使用する方法は、高品質な結果を得ることができるが、その反面で計算量やリソースの面では相対的に高コストとなります。
一方で、単純な処理で済ませたいか、または使用可能なリソースが限られている場合は、AIを使用しない方法も有用な選択肢となるでしょう。
ぜひこの記事を参考に、好みに合った方法で動画のアップスケーリングを試してみてください。
