看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

: ?) {* X  G5 @6 y- e

前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。


# S/ `3 O/ J, a8 u2 ?
最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
0 W, l- J5 C' u2 z) d# J1 q哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。



不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
9 |4 ]% L; r0 x0 S; {就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。



有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
( d5 D& I$ B2 w5 V9 R5 e传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
$ k9 K# X; I- P. U0 D6 i: P举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
9 v+ d8 j- \8 V( {  m
3 w6 x# T# H1 x1 r( E% Q& J3 K  R

4 I. D6 h  s8 Z! v! y而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
哎呦，想想都觉得香。
) ^% q* c) v: S# y% e$ s* k5 R8 `要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
传统AI修复前 ▼
* J, q3 G* w& u. p9 u, p) I

4 }7 X& Z( O0 w
修复后 ▼
8 N% a. z$ o6 G; w0 H- W* R5 Z0 E


( @7 Z* E, c4 M上手试试呗。
& l6 v+ J  E( `/ l$ q, Q. y先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。
' Q! D1 x7 H  R


7 {1 X" D6 F8 n4 H4 z2 `& `# p然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。
# m+ j2 p: K# B2 t


装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
( l8 h/ j+ G9 Z毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？



我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
) Q- ^$ d9 e3 z4 V从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
1080p 分辨率下效果 ▼


1 P# S$ r& y: _+ }
. L$ u+ p# ]# l9 M至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
细节上，画质的确有提升，边缘明显锐利一些。
! \2 p/ `. O2 ^, [


但真要说它带来了什么整体观感上的变化？
. Q& e" Z1 v* V7 e

! y# ]8 M9 h9 e. I# s$ j; l# C
: F/ H/ T/ }4 k' _% e' M8 S几乎没有吧。。。
3 {# H% b4 Y( }# d- n* S0 |分辨率1080p ▼


3 r$ M' J3 e4 A+ G5 j. ^; I! Q
而且真要和原生 4k 比起来，那还是差了不止一点。
7 x% U9 S, z2 |
5 P; Q" I9 K- ~2 ]+ D
6 [) [& P- q- O- o  g
* S, z6 f& W9 ^1 P既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？

; N# U' d6 H! {& y
# l  o: t0 Y2 d/ J; t& i- q
% H6 t% Q. t  a' p4 u先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
9 W' a" s/ m7 u' a+ o$ |4 j腾讯视频720p ▼
9 J' ^9 I7 x- R" E1 Q8 y
( m- ~* b  W6 N# P. N+ C/ q

* c( @$ C) _; F8 w比较静态的人物也优化的不错，至少美颜效果有了。
爱奇艺720p ▼
: F2 A6 h, J/ _; h, K* f
2 h5 f% Y% l, b1 k& z/ @, N/ m

而到了运动场景，那就完全是翻车现场。
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
1 g- F' H3 w0 Q, T: K% M9 u+ O腾讯视频720p ▼


$ f( S# D; }4 R
而场景中快速运动的人，更是让情况恶化了。
都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
哼哼，露出 AI 脚了吧 ▼
0 Y4 G$ D% b) t3 V8 T
5 n" ^- [0 v' E) `; K- v
* D& Q, J5 Q1 b! J5 y' h' {* [/ D; {
8 I) N6 [5 K+ T8 v除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
9 f4 j6 q8 l2 ?' c; f+ V/ o" u其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼

0 u' a9 K* E, J2 D1 D$ Q

( J1 T8 ]( s. i9 _2 H9 I就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
2 D& F0 S, E% T要知道，之前的 AI 修复可是能把一个 DVD
( l# T7 b5 d% u7 p$ L% s+ X# m（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
4 q* q& X( B4 H; ~+ T4 d: @! e( X瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼
5 T, q- \4 ?  u! Q
/ L0 ]+ ]" t% @7 J+ d; a7 f/ D
$ U) O4 a8 }% m% n4 t+ C# ^
如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
- X0 {$ _4 k* \6 A1 A! P$ \; c比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
( D( U. G$ H8 C3 b不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。

hilalchemist

太炫酷了,满满的科技感