看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

8 `* a. T3 c% Q% ^+ U前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。



! `( i6 F  b& l0 n% r+ _. y% `最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。
  Z* k; D" j$ V: W  g, ^
5 Z; X7 Q7 y- `% h5 k3 Y# i' j
9 X: f" h+ j3 [  F
不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。

$ f- L# }5 P9 M# b6 t
( B" h- `- e: C, X; Y
有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
  x" O. G, n2 R6 q6 b! z传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。

# T( N, ~2 f, v; y' |

. T5 u; V, |: t/ v而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
4 ]- x5 p, Y' v) s) x( p6 T1 b, ~哎呦，想想都觉得香。
+ V( x7 F% Z# W要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
, j" q2 N& o+ c+ m& K3 O2 f传统AI修复前 ▼



修复后 ▼

: T2 }2 \4 i6 r2 c* ]
! Y* _7 A/ Z8 c9 |+ M6 }; I3 E$ d; F
上手试试呗。
1 e% B; P; j" @( O1 {! w8 X先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。
3 Q! j: _' m2 `0 H9 m/ \

# h5 @6 o6 G! n$ C  n' W( p
然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。
! D# y7 i  h- y* g4 R" t& o
& n; |/ f" p6 d  u3 w
# J4 }5 Q! O- }. {- f
装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？



; o8 \& e$ L4 d我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
( ?; ]5 R7 I) w, n( p从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
1080p 分辨率下效果 ▼
/ s( }- N+ t1 ~& ?+ p

! O1 r8 U  t2 @, t& O& ?
; V8 `. t0 _$ w$ _. {$ L  O( k至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
细节上，画质的确有提升，边缘明显锐利一些。
; `- A% h. d: d3 y( P  j( g& D
5 M' z& L' Q; l* C  J' g
0 y! ~" n4 N# K" l, i
但真要说它带来了什么整体观感上的变化？

3 @6 {' Q% S+ R: l. `

几乎没有吧。。。
$ N" m3 N, e$ y5 Y: S分辨率1080p ▼
, P  d8 @! e3 p' l/ ~
5 n5 y  U3 n6 r2 U$ ^6 X
( Q, `" t) ^! R& p- J- o/ \, Q3 p
- \5 g. j" K2 U1 o* E$ V# b9 g而且真要和原生 4k 比起来，那还是差了不止一点。
. r& X8 r7 P: l9 |" d" l; ]% ?

8 [2 q# S+ t) \% U, J
既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？
# Q0 C2 ?/ Z- L7 k7 m5 i, }$ }; R. B
6 p% c  L' E3 i. N0 A6 F) r

先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
腾讯视频720p ▼

1 H8 s* x2 t: W% X

; Y3 O( T4 G, q比较静态的人物也优化的不错，至少美颜效果有了。
! U" K6 V( [7 j# ], R爱奇艺720p ▼


) |( Y+ h7 O& P
; ?# @& K" Q3 |' t* G2 v而到了运动场景，那就完全是翻车现场。
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
腾讯视频720p ▼


1 v, i) M" o$ D- h: i  h
2 O. ?; i0 U4 T0 ?$ P7 r4 ~/ `而场景中快速运动的人，更是让情况恶化了。
都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
) \! i; }5 k* ]+ D! S哼哼，露出 AI 脚了吧 ▼



6 Y5 Y+ b, ?' n3 X" e除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
& ~& ~; j9 [; S1 I其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼



/ E. \# Q7 s9 Q2 Y1 W& v就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
& I9 {$ h  U+ F总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
要知道，之前的 AI 修复可是能把一个 DVD
4 d7 Q2 y1 O; e, ?9 s2 M（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼
4 b' u* l: }  y/ y& l. ~

4 k- ?& x( c* S: Z9 @! ^# p4 a
如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
9 `8 p3 V3 m2 B, k0 i& Q不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。

hilalchemist

太炫酷了,满满的科技感