看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

. p5 V* A3 j$ I9 b, H

" f. @8 l- p* {" X前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
5 b' \. t" r* x; i. d


最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。
3 d0 i- [4 [, `; M4 m/ X# p4 i


7 J% F  Z& f) S0 n9 F: G& _不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
: p, k6 g$ p0 K4 ~6 |$ e$ `就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。
( ]( X8 Y- w+ k- t3 j
5 {0 r' w8 A  I, h7 {
9 o- H7 Z% ?/ v3 p. s0 E6 \  d0 {5 D
6 H. |7 ^# I5 ~" U/ u( f有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
" f% [0 o% b3 z$ a0 n& e& o& m你别说，还真有。
传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。



1 `" B/ j" L8 H% a2 N2 Y而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
+ f; V4 L0 E4 E0 L# [; s6 n2 G哎呦，想想都觉得香。
要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
% U% u- y1 a" T- I. H传统AI修复前 ▼



修复后 ▼
1 _' C* U3 @% {7 T  r( d+ d


上手试试呗。
先来介绍一下测试环境。
8 X* ^% m: D4 ~9 E3 W9 t7 @这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
' l  Z9 S) s$ }' Z由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。
/ \  \6 b- {' N  W8 m1 O
: ]5 P7 K8 ^6 K9 W' R7 D* o+ g/ W

; f/ i; j0 R: l然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。

+ l% L$ B) z: @1 W

装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
! l: H8 s- |( @! g2 n5 p毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
7 R; t- z, v- n( Q老黄的新技术，能击穿叔叔吗？


* |  P4 c) g* I/ A7 e& f
我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
1080p 分辨率下效果 ▼

, e1 N! |' |, l) a# |
' }- k9 {) g& d* W9 M/ A- B% i
至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
# ]/ o" ~6 z& S细节上，画质的确有提升，边缘明显锐利一些。


6 Q1 L! m4 y: b7 S+ _" [& b  s% ^' t' D
但真要说它带来了什么整体观感上的变化？



几乎没有吧。。。
0 K" m5 ?& n0 n! |, N; A7 `4 ]. T0 w分辨率1080p ▼

& |! U$ v, u9 j7 t& A; P, k

+ K# p* D. n5 X' ]而且真要和原生 4k 比起来，那还是差了不止一点。
; e9 U  w+ A. t; T  \# |) [5 l

- C! }8 c& z1 f# v2 y, a7 y7 k
; X- j) }  ~$ a- d既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？



' \+ B& |# @9 b0 v2 P* ]先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
* u5 n0 `. f8 Q在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
$ O- ]8 V: \3 [/ E" T5 C5 i" a$ u腾讯视频720p ▼

7 o& f8 C( L' |* k

2 C% S' E& ^( E# s3 f; x& k1 n+ ^比较静态的人物也优化的不错，至少美颜效果有了。
$ `$ }$ g# b% m1 K& b7 f爱奇艺720p ▼
6 V! N8 P: U5 @


而到了运动场景，那就完全是翻车现场。
9 K8 C6 G5 F- I1 e( SAI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
' p: D  _1 U/ N这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
% J3 [9 _  b8 M. p. y6 F- a4 D腾讯视频720p ▼

9 N8 D8 I* w7 b$ p: _7 Q
, |5 e; |) F, O( O2 p5 f
. }! }. ?0 L+ \+ {2 I  L/ Z而场景中快速运动的人，更是让情况恶化了。
' c& e% x' Z9 ?# u$ a都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
8 g' v) x& j. {哼哼，露出 AI 脚了吧 ▼
5 U0 f9 R+ r- V7 `$ e: f
. i5 \5 T" R7 C% \0 V
( A+ _5 ?0 y( t% j5 s, |
0 T* ^+ k  K- w2 J! ?除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
" Z9 o6 ^$ a( N/ T其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼
: f3 A% J* y, p& N: ~" B/ ?

  t. Z) ~9 Y2 v' y) n# G& I
* u) E7 D5 M4 d: M1 g就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
' G7 \4 y3 o- C. B4 \$ Y+ l7 @总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
! M* t$ G8 ?9 K/ W0 i, \要知道，之前的 AI 修复可是能把一个 DVD
（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼

; u, m$ ?' |0 {; W/ F# W

5 D2 l2 ^+ H+ s& y: ~. ~如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
( X$ V; P0 v, X( K不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。
: `' C; k: P: D( B0 ~

hilalchemist

太炫酷了,满满的科技感