看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

* \! M% {) |( ?% h, C3 p, |
前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
2 ^  q! e: x5 I
( p6 p: s) K6 N4 S& f% `
- C# A; p) T7 L  V( M
最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
8 ^* O) z  V" Q1 o8 i哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。
6 |: ^3 F6 I3 |( r, c9 ]* h


不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。
3 n6 e& W  T7 C  p

% {  t& t/ o8 h8 q) f
有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
9 O& R5 E, B% J你别说，还真有。
传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
" L$ }: ~+ I7 ^7 U7 n- ?举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
: A! \6 a6 k: w
& V2 {2 S) \2 `4 t) k0 f+ n' R7 a

而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
* c, _% N8 q% c( Z+ O9 J哎呦，想想都觉得香。
要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
传统AI修复前 ▼

. z2 \7 [" A$ {$ {3 p. }8 d8 o: Q

修复后 ▼


" K  b0 W  u/ S: x" B
  S, L+ r: X- H! o& \8 ?8 y9 d上手试试呗。
( _( O" E& ~1 |4 ]' x2 \2 G先来介绍一下测试环境。
这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
* ^  V# o% ]7 i, T% y/ E由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。



然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。


# l9 @3 r& h! C& N) m4 o# y
装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
% N7 r7 Q; u# t毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
( s' N: ]9 X/ v( c老黄的新技术，能击穿叔叔吗？
- x" I# g. }6 {, d' w) J; T

5 i2 ~6 ?6 n) }, t4 ^1 K, ~
我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
8 ]% q, V" t( w/ i* S! @1 E从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
3 Y: h# |# U  w$ w! L& P1080p 分辨率下效果 ▼
, ^, @5 Y, F0 U  c4 b) [, f; b, t
1 ]1 [7 o+ e1 Z  g( V

至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
. u& H2 n( M% z0 B& i# ?细节上，画质的确有提升，边缘明显锐利一些。



% Z; n4 J$ j; g7 m4 v2 {  b/ W但真要说它带来了什么整体观感上的变化？


, H' M! X$ A6 o7 f3 a" J2 S# E' @
- O, f2 W8 G) T; f几乎没有吧。。。
分辨率1080p ▼
; i1 W) u0 T. z( t0 ^1 k
) |/ n* E: E$ ~6 ~) Y% U) K# _

) ^2 m0 U2 z# a# s而且真要和原生 4k 比起来，那还是差了不止一点。

* u0 F4 g1 k/ `2 b% Z1 V

2 C4 |+ l$ L0 D3 H既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
# x4 q4 T- o7 E3 L+ s腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？
. f$ |1 z1 c+ I+ s
* P% R: j- l7 W/ t* m. f% m
! I! h7 \( L4 T- S; h' \) |/ _
1 T4 X  `. _& P" P, i先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
7 Y7 f6 M6 J4 X+ Y- v在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
, i& [1 V7 a, h! h" L; `; d腾讯视频720p ▼
5 N6 Y/ E8 b! B0 _


' _, g9 M. i# i% {, E6 u# N比较静态的人物也优化的不错，至少美颜效果有了。
爱奇艺720p ▼
$ l" c" b3 t1 i0 J8 @6 L" Y1 m


! p0 Q" r# K% h! F而到了运动场景，那就完全是翻车现场。
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
# |2 ?( g& j0 a" }腾讯视频720p ▼



而场景中快速运动的人，更是让情况恶化了。
1 B; F* Z) C  R$ o都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
哼哼，露出 AI 脚了吧 ▼
0 r. _  F9 {" }* R" z


. C; F, @% j& x9 O) P+ D, Q$ X" S除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼
0 e( K% N; E& I) L


9 H5 A/ L7 s; k! L, T/ n就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
. R5 C( ^+ C6 b3 S总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
要知道，之前的 AI 修复可是能把一个 DVD
! u! V8 T4 t* j' b/ l& y! w（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼
% I0 s- }3 X) H" K
; F4 ]7 i, ^5 G4 Y$ ?( {/ G% k4 s
, b( J$ o% V/ H+ Q7 Z; m9 A
* P, Z7 E+ n  q5 ?3 n( t: y如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
' H& ^  O9 V+ h; q& W6 F/ W比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
. I7 u# n. p) y: v2 T不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。

hilalchemist

太炫酷了,满满的科技感