看高清视频不用开会员，英伟达新技术真有这么厉害？ ...

子非魚_

/ a* U9 M: @; `) g$ o. D
前段时间，爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
6 `, j1 [; w* M" k9 m- I) W
! n' T/ O; X3 ~% n

最后在高强度的舆论压力下，爱奇艺还是。。。退了一步？
, [; a  a& @7 `6 H8 p1 p哦，只对老会员退了一步，新会员想要高清投屏，还是要额外花钱的。
3 j6 N& E( F9 I2 `3 q% k# A, i, k

  Q; P8 ^# }4 s' _9 _
. ?2 O7 P/ {7 |8 ?1 e不管爱奇艺这事儿做的有没有谱，但在如今这个万物皆可AI 的时代，视频分辨率不够的问题可能已经不是个事儿了。
- k. @: u& i8 w0 |; ^就在前几天，英伟达正式实装了一项 AI 视频超分辨率技术，它利用 RTX 显卡的 AI 能力，能把低分辨率（ 小于1440p ）的视频，直接 “ 补像素 ” 显示器的分辨率。
7 H- J- G+ T" M8 b9 n/ ^

* d8 M" M' C2 v$ w
+ P* u1 {  T( V( ~2 s9 z+ c有差友可能会有疑问，AI 视频修复，这不是一个两年前的火星话题嘛，还能有什么新花样？
你别说，还真有。
传统的 AI 视频修复，往往需要远超视频长度的计算时间，才能输出成片，也就是说，它做不到实时的修复。
( G0 N5 e) f# H$ S& Y: F4 {/ B举个例子，up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频，用 1660Ti 跑了三个小时。
) e* N8 O, q, q# [0 q5 C) v
4 j5 L- g$ \/ S' r
/ n- f2 G! J5 h
而这次，RTX 视频超分辨率可以在播放视频的同时，把 720p 甚至是 480p 的视频，直接超到 4k！
哎呦，想想都觉得香。
要是老黄的新技术，效果有传统的 AI 修复的八成功力，是不是以后只要不看版权内容，就可以不用为了高清视频开会员了？
传统AI修复前 ▼
, I" w, D# ?$ b0 p& q. |
% B1 _9 L: u+ k
: m0 O' a) U: U" s& s
修复后 ▼



上手试试呗。
先来介绍一下测试环境。
: H; P1 y& f( s' o1 d2 t这个 RTX 超分辨率一共分成4档，档位越高，对显卡性能要求就更高，效果更好。
由于要至少要 3070 才能开满4档，所以托尼这次就拖了张 3070Ti 看看效果。
) ^9 q% Y6 Y& n' ~; \' G


7 `) u% E  S' N6 Y, i然后又从小黑胖那借了块 4k 显示器，这样就能把最高到 1080p 的视频，直接优化成 4k。
6 O2 j  _8 H$ B

# d+ f3 W3 [( |3 w' Q- I
装完了高配的测试平台，首先来看看在 B 站上超分辨率的效果如何。
& Y3 Z% w: \1 o; W! {0 c3 a毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说，充大会员只是为了看高清视频。
老黄的新技术，能击穿叔叔吗？
' M$ @6 \2 L6 k9 y. l& P

- V2 N$ g5 L* T4 ^. W9 D! T
+ v) B6 O% o' R5 x7 M, C我们找了个差评硬件部的视频，这个视频的 1080p 画质被 B 站压缩的比较狠，看看老黄的新技术能不能给它救回来。
1 h% E' |: k3 E$ o从不开超分辨率，到开 4 挡质量，最明显的变化，就是人物被自动美白了。
1080p 分辨率下效果 ▼
- B& h8 [- P8 l* Y" r1 T7 P


至于总体画面质量嘛。。。一眼看上去是没有啥的，但要说它开了和没开一样，那也不至于。
- f/ C2 R' }7 J细节上，画质的确有提升，边缘明显锐利一些。
2 Z- g9 ~" \! V, [7 N
- H. e! H2 N8 g) K& R8 I8 e* r5 p
2 J) u9 `2 _7 i! q! Y4 t* w, P
但真要说它带来了什么整体观感上的变化？
. \6 V1 K, |* }

3 l/ m0 t/ V( a
几乎没有吧。。。
& f6 i3 M$ \1 R2 v! k4 d分辨率1080p ▼
1 p0 ]" p' g: N: ?4 u+ \
. \0 Q8 a4 y" W& }6 w* D1 j

而且真要和原生 4k 比起来，那还是差了不止一点。
5 F: p1 y% l$ y


; x5 a1 @5 v2 q& a" ^* x既然把 1080p 超到 4k 效果不显著，那在原视频是 720p 的情况下呢？
腾讯视频和爱奇艺的免费用户，最高就只能享受 720p 的“准高清”视频，英伟达的这个技术，有没有可能是考虑到这种情况？
$ `# P" z- L' O, Q5 L0 \


" `4 W2 y* P0 x: A* o- `1 M, C先说结论：有效果，但是由于原始视频质量实在太低，在一些场景效果惨不忍睹。
在几乎静态的景物画面里，能很明显的看出开了超分辨率后画面清爽了很多，甚至压缩造成的色块都消失了。
  p0 N6 E6 V0 A$ M/ i; b腾讯视频720p ▼
- ~, @, ?" A) e( C+ z

, z5 i( ]# Y# i. k( n& d7 R
5 B( b. u' ]% ]1 ^+ @& q# m比较静态的人物也优化的不错，至少美颜效果有了。
爱奇艺720p ▼
5 `$ C! [2 ^5 }/ h8 h$ y( e% k  M8 R

+ U0 m/ V# e* F- g# M0 F! _
4 W5 V  p- C+ j5 C而到了运动场景，那就完全是翻车现场。
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块，竟然完全没有修复。
这就让视频整体观感变化不大，依然一坨，清晰干净不起来。
腾讯视频720p ▼
5 D7 ?5 T8 R* D) L
0 @) y1 ~, ?0 `2 K9 j* _

而场景中快速运动的人，更是让情况恶化了。
) m. q' s7 S5 T) l$ l6 ~" s6 u' p都说看 AI 先看手，没想到这个用在生成式AI上的定律，在超分辨率 AI 上也有用。
哼哼，露出 AI 脚了吧 ▼
) y0 {& c# E9 ^  v# P
: f- S% T) O# `/ t0 a; y+ A
1 ^6 z5 T; A. p' t7 {
$ Q4 S% C: m1 ^' F6 K除了 AI 的传统艺能，它甚至还会往人类脸上 P 一对酒窝。。。
其实是AI伪影，上一帧的衣领被AI当成酒窝留下来了 ▼
1 k, `1 i3 l. u2 P$ o" J

+ p! Y9 p1 W3 o0 u3 C9 |$ o
就以目前这个表现，这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
总而言之，目前 RTX 视频超分辨率只在比较窄的场景有明显的提升，并没有两年前 AI 修复视频那种焕然一新的感觉。
要知道，之前的 AI 修复可是能把一个 DVD
2 H" D. I9 G; W6 s' T" s（ 720×480 ）分辨率的视频修到 4k 级别的清晰！
" W0 l  Z8 L/ s! w. w/ Z4 h瓜瓜Mars，【4K修复】陶喆《Melody》史上最强现场版 ▼


5 y3 \7 Q4 R6 u& D; U3 Y
如果在未来，随着 AI 能力和显卡算力的进步，实时生成的超分辨率视频也能接近传统 AI 修复的水平，那它或许真的能带来一些变化。
比如像画质不清晰的老电影或者老电视剧，现在想看高清还需要人工修复，以后直接交给显卡，它实时边修我们边看也不是不可能。
不过现在这效果，还是挺图一乐的，有 30、40 系 N 卡的差友不妨可以试试。

hilalchemist

太炫酷了,满满的科技感