|
|
`+ q I' c1 p; N
8 t( p/ g+ t( S" j6 Q
2 f# a: Y( k' Y7 O前段时间,爱奇艺限制高清内容投屏的事情闹得沸沸扬扬。
/ w* n' |) I. p; N8 E2 D
% ?% g! B" a' E/ P! y. h. K+ T5 x$ \/ U% W
9 C0 h4 T/ M1 S @2 f. V8 |5 E最后在高强度的舆论压力下,爱奇艺还是。。。退了一步?
" }. _0 R% D( P% u( P7 Q& D哦,只对老会员退了一步,新会员想要高清投屏,还是要额外花钱的。
E3 }* a- X7 ?) v
4 |4 ` h0 v; [6 Z9 z- K6 k" e, k" p
2 F4 u8 R- q2 ]2 d
不管爱奇艺这事儿做的有没有谱,但在如今这个万物皆可AI 的时代,视频分辨率不够的问题可能已经不是个事儿了。2 w% N9 N; D: ]) O+ K7 J* A) n4 [
就在前几天,英伟达正式实装了一项 AI 视频超分辨率技术,它利用 RTX 显卡的 AI 能力,能把低分辨率( 小于1440p )的视频,直接 “ 补像素 ” 显示器的分辨率。% N# n Z% D2 e
/ w, z) U9 V2 a, f8 W
- p/ }, _5 D# G" ~2 k" G9 X% k2 x
( j; H9 |& p. Q3 y2 }
有差友可能会有疑问,AI 视频修复,这不是一个两年前的火星话题嘛,还能有什么新花样?
9 x F2 s3 ?* k9 t }; @8 F你别说,还真有。% h- n& C2 A- o3 B+ Z
传统的 AI 视频修复,往往需要远超视频长度的计算时间,才能输出成片,也就是说,它做不到实时的修复。) J- p( v1 G; @" u! A2 t Z
举个例子,up 主“瓜瓜Mars”为了修复一段5 分钟的陶喆演唱会视频,用 1660Ti 跑了三个小时。
) r) Z; O" r+ K, j, x7 E
: B5 k7 ^! s7 D. U2 X* J4 n5 w
( U/ M4 H2 Q- U- Y. W9 B' _
5 A& N! l- B. R/ [9 V5 ~而这次,RTX 视频超分辨率可以在播放视频的同时,把 720p 甚至是 480p 的视频,直接超到 4k!
1 q3 b( P: x/ g: }. f% P/ K4 r哎呦,想想都觉得香。' C0 m% r, R; F
要是老黄的新技术,效果有传统的 AI 修复的八成功力,是不是以后只要不看版权内容,就可以不用为了高清视频开会员了?% k" T. H1 {7 y1 j' \6 Q4 ~
传统AI修复前 ▼7 j) \, [; ~9 x' | E2 f* h
/ i1 b8 {3 p: j# ~ J
1 _. t) |- ~4 @$ C/ o4 ?
& G1 I; q# q4 b/ S6 j: S5 @% g, C修复后 ▼3 a2 A- Y: V9 I3 k) C, R: n3 T0 K) o
1 w' q4 V" W& q( ?$ C' n/ ~ m5 w9 ?- I- X- Z% C7 X) z- e
6 c9 R- |" Q% M+ X4 A* }$ i' K上手试试呗。
. c& y' }6 r2 }8 S" q先来介绍一下测试环境。
* d+ A4 X6 f# F1 L3 _这个 RTX 超分辨率一共分成4档,档位越高,对显卡性能要求就更高,效果更好。9 ~$ m' I$ @1 E2 u" c
由于要至少要 3070 才能开满4档,所以托尼这次就拖了张 3070Ti 看看效果。
9 Y: n& L' A2 b0 S2 P
/ I8 E. [% _- \
7 Q [- ~; D2 \
& i& O% n8 x+ a) p. J& h" h然后又从小黑胖那借了块 4k 显示器,这样就能把最高到 1080p 的视频,直接优化成 4k。
2 K3 v3 p; u2 r: Y3 x) ]+ k, W1 K6 z6 H9 e: J, i
5 g% [+ _ n) i z0 y5 q1 m8 {! N
0 ^. S5 C. {, w, } h装完了高配的测试平台,首先来看看在 B 站上超分辨率的效果如何。3 ?3 \7 ~+ w. ~0 _
毕竟很多 B 站用户并不是来看付费的版权内容的。对于他们来说,充大会员只是为了看高清视频。
( u2 G# m* }% y5 ]$ @3 ~/ u老黄的新技术,能击穿叔叔吗?/ Y6 [3 _+ ?3 K1 O% j# }( j3 B
. m% @7 D) M# f' I. e8 A" p' c! `! `
* V0 ?4 Q: \4 @
- g5 T% m$ d. |我们找了个差评硬件部的视频,这个视频的 1080p 画质被 B 站压缩的比较狠,看看老黄的新技术能不能给它救回来。
+ E+ d! N5 T' S从不开超分辨率,到开 4 挡质量,最明显的变化,就是人物被自动美白了。
9 v6 k' S, x" z1080p 分辨率下效果 ▼
( [5 k9 f' i# ?" }+ A
$ s& F2 y0 o+ R0 a' u- l1 L; c8 q. j' C6 U8 L
% F8 B6 \% x# ^# i) h至于总体画面质量嘛。。。一眼看上去是没有啥的,但要说它开了和没开一样,那也不至于。
. X7 x) E# w. z/ K" S4 H细节上,画质的确有提升,边缘明显锐利一些。' t" ]) Y* _5 F) i8 s7 A
: i8 |2 w6 C: A( y! H
/ B$ O* G6 |( y
( C+ ~3 U7 |& N
但真要说它带来了什么整体观感上的变化?) g( w4 k8 G# R& L+ j+ x
) Y1 b* I4 c8 y a7 v
* i( U) F: U {7 t: ?9 w8 A% ]4 [1 n4 n* r8 p
几乎没有吧。。。7 S: m7 @8 [; \5 f
分辨率1080p ▼2 @2 R/ W8 I6 _+ @, ? K
! o0 M8 ]0 h: y9 {; m4 K' o
! o* E! x- c% m2 M
0 [! ?+ ~: R* V# v/ h而且真要和原生 4k 比起来,那还是差了不止一点。( J) N1 z, d( Y$ S
* G! L& r7 m: e6 O/ z' ~% U5 N7 n& c9 i- v! r: c: P% g
! e( K! f. l6 m. j2 Y, g" u) E
既然把 1080p 超到 4k 效果不显著,那在原视频是 720p 的情况下呢?$ C' B1 L; c' Q0 v
腾讯视频和爱奇艺的免费用户,最高就只能享受 720p 的“准高清”视频,英伟达的这个技术,有没有可能是考虑到这种情况?. l' F3 M3 u* f+ P+ {" }6 p6 o
9 h: K8 ]" Z; K: k4 I# X! ^; t5 ?3 l! v% V" U- t
5 g8 s A2 p& v先说结论:有效果,但是由于原始视频质量实在太低,在一些场景效果惨不忍睹。
" |& q1 G7 ?) _" R6 b, C在几乎静态的景物画面里,能很明显的看出开了超分辨率后画面清爽了很多,甚至压缩造成的色块都消失了。
" a$ N5 v$ V% ^$ Q3 x6 v腾讯视频720p ▼/ f8 Y0 n- x* B) Y2 B
1 J5 g6 F- F/ d ~" z0 Z! W6 V- x9 n( N! v
: v b- [5 q' u+ C8 \
比较静态的人物也优化的不错,至少美颜效果有了。
+ z2 t) y1 j6 }- k! o爱奇艺720p ▼' V$ {# ~- J( Y+ s8 F) F9 R1 A8 P
% f- H4 h3 O5 |% d
# w* S; f3 {$ K1 V
3 m5 b# v9 _# G/ q6 P而到了运动场景,那就完全是翻车现场。: O( `" ]7 C6 r6 W
AI 超分辨率最应该解决的问题 —— 视频过度压缩产生的色块,竟然完全没有修复。3 m/ O0 _8 u. \0 A! V! s% x
这就让视频整体观感变化不大,依然一坨,清晰干净不起来。
6 D$ b% R* V4 A1 D; ]5 y- u2 }腾讯视频720p ▼ ` {$ F3 N" T' z4 X: X
: {# V( `# M* s7 y
$ s. p) Z* [3 n8 {) A: v' M7 `) [0 K, i& E) K! J4 O5 A
而场景中快速运动的人,更是让情况恶化了。
5 s! a/ p9 V: e- `9 N3 c都说看 AI 先看手,没想到这个用在生成式AI上的定律,在超分辨率 AI 上也有用。
5 X2 U6 }, O; \3 N' X$ B: C哼哼,露出 AI 脚了吧 ▼, q( S: }* h z1 W$ J
A( U* j" \4 P, t! X8 Z
( @" e; x+ P8 L7 q4 j, S) L( Q' P2 A# G
除了 AI 的传统艺能,它甚至还会往人类脸上 P 一对酒窝。。。
, _0 m0 h: e, S$ Y0 G h7 O& l其实是AI伪影,上一帧的衣领被AI当成酒窝留下来了 ▼3 U/ q1 [6 e$ g; ~* V
; n: z& {& q) j7 u; H
, H0 i+ e% |9 r0 R3 ]+ _+ \! H9 [3 W6 Q& ^, K! _, \/ _
就以目前这个表现,这种实时超分辨率的 AI 还是砸不了视频网站的饭碗。
# G! Y) }# z+ k2 ~总而言之,目前 RTX 视频超分辨率只在比较窄的场景有明显的提升,并没有两年前 AI 修复视频那种焕然一新的感觉。& g9 M: i: z! G
要知道,之前的 AI 修复可是能把一个 DVD8 [" o% V$ ^3 p) o
( 720×480 )分辨率的视频修到 4k 级别的清晰!
* |$ d3 i' \6 p" n瓜瓜Mars,【4K修复】陶喆《Melody》史上最强现场版 ▼
" V. j# Q$ _* T. E4 a1 |9 W2 N5 U* \3 P. Q# L1 R _
/ s% J6 e, Z6 K5 m% [
m9 s+ r1 P9 v. D3 j, i! o% D
如果在未来,随着 AI 能力和显卡算力的进步,实时生成的超分辨率视频也能接近传统 AI 修复的水平,那它或许真的能带来一些变化。
, G4 b/ @4 |$ D$ f( v# {比如像画质不清晰的老电影或者老电视剧,现在想看高清还需要人工修复,以后直接交给显卡,它实时边修我们边看也不是不可能。
& }/ z, ~+ o# W* U3 ]! k不过现在这效果,还是挺图一乐的,有 30、40 系 N 卡的差友不妨可以试试。+ J, R$ J" `$ K3 Y- {* i
|
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|