|
|
机器之心报道
0 c! g- m+ W8 b7 f- H; V* X编辑:杜伟
- v6 D3 X8 y. ~% E- E. E; _让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。
6 G' r# K0 B1 Q4 S% D$ G我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。
7 T5 s! j+ ~9 v4 V/ u! m! z; }2 M因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。: d1 y& l. l( N% C/ S% y6 r. H% t* h
甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。
2 K* I+ _' q. j, v- i+ T" S0 P5 `& b1 |
4 ]3 N" P6 v8 [2 ` e( |8 X$ @& c! c; a3 x, }) E. ~
Stable Diffusion 实现最快安卓端运行6 {3 E& {1 L$ L( ^
那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。4 E' j$ A2 Y5 R' W" _
在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。7 N( a, q6 S+ A% J. J$ B
- k( ^- D' X9 S, G$ n1 ^+ V
* a" W" v( C# x# L
! D3 }1 G+ j; ~0 w8 K+ v高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。
! B( i& R" a* l+ d) L) w* s; `$ g V" @3 _
- C: L$ l" p# i3 }* H; d
' k9 E; n' A# P5 Y/ q在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。
- g" K( \! j1 V5 Q8 E- {: h) W" g+ P- C4 A; A, r: n
5 u K6 S* _6 C/ _" A# ~" Q* r9 Q( c6 m. p
其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。7 G) j6 k" r! E* `+ A2 a
, w9 b1 m/ E) |) {& \4 C! R3 {! o; Y1 d ]! E* U
$ q4 j' M) V. P2 G4 E3 d J
博客地址:& t* p/ x8 D6 W8 Y$ {! ?) n. p
https://ivonblog.com/en-us/posts/android-stable-diffusion/
8 S* n! P* N; c& C# U( G! I参考链接:
. ~# K# N9 e7 F* O0 X& z1 ~https://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest' V* f6 t7 M3 i3 a0 F, n- |
https://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android
+ B2 G4 ~1 g- s2 Q THE END
# ]0 d8 p% ~% j转载请联系本公众号获得授权' v0 k8 g2 {! F" O
投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|