|
|
机器之心报道
. W% {! _' s4 H/ R* ~ T编辑:杜伟; u/ C: s- D4 z0 B( K. \
让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。
' i2 b3 {2 Z6 d" o我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。
1 Y& n. F# ?* i; i2 ?4 M/ J1 v& [因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。
" a! z1 w8 C) R9 ?. D+ j# E- y/ r) A! S Q甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。" P. V; ^* ^8 [) H/ d
3 n5 m6 k9 C2 Z6 @* F- n, F0 @
- i/ ~$ p; ?, z& E
: ]& m$ `# ?$ U) R3 Z" d; S8 rStable Diffusion 实现最快安卓端运行9 Z3 N4 U9 V- {
那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。
4 r8 V5 W3 ^* J5 b在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。# R2 h) m: x( ?0 Q) A! B
i0 L& S* h M
! T1 |8 \$ r: ]! b# z( o! L
0 H4 `" C; k- r; S
高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。3 {6 [! W$ V9 E# p6 l
* A4 B1 L3 ~/ q" [/ ?8 @. \, { L0 G( O
+ N* F. b- k x' \
在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。
9 ^1 ~1 b9 |3 ~, |( w G
# W$ z. ^2 I/ o4 m/ D+ {) w) j: D) Q& ]1 e5 g y1 m' E
8 z& H. {) c, {' K
其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。% Y$ N5 ]* O( X2 Y2 b
- {! z) P' |, a) y: K0 O W0 ~1 S
( l+ c3 r9 a6 Y. M9 \' d- i, u+ t$ ~. I" |/ a
博客地址:
0 g' ?! ~2 Z. M2 q0 Ehttps://ivonblog.com/en-us/posts/android-stable-diffusion/, o& G+ v) a3 `! _
参考链接:5 V3 p2 P0 |8 B. w3 \2 \
https://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest
3 N/ H% u' T% w5 P3 S9 X7 ihttps://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android
+ p( k' A& ?, e, h* [4 r+ } THE END 5 [$ |/ j" Y" ]3 ~6 r( d
转载请联系本公众号获得授权" S" ]0 f2 z1 K% C$ }3 V
投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|