|
|
机器之心报道1 N+ u$ P" Q k( c9 _$ C% K2 p1 E
编辑:杜伟
0 E' L9 ~5 T- a2 S- `让手机用户也能无门槛体验 Stable Diffusion 的绘图魅力。; Y \& T' c% C) r- [
我们知道,Stable Diffusion 是一种非常流行的文本到图像生成式 AI 模型,它能够在几十秒内为任何给定的输入文本创建逼真的图像。Stable Diffusion 的参数超过了 10 亿,直到现在,该模型主要在云端运行。5 e3 E0 x' D( v F9 @! \
因此,如何在移动设备端运行 Stable Diffusion 吸引了圈内人士的极大兴趣。此前,有位作者开发了一个应用程序,通过 Stable Diffusion 来生成图像,然后按喜欢的方式编辑。该应用在最新的 iPhone 14 Pro 上生成图片仅需一分钟,使用大约 2GiB 的应用内存。# W3 i! k$ w+ T1 P
甚至苹果亲自下场优化,在 iPhone、iPad、Mac 等设备上以惊人速度运行 Stable Diffusion,在半分钟生成一张分辨率 512x512 的图像。如下为苹果设备上运行 Stable Diffusion 和 Core ML + diffusers 生成的图像。, s" {4 A2 e0 j" U+ k* p' W
- W9 ^/ o; |7 B4 z0 I: i( A
" }) a; [7 e! G3 K% H5 Y9 E. y3 m- O: x- v( W
Stable Diffusion 实现最快安卓端运行/ }* h; U7 f1 t- y( F
那么安卓手机上能不能也运行 Stable Diffusion 并快速出图呢?今日,高通的一则 Demo 视频演示了:安卓手机端使用 Stable Diffusion 实现了最快本地 AI 图像生成。
9 r9 [7 K) n1 R: m5 S0 A在如下 Demo 视频中,Stable Diffusion v1.5 在不到 15 秒的时间内生成分辨率 512x512 的图像。高通虽然没有明确说明是哪款手机,但表示该手机搭载了最新的骁龙 8 Gen2 旗舰芯片组。通过在软件层面进行各种自定义优化,使得 Stable Diffusion 以最佳方式实现了运行。
. S; e9 |2 D$ X y& K0 Q. y: i) v9 b! m3 K: v
, v8 ?/ e% K1 z# i3 d4 X' J" E! I6 K) J5 [- n& I: X3 Z( M! c2 t$ |
高通在其测试设备上生成的一些示例图像如下所示,如「穿着盔甲的、超级可爱的、毛茸茸的猫武士」。
i( A- c7 b+ g0 Y' e! `5 K
+ F! }. [) V0 y' m8 X( @: v
" s4 x3 a& i) A- c: k; h% h! }
. D: w2 n4 }/ @% x在智能手机端以如此快的速度运行 Stable Diffusion,这要归功于高通的全栈 AI 优化方案。该方案显著降低了运行时延迟和能耗,最终实现 Stable Diffusion 安全高效的运行。
; t; ]5 y4 g3 _ D; v: I; ?
9 |$ ?+ J, {" Z2 }" k3 m' p1 Q, p
9 e: o: K/ }9 E; _3 Q
其实,在高通发布 Demo 视频之前,已经有开发者展示了在搭载高通骁龙 865 的 8G RAM 索尼 Xperia 5 II 上运行 Stable Diffusion。这位开发者名为 Ivon Huang,其博客中详细介绍了相关教程。不过,生成一张分辨率 512x512 的图像需要 1 个小时。与之相比,高通出图的速度实现了巨大的提升。6 q1 U' N4 T. E7 P) o/ w
8 ` F0 X9 M+ L- H/ l! e9 {2 `' w
" S: E E4 C7 n( a0 r( c! `8 P
博客地址:4 b. {& `7 m/ J4 P
https://ivonblog.com/en-us/posts/android-stable-diffusion/( E* ~* U8 x! u5 a- V
参考链接:
^+ E; j0 ?5 X# J$ rhttps://www.theverge.com/2023/2/23/23611668/ai-image-stable-diffusion-mobile-android-qualcomm-fastest* l: n3 q* g, L- y9 v
https://www.qualcomm.com/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android
" j+ S* H! F. Y: ?! C THE END 1 R" s( ^- Y$ I9 C O3 Q+ b
转载请联系本公众号获得授权6 [! J% R6 Y6 {/ G1 W- J' e
投稿或寻求报道:content@jiqizhixin.com |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|