文本转图像模型–SDXL Turbo发布

今天,官方宣布推出实时文本转图像模型SDXL Turbo,基本可以实现实时图像生成。和Stable Diffusion不同的是,SDXL Turbo可以实现一步生图,无需数十步的迭代步数。这是它的官方博客地址–Introducing SDXL Turbo: A Real-Time Text-to-Image Generation Model — Stability AI

目前,该模型已经正式公布。SDXL Turbo采用了Adversarial Diffusion Distillation技术,也叫做逆向扩散蒸馏绘图模型,可以在保持高采样和保真度的前提下,实现单步合成,图像完成实时图像生成。在和其他扩散模型的对比中,可以在保持图像质量的前提下,用最低的GPU资源,最快的速度完成图像生成。各项测试指标均超过同级别对手。

目前SDXL Turbo已经可以在ClickDrop上免费使用,大家可以自行尝试。Clipdrop – SDXL Turbo

SDXL Turbo的模型也已经公开,按照官方提供的流程,即可在本地运行。根据网友的测试,使用3080显卡运行SDXL Turbo,不到一秒钟的时间,就可以生成二十张图像;使用4090显卡,则可以在20秒钟内生成256张图像,分辨率为512*512。也就是说,实时图像渲染和实时视频生成,已经离我们越来越近。如果你的显卡型号足够高,就可以点击链接:comfyui-workflow/sdxl_turbo at main · hylarucoder/comfyui-workflow · GitHub,应用hylarucoder创建的comfyUI工作流。

现在,我使用Google Colab为大家演示一下SDXL Turbo的实时绘图效果。

首先,点击这个链接进入:GitHub – camenduru/sdxl-turbo-colab,完成部署后输入随意提示词生成一张图像。然后,在提示词中添加Smile词条点击运行,就可以完成人物表情的更换。在最后方输入full body词条,还能生成人物的全身照。输入一段新的提示词,连续点击生成按钮,测试一下图像生成速度。SDXL Turbo可以在短时间内完成图像的生成,缺点则是细节刻画不到位,还需要进一步的优化。

此外,还有网友推出了SDXL Turbo的非官方demo:Unofficial SDXL Turbo Img2Img Txt2Img – a Hugging Face Space by diffusers,同时支持图像转图像功能。

上传一张参考图,在上方对话框中添加提示词,就可以快速完成图像风格和人物特征的替换。尽管有一定的延迟,也可以基本完成实时修改。根据多组测试可以看出,SDXL Turbo基本可以实现实时图像生成,只需添加不同的提示词,就可以实时完成修改。此外,我们还可以手动设置风格强度和迭代步数。

SDXL Turbo推出后不久,就有网友制作了一个基于该模型的实时图像生成,并发布在FAL平台:fal.ai/turbo。输入一段提示词,也就是穿着意大利服饰的浣熊,拖动左侧的椭圆,右侧就会时时生成不同位置的图像。

点击下方的dubplicate,还可以生成两张图像。尽管有一定的延迟,整体响应速度基本可以实现实时图像输出。保持物体的形状和位置不变,在上方对话框中添加不同的描述词条,右侧的小猫就会随之改变。

由于SDXL Turbo对计算资源要求不高,各大免费平台都可以流畅运行该模型。

发表回复