> 技术文档 > Stable Diffusion 项目实战落地:从0到1 掌握ControlNet 第三篇: 打造光影字形的创意秘技-文字与自然共舞_stable diffusion,结合 controlnet 生成文字

Stable Diffusion 项目实战落地:从0到1 掌握ControlNet 第三篇: 打造光影字形的创意秘技-文字与自然共舞_stable diffusion,结合 controlnet 生成文字

上一篇,我们一起玩转了 野外光影,是不是被那种自然和光影交织的效果惊艳到啦?

如果你错过了那篇文章,别担心,赶紧点这里补课:Stable Diffusion 项目实战落地:从0到1 掌握ControlNet:打造光影文字 第二篇 - 野外光影字。

今天,我们将一起做一个 生成的嵌入式文字【谷雨】,不仅要让文字浑然天成地与背景融合,还要展现出强烈的自然气息,仿佛文字本身就是大自然的一部分,随风而舞。

先来欣赏效果图

要问什么叫自然融合,看看这张效果图就知道了。

文字和背景完美契合,你几乎看不出哪是字,哪是景。

在这里插入图片描述

在这里插入图片描述

这就是我们今天要挑战的目标!这不单是做字,更像是做一幅画,文字和自然融为一体。

想了解怎么做出来的?接着往下看。

核心技术:ControlNet

你以为这只是简单的文字叠加?

NO!关键在于 ControlNet,它让我们能够精准控制图像,特别是在图像深度上,效果可以说是出奇的好。

为什么要用ControlNet?

如果你还记得之前的 光影字形,你会发现 ControlNet 就像是你图像创作的“超能力”,让你可以从基础的背景到细节的精致部分都一手掌控。

今天,我们通过 二维码控制(qrcode)深度控制(depth) 来为文字赋予生命!

一、qrcode 控制与depth 控制效果

1. 大模型和VAE模型

同样,我们用到了 ReVAnimated_v1.1.safetensorsVAE模型

这个大模型让我们能够在处理字形时带入一些细腻的动漫风