> 技术文档 > Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

一、OpenPose技术解析与预处理器详解

1. 核心原理与工作流程

OpenPose是ControlNet中最强大的姿势控制模型,它通过计算机视觉技术检测人体骨骼关键点,包括头部、颈部、肩部、肘部、手腕、髋部、膝盖和脚踝等主要关节点。当与ControlNet结合后,OpenPose能够将提取的骨骼信息作为条件输入到Stable Diffusion中,实现对生成人物姿势的精准控制。

工作流程分为三个阶段:

  • 输入处理:上传参考图像到ControlNet单元
  • 姿势提取:通过预处理器生成骨架图
  • 生成控制:ControlNet利用骨架信息引导Stable Diffusion生成符合指定姿势的图像

有需要stable diffusion整合包以及提示词插件,可以扫描下方,免费获取

在这里插入图片描述

2. 预处理器类型与功能对比

ControlNet OpenPose提供了多种预处理器,每种针对不同的控制需求

预处理器类型 检测范围 关键点数量 最佳应用场景 openpose 身体主要关节 18个 全身姿势控制,无需面部和手部细节 openpose_face 身体+面部 18+70=88个 需要控制面部表情的肖像 openpose_hand 身体+手部 18+21×2=60个 需要精确控制手部姿势 openpose_full 身体+面部+手部 130个 需要完全控制人物姿态、表情和手势 dw_openpose_full 身体+面部+手部(增强) 同openpose_full 手部姿势要求高的专业场景

特别说明:dw_openpose_full是OpenPose的增强版本,采用DWPose算法,在手势识别上表现更优,特别是在处理复杂手势和透视变形时效果显著

二、OpenPose插件推荐(仅在需要自己调节骨架时使用,本次演示中非必须)

OpenPose Editor插件

功能特点

  • 提供基础的2D骨架编辑能力
  • 可调整关节点位置
  • 支持保存/加载预设姿势
  • 集成在WebUI中,操作简单直观

插件界面如下

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

使用方式

\\1. 打开OpenPose编辑器,选择合适的宽高,根据自己的想法调整姿势,如下图示

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

\\2. 点击下方的\">>文生图\"按钮发送到文生图界面的ControlNet控制单元中,这里必须注意,由于是直接用的骨架图,所以预处理器必须选\"None\",模型用openpose即可

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

\\3. 输入提示词比如\"a girl,cherry_blossoms,in a meadow,hanfu\",点击图片生成即可生成相同姿势的图片了

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

三、OpenPose完整工作流程

案例:将照片姿势应用到不同风格角色

\\1. 准备参考图:选择清晰全身照

\\2. ControlNet设置

  • 上传参考图到ControlNet单元
  • 在预处理器与模型筛选中选择姿态(OpenPose)会自动填充预处理器与模型
  • 勾选\"Pixel Perfect(自动设置预处理器分辨率)“和\"Allow Preview(开启预览)”
  • 点击\"爆炸图标\"生成骨架图

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

\\3. 提示词编写:

正:masterpiece, (a girl in a hanfu costume), dynamic pose, neon city background

反:bad anatomy, deformed hands

\\4. 生成参数

  • 采样器:DPM++ 2M Karras
  • 步数:28
  • CFG scale:7.5
  • 分辨率:512x768
  • 高分辨率放大:2倍(小图会崩脸,脸部空间小没有AI发挥空间)
  • Control Weight:1.1

\\5. 生成结果:获得穿着汉服服装霓虹背景但保持相同姿势的新图像

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

**、常见问题与解决方案**

问题一:姿势识别不准确

  • 尝试dw_openpose_full预处理器
  • 手动编辑错误关节点
  • 使用更高清的参考图

问题二:生成图像不自然

  • 降低Control Weight(0.8-1.0)
  • 调整Guidance End(0.8-0.9)
  • 检查提示词是否与姿势冲突

这里直接将该软件分享出来给大家吧~

1.stable diffusion安装包

随着技术的迭代,目前 Stable Diffusion 已经能够生成非常艺术化的图片了,完全有赶超人类的架势,已经有不少工作被这类服务替代,比如制作一个 logo 图片,画一张虚拟老婆照片,画质堪比相机。

最新 Stable Diffusion 除了有win多个版本,就算说底端的显卡也能玩了哦!此外还带来了Mac版本,仅支持macOS 12.3或更高版本

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

2.stable diffusion视频合集

我们在学习的时候,往往书籍源码难以理解,阅读困难,这时候视频教程教程是就很适合了,生动形象加上案例实战,一步步带你入坑stable diffusion,科学有趣才能更方便的学习下去。

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果,这时则需要通过使用大量训练数据,调整模型的超参数(如学习率、训练轮数、模型大小等),可以使得模型更好地适应数据集,并生成更加真实、准确、高质量的图像。

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言,整个SD学习过程中都离不开这本提示词手册。

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

5.SD从0到落地实战演练

Stable Diffusion进阶:ControlNet完全手册|手把手征服OpenPose!人物姿势控制从原理到实战_openpose工作流

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名SD大神的正确特征了。

这份完整版的stable diffusion资料我已经打包好,需要的点击下方插件,即可前往免费领取!

在这里插入图片描述