Stable Diffusion基础教学详尽版

举报
赵KK日常技术记录 发表于 2023/06/24 13:07:50 2023/06/24
【摘要】 部署流程基础部署流程同云服务器部署步骤一样注意：显卡配置要求为N卡优先，适配程度高，CPU与主板要求不高，但需要跟显卡适配，运行过程温度较高，所以散热需要跟上，需要ATX3.0电源或者850W以上，可以物理降温，空调拉到最低本地部署步骤，下面有一键安装包无需任何操作，不需要准备任何环境，但基础环境需要自己准备，方便后续使用1.优先有N卡的来，1060ti也能玩，A卡能玩吗？也能玩，但是A卡的...

  1. 部署流程

基础部署流程同云服务器部署步骤一样

注意：显卡配置要求为N卡优先，适配程度高，CPU与主板要求不高，但需要跟显卡适配，运行过程温度较高，所以散热需要跟上，需要ATX3.0电源或者850W以上，可以物理降温，空调拉到最低

本地部署步骤，下面有一键安装包无需任何操作，不需要准备任何环境，但基础环境需要自己准备，方便后续使用

1.优先有N卡的来，1060ti也能玩，A卡能玩吗？也能玩，但是A卡的教程少，内存不够的也劝退，总之AI有风险，N卡在咆哮。

2.论文和资料极其多，丧心病狂的多

3.苹果电脑需要系统在12.1+但是建议大家N卡

4.笔记本也可以，所有的N卡在低配环境下可以使用CPU跑图，，但是建议大家N卡(算了手动滑稽)

5.以上条件都不满足，online，在线社区邀请码官方更新中，邀请码每次更新就被抢光了，大家第一时间关注动态，交流群第一时间发送，内测链接，社区，邀请码实时更新

相关论文：

Stable Diffusion官网:https://beta.dreamstudio.ai/generate?from=%2Fdreamcontrolnet论文地址：https://arxiv.org/pdf/2302.05543.pdf项目地址：https://github.com/lllyasviel/ControlNetLora论文：https://arxiv.org/abs/2106.096851.基础环境准备(启动器无需安装，但建议安装git)git加速器：gitee/github边车devsidercarhttps://gitee.com/docmirror/dev-sidecar/releases

注：会更改本地代理服务器，第二次上网需要关闭，或者长期开启，关闭在控制台设置：搜索代理，关闭代理，拉取ncpm/git远程仓库开启加速，

物理加速：凌晨下载模型，仓库，拉取镜像等等

图片

Python：版本3.10或者3.9+

图片

Git：官网下载地址：

Pytorch/CUDA：官网拉取GPU对应的pytorchhttps://pytorch.org/get-started/locally/

图片

2.配置要求N卡 参考主页AI算力跑图性能

个人配置跟不上的推荐online

3.模型拉取/模型之间的搭配，存放路径

大模型存放路径：根路径\sd-webui-aki-v4\models\stable diffution

Lora模型存放：根路径\sd-webui-aki-v4\models\Lora

Lora如何展示预览图：在lora根目录下存放与Lora模型同名.png图片

示例：

[LoHa] Oboro_朧 Concept (With multires noise version)_LoHa v1.0.png[LoHa] Oboro_朧 Concept (With multires noise version)_LoHa v1.0.safetensors

图片

Lora分门别类：

图片

1.1 WD tagger【线稿提示词提取】

图片

1.2插件下载

图片

1.3下载完插件记得重启UI

图片

1.4菜单功能解释

图片

2.爆显存参数设置：

图片

Tile VAE 防爆内存

图片

4.1.先检查启动器参数：

图片

4.2.外挂VAE选择自定义，不指定为autoencoder(自动解码)

4.3.文件位置：根目录/与exe同级别目录/webui-user.bat，使用文本编辑器打开/或者管理员打开

设置参数

@echo off# 此处为新加配置，改动任何配置文件需要备份，一次性不要改动多处！！！set PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:32set PYTHON=set GIT=set VENV_DIR=set COMMANDLINE_ARGS=
call webui.bat

4.4借助优化工具优化显存

推荐process lasso

图片

图片

1.把视频转为帧：一键切帧

切帧工具我发给你

2.图生图选择合适的seed

图片

3.转到mov2mov,调整参数，controlnet，步数，重绘幅度

图片

3.解决手部重绘问题

https://github.com/jexom/sd-webui-depth-libhttps://upscale.wiki/wiki/Model_Database链接：https://pan.baidu.com/s/1jo8SraCqHA0shizeGA-eXQ?pwd=o6sl 提取码：o6sl

图片

4.二次元画风参数

((8k, best quality)),((Exquisite facial features)),((Anime style:1.2)),(1girl, full body),((Standing posture ,looking at viewer )),((JK Style,JK short skirt, Football Baby Knee Socks,flashlight)),Cyberpunk, holographic aura, surreal science fiction art, future science fiction aesthetics, Han style clothing, clothing influenced by ancient Chinese operas,masterpiece, best quality,, masterpiece,best quality,ultra-detailed,very detailed illustrations,extremely detailed,intricate details,highres,super complex details,extremely detailed 8k cg wallpaper, blue  eyes,white hair, cyberpunk, sense of technology.反向提示词：nsfw,(low quality,normal quality,worst quality,jpeg artifacts),cropped,monochrome,lowres,low saturation,mutated hands,mutated fingers,deformed,bad anatomy,disfigured,poorly drawn face,extra limb,ugly,poorly drawn hands,missing limb,floating limbs,disconnected limbs,out of focus,long neck,long body,extra fingers,fewer fingers,,(multi nipples),bad hands,signature,username,bad feet,blurry,bad body参考图：

图片图片

图片

图片

5.个人常用大模型总结

图片

图片

个人常用Lora模型：

图片

图片

图片

6.重绘/inpainting/蒙版重绘/后期处理

1.放大系数选择：默认为regional时，根据画面大小，选择32/64，以重绘中心扩散半径计算，但系数越大，与周边融合越没有违和感

2.inpainting  vs 蒙版重绘  vs regional

3.后期处理：upscale系数算法选择一致，scale在0时影响介入，1时效果最小

7.mov2mov  vs Temporal

1  是否闪动

mov2mov在tile模式下如果本身视频动作幅度较大，人不统一，会出现缺帧，少帧，甚至跳帧情况，除了一键合成工具，AR支持视频帧转入然后合成视频，不过AR本身操作的视频合成效果对帧数要求较高，最低30帧，如果需要一键切帧后再转视频有很多在线网站，但是推荐mov2mov形式合成

Temporal(Temporalkit)更轻量化，防呆一键操作

- 支持多个 ebsynth 项目（以避免 20 个关键帧限制）。- 自动场景检测，剪切和重组。- 显著的性能提升。

Temporal-Kit+EbSynth效果丝滑git地址：https://github.com/CiaraStrawberry/TemporalKit

2.是否缺帧

mov2mov会在1的场景下缺帧

Temporal-Kit+EbSynth效果丝滑

3.硬件要求

都需要搭配stable diffusion，如果想要高质量视频可以后期对问题帧进行PS，转入inpainting再次绘制

4.速率

依赖硬件

8.Controlnet预处理器作用

8.1.controlnet开多个tab窗口unit

1.打开设置

图片

2.搜索或者下拉至controlnet,改变最大单元格，重启UI。

图片

3.记得勾选启用才能使用，当启用后最新版会变成绿色

图片

4.预处理器作用

renference_only(仅参考输入图)

保留原图人物细节，画风迁移

invert

简单上色

openpose（姿态提示）

姿态参考（人物）

seg

色块提示（场景）

shuffle

重新分布图片色彩（色彩）            使用色彩图素材

tile

增加细节 配合去除景深，使用精确背景去除工具得到人物蒙版，回送脚本

media_pipe face（脸部边缘检测）

用于生成表情

hed（边缘检测）

用于ai动画生成

canny（边缘检测）

轮廓提示

lineart（线稿提取）

轮廓提示

softedge（软边缘检测）

轮廓提示

depth

场景远近提示

9.SD插件目录推荐

根据个人喜好推荐大家安装插件，首先阅读前文，确定插件和模型的区别，以及插件的安装目录，下面是插件名称以及作用目录安装目录/extentions

1.2.1常用插件3D openpose

composable-lora

LoRA修饰限制

https://github.com/opparco/stable-diffusion-webui-composable-lora

controlnet

扩散控制网络

https://github.com/Mikubill/sd-webui-controlnet

cutoff

色彩分离

https://github.com/hnmr293/sd-webui-cutoff

images-browser

图库浏览器

https://github.com/AlUlkesh/stable-diffusion-webui-images-browser

locon

LyCORIS 兼容插件(LoCon/LoHa)

https://github.com/KohakuBlueleaf/a1111-sd-webui-locon

Multidiffusion

分块多重扩散

https://github.com/pkuliyi2015/multidiffusion-upscaler-for-automatic1111

tagcomplete

tag自动补全

https://github.com/DominikDoom/a1111-sd-webui-tagcomplete

two-shot/latent couple

画面分区(分支)

https://github.com/ashen-sensored/stable-diffusion-webui-two-shot

Civitai-Helper

C站助手

https://github.com/butaixianran/Stable-Diffusion-Webui-Civitai-Helper

kitchen-theme

Kitchen 主题

https://github.com/canisminor1990/sd-web-ui-kitchen-theme

two-shot/latent couple

画面分区

https://github.com/opparco/stable-diffusion-webui-two-shot

3d-open-pose-editor

3D OpenPose 编辑器

https://github.com/nonnonstop/sd-webui-3d-open-pose-editor

Config-Presets

预设配置

https://github.com/Zyin055/Config-Presets

depth-lib

深度图编辑插件

https://github.com/jexom/sd-webui-depth-lib

grid_add_image_number

图片序号标注插件

https://github.com/AlUlkesh/sd_grid_add_image_number.git

openpose-editor

OpenPose 编辑器

https://github.com/fkunn1326/openpose-editor

system-info

系统信息

https://github.com/vladmandic/sd-extension-system-info

additional-networks

可选附加网络(LoRA插件)

https://github.com/kohya-ss/sd-webui-additional-networks

aesthetic-scorer

美学评分插件

https://github.com/vladmandic/sd-extension-aesthetic-scorer

Local Latent upscaLer

局部细化

https://github.com/hnmr293/sd-webui-llul

merge-block-weighted

分块加权模型合并插件(MBW)

https://github.com/bbc-mc/sdweb-merge-block-weighted-gui.git

novelai-2-local-prompt

novelai 转 webui 括号

https://github.com/animerl/novelai-2-local-prompt

pixelization

像素化插件

https://github.com/AUTOMATIC1111/stable-diffusion-webui-pixelization

rembg

背景去除插件

https://github.com/AUTOMATIC1111/stable-diffusion-webui-rembg.git

tokenizer

词元分析器

https://github.com/AUTOMATIC1111/stable-diffusion-webui-tokenizer

vram-estimator

显存评估

https://github.com/space-nuko/a1111-stable-diffusion-webui-vram-estimator

wd14-tagger

Tag反推(Tagger)

https://github.com/toriato/stable-diffusion-webui-wd14-tagger

bilingual-localization

双语本地化插件

https://github.com/journey-ad/sd-webui-bilingual-localization

catppuccin

界面个性化设置

https://github.com/catppuccin/stable-diffusion-webui

gelbooru-prompt

Gelbooru标签自动摘录

https://github.com/antis0007/sd-webui-gelbooru-prompt

model-converter

模型格式转换

https://github.com/Akegarasu/sd-webui-model-converter

multiple-hypernetworks

多超网络加载

https://github.com/antis0007/sd-webui-multiple-hypernetworks

posex

3D OpenPose 编辑器(Posex)

https://github.com/hnmr293/posex

xyplus

X/Y图表 Plus 插件

https://github.com/bbc-mc/sdweb-xyplus

采样方法区别

图片

Gamma一键生成PPT内测链接

https://gamma.app/signup?r=sqgovd3iif5btr4

往期精彩内容

逼真3D场景程序生成器「Infinigen」AI生成100%还原大自然

百度官方AIGC交流群领取GPU算力.Prompt提示词教学

有奖征文:大胆猜测AI大时代头部企业的下一步动作

被你严重低估的 Gamma AI一键生成PPT 我当chatGPT来用

被骂了--开源这件难事

今年这个情况我劝你先别跳槽

LeiaPix 让你的图片动起来一键转为3D

【版权声明】本文为华为云社区用户原创内容，转载时必须标注文章的来源（华为云社区）、文章链接、文章作者等基本信息， 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
5G教育 音视频
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入