本周V3.9带来了三次元全身生成、提前终止功能、更加高级的队列模式、自训练模型断点训练等功能。如下为三次元全身生成动图演示:
V3.9版本:2022-07-30
1、修复json文件损坏,打开参数设置崩溃的bug;
2、软件目录的【描述风格库】是后续快捷描述的调用库,都是csv文件,各位可以自己按照模板csv文件格式创建自己的模板库,软件自动调用;
3、添加随机描述批量模式,在队列模式下,文字描述格式输入by {400|1|艺术家},代表从【描述风格库】文件夹得艺术家.csv文件里调用单个艺术家,生成400个设置文件,也就是同样描述下仅艺术家不一样,400个艺术家的描述,具体还得看B站视频介绍;
4、队列模式下,可以多选参考图,生成多个setting文件,也就是同样的参数,不同的参考图;
5、扩散模型训练支持选择多少步停止训练、支持基于模型基础上继续训练;
6、修复某些扩散模型加载报错的问题;
7、加入三次元真人全身生成,和原先的二次元参数设置基本一致;
8、加入AI作画提前终止功能,注意当绘制5步以上时,才可以点击终止按钮。再来几张我用离线版跑常规模式DD5跑的图:
01 软件概览
软件名字叫做:AI作画离线版V3.9(基于Disco Diffusion 5.6),基于GitHub上的开源项目Disco Diffusion。如下,软件主界面,还是以操作简单为主:
02 软件安装
软件非常大,因为有很多离线模型,下载完成后,按照网盘里的pdf教程即可进行体验。可直接参考B站视频进行安装(视频演示的是3.8版本安装教程,但安装套路完全一致):
03 软件功能介绍
功能一:Disco Diffusion作画
软件目录文件夹的settings.json就是作图配置文件,当然离线版本可通过界面进行设置了。
1、描述词设定:描述词之前手动修改json文件经常有小伙伴少输入标点导致出错,界面化可以避免这个问题,如下默认的描述,每段(回车换行算一段)都是同一描述的不同权重关键词。
上面的描述对应的手动修改json如下,也就是界面化无需引号、逗号来分割同一描述的不同权重部分。
队列模式下的描述词设定:当如下勾选了队列模式后,通过固定的句式,可以生成大量的配置文件,也就可以实现生成多套参数的图。
比如我的文字描述这样描述:a beautiful girl by {400|1|艺术家},当点击保存设置后就会生成400个艺术家的不同配置文件。注意这个格式{400|1|艺术家}中的{}、|这些不能缺少,完全按照固定格式来,400代表生成400个配置文件,1代表by一个艺术家名字(如果设置成2就代表by两个艺术家名字混搭),艺术家代表的是软件目录下【描述风格库】文件夹下的艺术家.csv文件,而艺术家.csv文件如下所示,两列数据:
软件支持各位自建这种语料库,大家可以复制csv建立副本,然后在副本里修改,注意也是按照两列格式来,第一列是描述,第二列是解释。比如下面我建的颜色.csv文件,简单写了一下,也是一定严格两列来哈,且都放在软件目录下的【描述风格库】文件夹。
2、帮助相关:对于大多数参数,都加入了帮助按钮,鼠标划到对应帮助图标,驻留即可显示参数含义,如下所示,当然大多数都是翻译的官方文档,加入自己的一点注解。
如果想要加入自己对参数的注释,可以修改软件目录下的tip.json,如下对应的描述修改即可,\n为换行。
3、参考图:参考图也人性化了,直接点击按钮选择图片即可,注意看参数旁边的问号,一般加入参考图时,skip_steps这个参数需要设置大一些。
参考图的可玩性很高,比如下面的图都是基于参考图,用的自定义模型人像1.5,AI继续绘制的,有的图我也不用贴上参考图了吧:
队列模式下的参考图:当如下勾选了队列模式后,可以批量选择多张参考图,可以生成大量的配置文件,也就可以实现生成相同参数但参考图不同的图。
4、AI作画引擎选择:参数设置里提供两种绘图Diffusion模型引擎选择,原版DD、像素版DD以及其他自定义的PT格式模型,如下图设置:
像素模式作画引擎也可以试试,如下就是像素风格的图,也挺有意思:
自定义模型比如选择国画风或者人像的PT模型文件,然后保存设置即可。
如下演示的是国画模型和人像1.5模型的测试样图:
5、扩散模型训练:上面的自定义模型,诸如人像和国画都可以通过训练来实现,如下点击自己训练Diffusion模型按钮即可打开训练设置界面,3.9版本支持在原来的模型基础上继续训练,支持训练多少步停下训练。
6、提前终止作画:这个功能可谓千呼万唤始出来了,当作画步数超过5步时,点击提前终止按钮即可终止作画,如下动图所示:
功能二:图片AI高清放大
设置不同的放大模型和图片放大倍数,高清放大图片输出目录为软件目录\images_out\AI_ultra_HD,当输入的图片尺寸很大时,容易超显存,这时我们修改拼图大小这个参数即可,比如设置拼图大小512时,6G显存选择realesrgan_x4plus模型对1920*1080图片进行4倍放大测试不超显存。
AI高清放大是一个免费的独立功能,如下软件主界面点击AI高清放大按钮,选择图片(支持批量),即可高清放大图片。
如下,小图经过高清放大的对比效果,二次元和三次元都能胜任。
AI绘画输出图片目录在软件目录\images_out,如下主界面下方点击打开图片输出目录按钮即可打开。
功能三:AI图片转3D
AI图片转3D输出视频目录:软件目录\video;AI图片转3D也是一个独立免费功能,如下参数设置可以设置生成视频时长和摄像头位置(位置一般不改):
然后,如下软件主界面点击AI图片转3D,选择图片(支持批量),转换图片成如下的视频形式,这个转换速度较慢,5到30分钟一张图。
基本上就是原作项目介绍的这种效果,一张精图转换成3D的效果,不过相比原作我做了改进,支持原图尺寸大小的视频。
功能四:图片风格仿造
如下点击图片风格仿造按钮,选择图片即可自动出几张风格相近的图,此功能需要至少10GB显存,参数设置可以设置每次仿造图片数。
功能五:二次元生成
如下点击二次元小姐姐生成按钮,即可绘制上百张二次元图片:
如下可在参数设置里,设置各种参数以生成不同类型的二次元小姐姐:
功能六:三次元生成
和二次元生成功能一样,如下点击三次元生成按钮,即可绘制多张三次元全身图:
如下可在参数设置里,设置各种参数以生成不同类型的三次元图片:
功能七:AI写小说
如下点击AI写小说按钮,设置开头,即可续写不同轮数的文字:
04 显卡要求
需要至少5GB显存,且必须是英伟达显卡,AMD、intel等不支持。各种显存测试参数可参考:https://docs.qq.com/sheet/DTGxSSkNJcnVhV1VP。
注:默认参数因为选了3个CLIP模型,如果想要尺寸更大,少选几个模型即可,但效果肯定有所影响,诸如6G独显的2060或者1060显卡,只选如下第一个模型,尺寸768×512都没问题:
05 常见错误
1、爆显存
下面这些都是图片设置过大、模型选择过多等导致的爆显存,或者5GB显存以下的显卡:
(1) Unable to find a valid cuDNN algorithm to run convolution
(2) CUDA out of memory
2、黑图
很多小伙伴生成的图一直是黑的,目前发现的1660、1660s、1660ti都有问题,原因是中途生成NAN数据,解决方案正在寻找,但1060、1070、1080,甚至980ti等都没有问题,看来问题都在16代显卡上。
06 激活
软件点击AI作画按钮后,会弹出激活窗设定,按照指示联系我获取激活码即可。
07 小结
这个项目确实很有意思,唯一的问题就是对显卡要求高,最起码需要英伟达5G及以上显存,AMD等其他显卡不支持,另外还有一些坑要填,诸如很多网友感兴趣的动画等,这个得慢慢来了,但后续版本肯定会有,感兴趣的可以体验一下3.9版本了,更详细的作图参数、教程多刷刷B站相关视频即可。
08 本期内容获取
方式一:百度网盘
https://pan.baidu.com/s/1B0g4MPFe_drP_hRjgEnKGg 提取码:95kh
方式二:天翼网盘
https://cloud.189.cn/t/ZZ7vuyZrMvmm (访问码:7dn8)