安装lora+启动lora+训练一个model
2023-06-05 03:10:15 来源:哔哩哔哩

一、安装步骤

二、启动lora

如果使用安装lora成功时候的日志最下面提示的./gui.sh,可能会遇到下面这个问题。这个问题还是挺难解决的,涉及到的是torch cuda cudnn的版本之间配合的问题,但是实际上在安装kohya_ss的时候


(资料图片仅供参考)

有下面这样,首先torch和cuda的版本已经对应上了,对不上的是cudnn,而为什么作者不在这里把cudnn(训练加速库)也设置上,应该是让“我们”自己去设置cudnn的版本。这里对不上也没有关系,我们只要绕过这步检测就可以了

作者给出来了两种启动办法,使用下面的python ./kohya_gui.py 即可

三、训练时训练问题

1、精度问题

这个是因为你的显卡是老版本,不知道bf这种精度,在训练的时候换成fp16即可:https://github.com/bmaltais/kohya_ss/issues/93

2、Need to compile C++ extensions to get sparse attention suport. Please run python setup.py build develop

你执行:python setup.py build develop 这个也解决不了,我翻看了一些资料,也没有找到好的解决办法

3、RuntimeError: No such operator xformers::efficient_attention_forward_cutlass - did you forget to build xformers with `python setup.py develop`?

解决办法1:不用xfromers,就不会报错了。实际测试,是否使用这个并没有明显加大/减少训练时间

解决办法2:https://github.com/bmaltais/kohya_ss/issues/784

pip install xformers==0.0.19 执行的时候看日志,把torch-cuda的版本都给升级到了2 11.7

这次训练时,勾选use xformers,没有报训练错误,但是报了下面这个错误

CrossAttention.forward has been replaced to FlashAttention (not xformers)

经过查看一些资料:https://www.reddit.com/r/StableDiffusion/comments/114e0nj/kohya_ss_error_how_do_i_solve_this/ 这是最相近的一篇文档了,里面没有提到我最终想到的解决办法,但是里面都是在说训练参数相关的,所以我把“内存优化”那个选项去掉了,就不报这个错误了,正确的运行日志是

CrossAttention.forward has been replaced to enable xformers.

------------------------------------------------

我最近在做一个项目:给指定模特 穿 指定衣服,对这个方向真的喜欢,并且有实力的朋友,欢迎加微信平时交流下bug和经验:ranksearch(微信号)

相关新闻: