【光影扩充】IC-Light整合包

lispmox

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

20241014更新
1. 删除了默认的代理设置，解决部分用户的网络拒绝请求问题

20240930更新2
1. 忘记了ROCM不支持windows，这个运行环境就不打包了
2. 目前在测试pytorch-directml的环境，unet在计算cross_attention时会报错，等调通了再上传

20240930更新1
1. 重写推理代码，降低资源占用。

2. 添加随机光源模式，在backgrounds目录为空时会启动
3. 添加更多的参数，比较实用的：
    --max-bg 每张aligned图片最大处理次数
    --flip 同时处理左右翻转后的背景图片，会生成两倍的图片
    --no-sdp 关闭注意力层优化，一些老卡运行有问题的可以试试
    --device cuda:0 选择推理用的GPU设备

PS：这两天有事，等闲下来我打包一个ROCM版本的运行环境。不过我手里没有A卡，无法测试这个环境，有需求的请自测。

如果有能力的可以自己打包一个环境试试，重写后的代码理论上可以无缝切换不同的device。具体过程：
1. 手动安装pytorch
2. 安装_internal/IC-Light/requirements.txt里的软件包：pip install -r requirements.txt
3. 修改bat脚本里的--device参数
4. 如果要适配更多的device，首先要确认diffusers库是否兼容，随后安装对应的pytorch并添加对应的device即可。
6. 有一些device可能是通过adapter兼容的，这个时候就需要稍微改动一下代码了，要不然没办法创建device对象。

随机光源模式，随机颜色的灯光从随机角度照射：


20240929内容


基于项目：https://github.com/lllyasviel/IC-Light

功能描述：
1. 替换掉aligned的人脸背景，并添加和背景一致的光影效果。和随机颜色不同的是，该方法会根据背景光源调整脸部不同位置的明暗程度。
2. 生成的人脸图片包含aligned的坐标和遮罩信息，可以直接用于训练
3. 最大支持1024分辨率的人脸，小于512或者大于1024的图片会缩放到[512, 1024]分辨率后处理
4. 整个处理流程基于sd1.5模型，8G显存可以处理512分辨率图像，更高分辨率的请自测。
5. sd1.5的基础分辨率是512，更高分辨率也能运行，具体打光效果请自测。
6. 生成人脸可能存在噪点，可以换一些光源不复杂的背景图片试试，也可以做一些后期处理。
7. 不保证软件效果，我今天晚上才搜到这个项目，跑了一下感觉还不错，遂打包后方便使用。
8. IC-Light提供了两种打光模式：基于文字描述和基于背景图片的，肉眼看基于背景图片打光的人物身份一致性更好，因此批处理程序是基于背景图片的打光。

输入图片：


生成图片：


使用方法：
1. 解压后，aligned图片放到workspace/aligned目录下
2. 背景图片放到workspace/backgrounds目录下，目前只识别jpg,png,jpeg,webp四种图片格式
3. 运行bat脚本，会自动创建workspace/outputs目录
4. 每对人脸-背景，会生成两张图片，分别是原始背景和左右翻转背景的合成图片。
5. 多显卡用户，可以编辑bat脚本里的--device cuda:0参数来指定使用的显卡

PS：无售后，不私聊，不常逛论坛，随缘debug

DFL小白02

好厉害

Cxsmo

Is there a amd version because this is what I was looking for from lau9 to make when he had the time

天光脑震荡

太牛逼了

970977470

随机颜色

Cxsmo

Cxsmo 发表于 2024-9-29 05:21
Is there a amd version because this is what I was looking for from lau9 to make when he had the time

is there

Cxsmo

970977470 发表于 2024-9-29 14:34
随机颜色

High quality random color

丸丸

请问是一键包吗，需不需要装其他东西

Aiko粒粒子

直接下载就能使用了 ？

avtopalang

由于目标计算机积极拒绝，无法连接。')))
请按任意键继续. . .