打造Ai作图studio需要哪些工具
这篇文章依然是比较轻松的方式跟大家介绍Ai生成会使用到的一些工具,希望这些工具可以帮助到你更好的更稳定的快捷的生成高质量图片。说来轻松其实也不算轻松,虽然我已经按照生成的链路对工具做了规整。但是里面涉及到的工具其实确实不算少,并且很多工具其实是一类工具(就是只是给了个例子,要用好可能还得自己做更进一步挑选适配)。要理解每个工具在自己生产中如何使用才能做到提效提质,那确实得花一番工夫去了解工具原理,现在工具能做到什么程度,自己要如何改造工具。
Ai生成图片已经开始慢慢由toy变成了可以稳定生成的链路。大有计算成像平民化大众化链路趋势,1.计算图像学高升的数学知识+牛逼的编程技巧才能实现图像创作——专业管线渲染计算成像;2.Ai作图你只要会说话,就能生成一个不错的图片,然后加上各种Ai模型配合(你要了解使用原理)就能生成还算专业图片——平民化计算成像。
训练辅助工具
图片打标
图片自然描述-image caption
https://huggingface.co/Salesforce/blip-image-captioning-large
![](https://img-blog.csdnimg.cn/img_convert/93853212ce9ff3a4668eb5d0eb84ebc8.png)
图片打标——iprompt
https://huggingface.co/spaces/hysts/DeepDanbooru
![](https://img-blog.csdnimg.cn/img_convert/344bfa0f970407d0b50781d255b181a1.png)
prompt是文本生成图,无中生有的核心。所以prompt的工具其实还有非常多,大家可以日常整理手机,当然我也会持续更新此文档。https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/Extensions-Prompt
https://github.com/adieyal/sd-dynamic-prompts
![](https://img-blog.csdnimg.cn/img_convert/9d2f58619392b7acbda950aeea0c7e0f.png)
图片质量打分工具
https://github.com/tsngo/stable-diffusion-webui-aesthetic-image-scorer
![](https://img-blog.csdnimg.cn/img_convert/8d1a7972369e27c42659883fc7251bba.png)
图片扩充
尺寸调整
这个难点在于如何识别出物体位置、边界然后做图片归一化
https://github.com/nachifur/MulimgViewer
物体边界识别
https://huggingface.co/keremberke/yolov8m-building-segmentation
![](https://img-blog.csdnimg.cn/img_convert/94d9332ca186b5ec84734351d0491046.png)
物体轮廓线识别
https://bowenc0221.github.io/maskformer/
![](https://img-blog.csdnimg.cn/img_convert/beb4abd51602d0cd11af2bd13d9ad6e0.png)
![](https://img-blog.csdnimg.cn/img_convert/187bada90adc506403fb0ab38ae2487d.png)
内容填充
https://huggingface.co/spaces/nielsr/text-based-inpainting
![](https://img-blog.csdnimg.cn/img_convert/ff6eb222ecf4b58649e7d95b3182c922.png)
图片增强
https://github.com/albumentations-team/albumentations
![](https://img-blog.csdnimg.cn/img_convert/3945082162c850f246c84e11537f11af.png)
人像工具
人脸调整
生成清晰的人脸https://huggingface.co/spaces/sczhou/CodeFormer
![](https://img-blog.csdnimg.cn/img_convert/b7f946e96027a902352eb504b37fc57d.png)
![](https://img-blog.csdnimg.cn/img_convert/98df9c4e4ec91f87fb9610a20b7ce91c.png)
来张实际效果
手指调整
1.如果出现手指可以描述是五个手指
2.利用negative prompt把手指不正常的去处
3.训练一个正面人物手指处理lora
![](https://img-blog.csdnimg.cn/img_convert/54f6d2732b39e932e404596b3f13b704.png)
多手调整
1.训练模型时候加重negative prompt人物手的描述权重
2.训练一个人物手脚过滤模型
产图工具
模型
通用内容模型
SD原生模型:
sd1.5、sd2.1
https://stablediffusionweb.com/
![](https://img-blog.csdnimg.cn/img_convert/987f9076eaee955e0e1b00980ce23356.png)
写实模型:
dreamlike-photoreal-2.0
![](https://img-blog.csdnimg.cn/img_convert/642af11c00bc56729a9a84e081968cd5.png)
二次元模型:
novel ai
![](https://img-blog.csdnimg.cn/img_convert/808c3c9e1eb527efa3b953fd183acaf8.png)
https://huggingface.co/andite/anything-v4.0
![](https://img-blog.csdnimg.cn/img_convert/e94149566c979c9afcb3a7e90ca1d087.png)
![](https://img-blog.csdnimg.cn/img_convert/e56b3f507d4e2835dfe5888f18d51321.png)
专用内容模型
亚洲人脸模型:
https://civitai.com/models/6925/realdosmix)+Realistic
![](https://img-blog.csdnimg.cn/img_convert/4cf6a1be57e26df5a58917f8508aae1a.png)
https://huggingface.co/dcy/AsiaFacemix
![](https://img-blog.csdnimg.cn/img_convert/0e858541695144760a8a50a0f1fb2481.png)
插画风格:
q萌:kawaye1_6000(Q萌)
![](https://img-blog.csdnimg.cn/img_convert/0175f0e24e0f3a974b1fc4e2450cd1bb.png)
厚涂:
FloydianSound/WLOP_Diffusion_v1-5
![](https://img-blog.csdnimg.cn/img_convert/2390b1202d1c6c1959c263046af0b4ef.png)
civitai模型如何获取下载地址
![](https://img-blog.csdnimg.cn/img_convert/48ac106fed8bda2cee7f72bbcaee142d.png)
huggingface模型如何获取下载地址
第一步:找到卡片页:files and versions
![](https://img-blog.csdnimg.cn/img_convert/a9f8312c816060443de6fcdb9fbe91a5.png)
第二步:选择模型点进去
![](https://img-blog.csdnimg.cn/img_convert/92737a8dab2bb6420fc8ffed2bd5deb2.png)
得到模型url地址就可以用:aria2c工具下载
例:
aria2c https://huggingface.co/andite/anything-v4.0/resolve/main/anything-v4.0-pruned-fp16.safetensors
lora层
这里有太多东西可以说,但是基本都是要自己准备数据训练模型来实现。比较考验技术底子,说白了就是你想让模型学习什么。
再记一句话吧,要做真正工业应用的产品,而不只是toy自己训练模型是必须的。并且利用好lora,可以把lora当成功能分层,效果分层类似计算成像的管线路子效果可以做到很震撼。
![](https://img-blog.csdnimg.cn/img_convert/f1bbd6b56b44e8366be0aa6e7b39cf13.png)
深度图层
https://github.com/thygate/stable-diffusion-webui-depthmap-script
对图片生成深度图层,可以用在3D或者AR、VR虚拟生成,元宇宙世界中使用。或者可以用在游戏引擎中做角色建模,也可以在3d打印时候使用。
![](https://img-blog.csdnimg.cn/img_convert/6c8d1db4079d3dfdc12356f62e68a71e.png)
场景环境控制(这块大家还未重视,做独立的场景生成模型)
室内场景
室外场景
光照控制
色系控制
prompt扩写润色
https://huggingface.co/spaces/blairoreilly/merve-chatgpt-prompts-bart-long
https://huggingface.co/spaces/awacke1/PromptRefinery
![](https://img-blog.csdnimg.cn/img_convert/a016d5c0540c73efe6fbd5db1ae04fd8.png)
后效处理工具
图片角色背景融合
多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render
利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。
![](https://img-blog.csdnimg.cn/img_convert/50f719c1707ca200ff82537eb128244b.png)
多角色融合
https://www.cs.cmu.edu/~custom-diffusion/
![](https://img-blog.csdnimg.cn/img_convert/df2f59fb7967712d32a4aa50a21f22b3.png)
其它工程思路:单独生成角色,然后把多个角色放上来,用outpaint方式来融合
https://github.com/zero01101/openOutpaint-webUI-extension
![](https://img-blog.csdnimg.cn/img_convert/4b6e42c3d9bb5aa73bfe82fe2c9f7b68.png)
多物体融合渲染:https://github.com/Extraltodeus/multi-subject-render
利用深度图扩展,可以根据物体的深度距离创建多物体前景+背景做多物体融合。
![](https://img-blog.csdnimg.cn/img_convert/09dfd47cb2c4408c39fc10f620cb0ad3.png)
光照调整
可以通过风格调整来实现,对同一种光照图片做**光照lora
![](https://img-blog.csdnimg.cn/img_convert/e8a20ffee8e106918d153657eaaae768.png)
位置调整
角色适合放在场景图片什么位置:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理
多角色融合时候和场景图片如何做位置调整:可以考虑objectdetector对相似背景下物体放置位置预估,然后吧角色放置合适位置,做后续融合处理
超分
实现生成图片的尺寸放大,图片的高清晰度优化https://github.com/xinntao/ESRGAN
![](https://img-blog.csdnimg.cn/img_convert/cc6af7352c1fafe15616ba7b6ec05e1a.png)
![](https://img-blog.csdnimg.cn/img_convert/727872cc0969ea8cd7f72c4fae273924.png)
studio易用性工具
多语言插件
https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN
aria2内容下载工具
高速稳定下载文件:https://aria2.github.io/
提效工具
批量prompt效果展示,选择最佳prompthttps://github.com/dr413677671/PromptGallery-stable-diffusion-webui
![](https://img-blog.csdnimg.cn/img_convert/4361cb5efdad16a49d1a7d9d6204777f.png)
多参数最有效果选择https://github.com/mcmonkeyprojects/sd-infinity-grid-generator-script
![](https://img-blog.csdnimg.cn/img_convert/f53d6e9a604a2bf5153c1023b47032e0.png)
相关文章
- [Android Studio] Android studio 多渠道打包(超简洁版)
- R_Studio(癌症)以等宽类别值、自定义类别值、等频类别值(分为5类)
- R_Studio模拟学生成绩对数据简单分析
- Visual Studio强大的帮助工具--Resharper安装与使用
- Studio启动的时候报错 Could not install Gradle distribution from
- studio--如何将Eclipse中的项目迁移到Android Studio 中
- studio-引入外来包
- 让Visual Studio 也支持JS代码折叠 —— 续 [ Visual Studio | Js | ScriptOutline | SmallOutline ]
- 【STM32F429】第12章 GUIX Studio生成代码移植到硬件平台
- 如何使用HANA studio查看HANA原生模型
- 修改Visual Studio Code的自定义键盘快捷键
- Android Studio配置SVN 以及使用代码管理
- 【Android 逆向】Android 进程注入工具开发 ( Visual Studio 开发 Android NDK 应用 | VS 自带的 Android 平台应用创建与配置 )
- Android源码编译Android Studio(带jar和jni)工程(九)
- 用上Visual Studio后,我的世界游戏的构建时间减少了一半
- 2. 如何给在 SAP Business Application Studio 里开发的 OData 服务准备测试数据