米兰·(milan)中国官方网站-生成式 AI 无敌了: 大神微调 Stable Diffusion，打造神奇宝贝新世界
再也不依靠提醒库，输入肆意文本均可天生。
作者 | 李梅、施周遭
编纂 | 陈彩娴
作为一个强盛、公然且充足简朴的模子，近来年夜火的 Stable Diffusion 于文本天生图象以外，给了各人无穷的创作可能性。
近来，来自 Lambda Labs 的呆板进修研究员 Justin Pinkney 对于该模子举行了微调，构建了一个神奇宝物天生器！
来看一些有趣的例子~
下图是输入名字后天生的一些神奇宝物：戴珍珠耳饰的奼女、奥巴马、特朗普、鲍里斯·约翰逊、龙猫、Hello Kitty。
Lady Gaga、鲍里斯·约翰逊、普京、默克尔、特朗普、柏拉图：
耶稣基督：
除了了现有的脚色及大众人物，你还有可以输入一个描写来天生本身想象的神奇宝物：骷髅祭司
你也能够输入本身的姓名或者网名，天生属在本身的神奇宝物形象。这可太酷了，推特上的网友纷纷用本身的名字睁开创作，看看本身假如酿成神奇宝物会是甚么样子。
图注：网友 Jo Barf Creepy 的神奇宝物形象
图注：网友 Elizabeth Holmes 的神奇宝物形象
图注：网友 Upbeatblue 的神奇宝物形象
图注：网友 Onion-sama 的神奇宝物形象
输入一些漫画脚色的名字也能够得到相匹配的神奇宝物：
而那些陪伴人们童年的神奇宝物于这个天生器中也有了新的样貌：皮卡丘、妙蛙种子、喷火龙、树才怪、路卡利欧、梦幻。
Pinkney 于推特上展示了这个神奇宝物天生器的练习历程。
他暗示，Stable Diffusion 是一个很好的通用模子，但要得到特定气势派头的输出不是件轻易的事，这凡是需要做年夜量枯燥的事情，建造繁杂的文本提醒库，或者者你也能够偷懒只对于图象天生模子举行微调。
Pinkney 于神奇宝物图象的数据集上对于初始的 Stable Diffusion 举行了微调。
起首是构建一个数据集。数据集包罗神奇宝物图象及对于应的文本描写，好比妙蛙种子被描写成“一个红眼睛的绿色神奇宝物图象”，绿毛虫则被描写为“一个长着红鼻子的绿黄两色玩具”。
图注：神奇宝物数据集
固然，这些描写不是人工完成的，而是利用了神经收集来代劳，即图象描写模子 BLIP。虽然这些描写还有不是十分完善，但也充足用了。
然后，他于 A6000 上只破费了几个小时对于 AI 模子举行练习，让模子进修以神奇宝物的气势派头来天生图象，但将先前的常识保留一段时间，终极对于数据集孕育发生过拟合。
最先时，样本是正常图象的样子，然后逐渐得到神奇宝物的气势派头，跟着练习的继承，终极出现一个与原始提醒差别的神奇宝物图象：
这是一种很简朴的微调，但它运行患上很是好。有了如许一个微调后的模子，不管你给它甚么提醒，它城市天生神奇宝物。以是没必要再煞费苦心肠想提醒语了。
于创立神奇宝物时，你可以选择输出多个：
图注：带党羽的机械猫
Pinkney 暗示，接待各人用更繁杂的方式把这个模子专门地用于新范畴。像如许的小东西就是 Stable Diffusion 这种 AI 模子开源利益的表现。
2One more thing这个模子于网上引起创作热潮后，Pinkney 又发布了一篇博客增补了一些分外的事情细节。
他发明，使人惊奇的是，这个模子居然想法记住了初始 Stable Diffusion 的一些通用常识，而它只是于一个有限的数据集上练习了几千步。可是，对于神奇宝物举行微调时，模子现实上很快就会最先过分拟合，假如只因此一种简朴的方式从中采样，模子就会为新的提醒天生胡说八道式的神奇宝物，也就是说，它已经经灾害性地遗忘了它所练习的原始数据）。可是 Stable Diffusion 于练习时期连结模子的指数挪动平均 (EMA) 版本，凡是用在推理。
是以，假如利用 EMA 权重，咱们现实上是于利用原始模子及微调模子的平均值。事实证实，这对于在天生神奇宝物而言是必不成少的。此外，你还有可以经由过程直接将新模子与初始模子的权重举行平均来微调效果，以节制天生神奇宝物的数目。微和谐对于模子举行平均的操作可以将原始内容与微调后的气势派头有用混淆。
图注：左侧是彻底微调的模子，右侧是只微调留意力层的模子。
别的，你也能够冻结模子的差别部门来举行微调，好比上图是两种微调方式的天生效果，可以看到，只微调了留意力层的模子可以天生更正常的 Yoda，但其实不太擅长建造神奇宝物。
参考链接：https://www.justinpinkney.com/pokemon-generator/
更多内容，点击下方存眷：扫码添加 AI 科技评论 微旌旗灯号，投稿 进群：
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
