米兰·(milan)中国官方网站-我跪了!OpenAI 发布 DALL·E 2,AI 化身「现实主义画师」,有详细论文

作者 | Ailleurs、钱磊
编纂 | 陈彩娴
各人还有记患上去年 1 月 OpenAI 发布的 120 亿参数邪术模子 DALL·E 吗?
其时,DALL·E 的画风是如许的:

只要「浏览」文本,DALL·E 就能按照文本的内容「主动」天生绘声绘色的巨匠级画像。是以,其时一经发布,DALL·E 就火遍了 AI 圈,吸粉无数,也让 Language-Vision(文本-视觉)标的目的又火了一把。
就于今天!时隔一年后,OpenAI 联合 CLIP,又发布了 DALL·E 的第二个版本——DALL·E 2.0!
比拟 DALL·E 1.0,DALL·E 2.0 可以天生更真实及更正确的画像:综合文本描写中给出的观点、属性与气势派头等三个元素,天生「实际主义」图象与艺术作品!分辩率更是提高了4倍!
好比,当提醒文本中别离包罗「观点」“An astronaut ”(一个宇航员)、「属性」“riding a horse”(于骑一匹马)及「 气势派头」“in a phtprealistic style”(超实际气势派头)时:
文本提醒:An astronaut + riding a horse + in a phtprealistic style(一个宇航员+骑马+超实际气势派头)DALL·E 2可以天生以下这些同时包罗三种元素的图象:



于满意三种给定元素的基础上,它但是充实阐扬了本身的「想象力」,不仅马的姿态各不不异,并且给宇航员穿上了样式各别的服装,场景也是十分富厚,草地上、山顶上、星空中......
神不神奇!牛不牛!
1让咱们来赏识 DALL·2.0 的巨匠作品!假如你想要变换文本中观点、属性及气势派头三个元素中的一个或者多个,好比保留「观点」“一个宇航员”及「属性」“于骑一匹马”,而将超实际主义气势派头替代为波普艺术家安迪·沃霍尔的气势派头,DALL·E 2也能够「轻松」转换它的绘画气势派头:
文本提醒:An astronaut + riding a horse + in the style of Andy Warhol (一个宇航员+于骑一匹马+安迪·沃霍尔的气势派头)DALL·E 2天生的图象:

DALL·E 2天生的图象:

DALL·E 2天生的图象:

DALL·E 2天生的图象:

DALL·E 2天生的图象:

DALL·E 2天生的图象:

DALL·E 2天生的图象:

DALL·E 2天生的图象:

DALL·E 2天生的图象:

一、图象编纂
DALL·E 2 可以按照天然语言描写的标题对于现有图象举行传神的编纂,好比,于思量暗影、反射及纹理的同时增长或者删除了图中的某个元素。示例以下:
文本描写的编纂需求:选择一个位置于图中添加火烈鸟。
原图 vs. DALL·E 2编纂后的图象:

原图 vs. DALL·E 2编纂后的图象:

二、气势派头变体
DALL·E 2 可以拍摄一张图片,然后按照原图建造出统一个气势派头的差别画像。示例以下:
原图 1:

DALL·E 2 创造的统一气势派头图象:

原图 2:

DALL·E 2 创造的统一气势派头图象:

原图 3:

DALL·E 2 创造的统一气势派头图象:

原图 4:

DALL·E 2 创造的统一气势派头图象:

对于在AI从文本天生的图象,咱们很是注重的一点固然是图象的分辩率了,图象的分辩率越高,像素数目就越多,图象也就越清楚及传神。与DALL·E 1比拟,DALL·E 2的分辩率提高了4倍!
好比,对于在一样的文本提醒:
文本提醒:a painting of a fox sitting in a field at sunrise in the style of Claude Monet(一只狐狸坐于日出时的旷野里+克劳德·莫奈气势派头)下面两张图别离是DALL·E 1 及DALL·E 2所天生图象的对于比:

对于比之下,DALL·E 1 天生的图象可以说是很恍惚了,甚至底子看不出「日出」于哪里,「狐狸」只显露出它的头部,「旷野」也不太有旷野的样子,并且于总体气势派头上与画家莫奈的印象派气势派头相去甚远。
而于DALL·E 2的邪术手笔下,图象质量显著提高,「日出」及「旷野」都很活泼,小狐狸危坐于草地上,姿态可爱。这幅画作色采越发富厚,利用了更多的复色,对于光影的描绘越发靠近莫奈的气势派头。
整体来讲,比拟 DALL·E 1.0,DALL·2 显然能 hold 住元素更富厚、色采更丰满的图象。再也不是简朴的单一物品描写,而是对于一个场景的总体表达,故事更完备,想象力也更富厚!
更具体的内容,可以查看 DALL·E 2 的相干研究论文:

论文地址:https://cdn.openai.com/papers/dall-e-2.pdf
收下我的膝盖……
参考链接:https://openai.com/dall-e-2/

雷峰网(公家号:雷峰网)
雷峰网版权文章,未经授权禁止转载。详情见转载须知。





