从扩散到自回归:Luma AI 的 Uni-1 如何用Transformer 重塑图像生成?
Luma AI 发布了图像模型 Uni-1 看到评价还不错,就像来测他一下。
Uni-1 据说在强空间推理、复杂逻辑、理解 + 生成统一 的特点
底层架构和其他 AI 生图模型不一样,一般是使用扩散模型,Uni-1 是使用 自回归 Transformer
1、电影分镜
香港警匪电影,中国演员精彩打斗过程,写实电影分镜图,九宫格,比例16:9,2K
整体看起来是挺不错的,等等。。。这演员怎么这么眼熟,很像丹哥,看来是用不少电影来训练的,就是那个夜上海灯牌是不是不够合理,这是香港电影。
2、一致性
上传了一张小弈的图片,进行图片编辑
小弈在办公室养龙虾,写实风格,比例16:9,2K
还不错,人物一致性保持的很好
3、空间构图
生成一张电影级画面。在一个倾斜 45 度的未来主义悬浮楼梯上,摆放着三台不同年代的科幻飞船模型,请精确表现出黄金比例的构图,确保所有物体的阴影统一指向画面左下角的光源,重点展示楼梯金属表面的反光反射与飞船模型玻璃质感的物理碰撞,比例16:9,2K
45度没问题,左下角的光源也正确,整体效果可以
4、逻辑
这是一幅叙事感极强的插画,画面中心是一只穿着维多利亚时代贵族礼服的龙虾,它正坐在古董书桌前撰写一封 AI 生成的情书,背景是暴风雨中的海洋,透过窗户可以看到海浪与代码数据流交织在一起,请运用赛博朋克与古典油画结合的风格,光影对比强烈。比例16:9,2K
赛博朋克与古典油画结合,画面和描述一致,逻辑清晰,不乱
5、风格与细节
以宫崎骏的动画风格,绘制一幅春日田园图。画面中央是一辆行驶在铁轨上的复古蒸汽火车,铁轨穿过开满油菜花的田野。火车车窗内,一只狐狸正戴着耳机看书,书的封面是你熟悉的《小王子》。请精确画出火车烟囱冒出的烟雾形状,使其在视觉上形成一个巨大的爱心。比例16:9,2K
吉卜力风格正确,带着耳机,看书,爱心的烟,细节都有了
6、生成统一
画一只龙虾和驴和蛙,写实风格,比例2.35:1,2K
构图挺有意思,能把三者毫无违和感的统一到一个画面
这张图上配一首诗
他自己直接出的诗,用的繁体字,认为这样比较符合画风吧,就是最后一行和其他三行有个空行,不够完美。
中文大字方面是比较准确的,就是小字部分还不够好,如果把小字部分也做好,那真的就太好了。
这种 自回归 Transformer 生图方式还不错,
在技术路线上有多了条康庄大道。。。
#人工智能[超话]##AI创造营##图片生成#
