世界滚动:GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

2023-04-19 17:17:13 来源:程序员客栈


(资料图)

点蓝色字关注“机器学习算法工程师”

设为星标,干货直达!

自从 DALL·E 2 之后,在图像生成方面扩散模型替代GAN成了主流方向,比如开源的文生图模型stable diffusion也是基于diffusion架构的。近日, Adobe研究者在论文Scaling up GANs for Text-to-Image Synthesis提出了参数量为10亿(1B)的GAN模型:GigaGAN,其在文生图效果上接近扩散模型效果,而且推理速度更快,生成512x512大小图像只需要0.13s,生成16M像素图像只需要 3.66s。同时GigaGAN也支持latent空间的编辑功能,比如latent插值,风格混合,以及向量运算等。

GigaGAN改进了StyleGAN架构,采用两阶段训练策略:一个是64x64的图像生成器和一个512x512的图像超分2器,其图像生成器架构如下所示(这里也是采用CLIP text encoder来引入text condition):GigaGAN在 LAION2B-en和 COYO-700M数据集上训练,其在COCO数据集上的FID达到9.09,超过stable diffusion 1.5,推理速度比stable diffusion快20倍多(2.9s vs 0.13s):GigaGAN除了文生图能力,还可以实现可控的合成,比如风格混合,如下图所示:更多效果图和技术细节见论文https://arxiv.org/abs/2303.05511和网站https://mingukkang.github.io/GigaGAN/

标签:

世界滚动:GAN卷土重来:10亿参数的GigaGAN效果堪比扩散模型

点蓝色字关注“机器学习算法工程师”设为星标,干货直达!自从DALL·E2之后,在图像生成方面扩散模型替...

2023-04-19 17:17:13

当前讯息:微软和 Epic合作,GPT-4 将用于寻找医疗记录的趋势

微软和Epic合作,GPT-4将用于寻找医疗记录的趋势

2023-04-19 17:20:27

【世界时快讯】以英飞凡为基础的术前新辅助及术后辅助治疗将可切除非小细胞肺癌的疾病复发、进展事件或死亡风险降低了32%

2023年4月18日,III期临床研究AEGEAN的阳性结果表明,与单纯的新辅助化疗相比,阿斯利康公司的英飞凡联...

2023-04-19 16:27:53

消息!蒙蒂:我第3节想让布克歇会 想法就是打一攻换&结果他不停地进球

直播吧4月19日讯今日NBA季后赛首轮G2,太阳主场123-109战胜快船,将大比分追至1-1平。赛后,太阳主帅蒙蒂在

2023-04-19 16:29:52

今日热搜:优惠好品推荐!TP-LINK全彩高清摄像头优惠至199元

向大家推荐一款性价比超高,价格十分优惠的摄像头:TP-LINK普联IPC45AW全彩高清摄像头5MP。该款摄像头性...

2023-04-19 16:21:30

【报资讯】深圳碧莲盛NHT不剃发植发技术多少钱?有什么好处呢?

今天给大家上点干货,一起走进深圳碧莲盛无痕毛发医院探秘不剃发nht植发技术的费用是多少钱?经过小编探...

2023-04-19 15:49:43

【热闻】一季度我国财政收入回稳向上

央视网消息(新闻联播):财政部今天(4月18日)发布的数据显示:今年一季度,我国财政收入呈现回稳向上...

2023-04-19 15:08:35

环球关注:海南海航豪庭北苑买房怎么样,海航豪庭北苑楼盘介绍篇!

海南海航豪庭北苑买房怎么样,海航豪庭北苑楼盘介绍篇!海南房价是否要跌了,海航豪庭北苑房子还能升值...

2023-04-19 15:10:32

世界热消息:国家发改委:一季度全社会用电量同比增3.6%,3月增5.9%

国家发改委政研室副主任、新闻发言人孟玮澎湃新闻记者周頔摄4月19日,在国家发展改革委召开的4月例行新...

2023-04-19 14:42:24

环球最资讯丨2023河南焦作市市直机关遴选公务员考试总成绩及进入考察名单公告

焦作市2023年市直机关公开遴选公务员面试已结束,现将遴选考试总成绩及进入考察名单予以公布。按照《焦...

2023-04-19 14:10:44
x 广告
x 广告

Copyright ©  2015-2022 东方经营网版权所有  备案号:沪ICP备2020036824号-8   联系邮箱:562 66 29@qq.com