最大CLIP！LAION发布CLIP的扩增定律世界播资讯

您当前的位置：首页 >> 明星 > >>

来源: 时间：2022-12-23 02:14:07

(资料图片)

点蓝色字关注“机器学习算法工程师”

设为星标，干货直达！

近日，LAION等机构在Reproducible scaling laws for contrastive language-image learning发布了CLIP的扩增定律（scaling law），其中最大的CLIP为ViT-H/14，基于LAION-2B数据集训练，可以在ImageNet1K数据集上到78.0%的zero-shot准确度，性能超过OpenAI目前开源的CLIP L/14，和Meta AI的FLIP Huge模型性能相当，但是模型已经开源在https://github.com/LAION-AI/scaling-laws-openclip。

论文的实验采用开源数据集LAION-400M和LAION-2B数据集，训练框架采用开源的OpenCLIP，所以论文的实验是可以复现的。

训练在1520 NVIDIA A100 GPUs上进行，采用PyTorch DDP分布式训练策略，采用混合精度（但是fp16会不稳定，所以采用bf16，或者基于TF32的float32），训练的batch size在 86-88K之间。

实验的总体结论是：扩增定律也明显适用CLIP，当扩增模型，训练数据和算力时，模型在下游任务上有一致性的提升。但是不同的训练数据集表现出不同的扩增系数：OpenCLIP的模型（基于LAION-2B数据集）在图文检索任务上有较大的扩增系数，而OpenAI CLIP模型（基于私有的WebImageText 400M数据集）在zero-shot分类任务上有较强的扩增系数。

这个结论和FLIP的结论比较吻合，这说明训练数据集对CLIP的性能确实有比较大的影响。用论文结论的一句话来说就是：Scaling behavior depends on task type and pre-training dataset。

更多内容可见论文：https://arxiv.org/abs/2212.07143

标签：

为您推荐

猜您喜欢

世界看点：日产阳光2011款

一般能值3万左右。你好，8万块钱如果没有大的意外一般应该值4万。好价格合适。CVT自然换挡。陡坡后期加速。自动挡，刚开始有点肉。车况和手续

来源：时间：2022-12-17
农博会·花博会18日开幕_焦点观察

第十二届海峡两岸现代农业博览会·第二十二届海峡两岸花卉博览会，将于11月18日—22日在漳州花博园举办。

来源：时间：2022-12-16
天天热消息：板块异动 | 锂矿和碳酸锂价格下降锂矿、锂电概念股午后走低

智通财经APP获悉，12月16日，受锂矿和碳酸锂价格下降消息影响，A股锂矿、锂电概念股午后走低，截至发稿，大中矿业、融捷股份(002192 SZ)跌超5%

来源：时间：2022-12-16
世界观速讯丨纾困政策“量体裁衣”！各地这样为经济恢复保驾护航

国家统计局12月15日发布11月份国民经济主要运行指标。数据显示，11月，投资规模继续扩大，市场价格总体平稳，经济社会大局稳定，国民经济保持

来源：时间：2022-12-16
天天微头条丨内江发布一批职务任免

12月15日，内江市人民政府发布关于李治波等同志职务任免的通知。

来源：时间：2022-12-15
眉山洪雅县：拼经济搞建设“绿色动能”持续喷涌

(刘忠俊彭威楠)12月15日，眉山洪雅县经济开发区内一幕幕热火朝天的生产建设场景随处可见，厂区内机器轰鸣、工地上塔吊林立，生产建设正酣。生

来源：时间：2022-12-15
每日快看：商业诈骗被发现了，雇凶伤人判多少年

雇凶伤人属于故意伤害罪共同犯罪中的主犯情节较轻，处三年以下有期徒刑，拘役或者管制。若致人重伤，处三年以上十年以下有期徒刑，致人死亡或

来源：时间：2022-12-15