谷歌「模型汤」靠微调屠了ImageNet的榜！方法竟然只有半页纸片

是王道

虽感叹假设汁的不想法很单纯，但这篇学术著作的重点并非是法则，而是测试。

在测试部分，科学研究工作人员探索了在对各种假设顺利进行见下文时对假设汁的应用。见下文的亦然要假设是CLIP和ALIGN假设，用三维-评注对的对比监督顺利进行先为受训，在JFT-3B上先为受训的ViT-G/14假设，以及评注分类法的Transformer假设。测试亦然要都用的是CLIP ViT-B/32假设。

见下文是端到端的，也就是所有的实例都可修改，这种方法往往比只受训就此的差分层有更高的准确性。

在见下文先前，测试采用两种并不相同的法则来堆栈就此的差分层。第一种法则是从差分探针（linear probe, LP）堆栈假设。第二种法则都用zero-shot堆栈，例如，都用CLIP或ALIGN的评注塔转化成的分类法器作为堆栈。

见下文都用的资料集为ImageNet。测试中还对五个其表象分布区shift顺利进行评估：ImageNetV2，ImageNet-R, ImageNet-Sketch, ObjectNet, 和ImageNet-A。

由于官方的ImageNet有效性集被用作测试集，因此测试中都用大约2%的ImageNet受训集作为相结合狂妄的汁的存留有效性集。

测试结果对比了汁的手段，可以看到狂妄汁需要更少的假设就能达到与在存留的有效性集上自由选择最佳个体假设不尽相同的精度。X轴为超实例随机搜索中所选择的假设总数，Y轴为各种假设自由选择法则的准确率。所有的法则在逻辑推理过程中都需要不尽相同总数的受训和计算效率。

对于任何总数的假设，狂妄汁在ImageNet和分布区皆测试集上都比不上最佳常规假设；狂妄汁在ImageNet上比不上均匀汁，在分布区皆则与之相当。Logit集成在ImageNet上比狂妄汁好，但在分布区皆更差。

狂妄汁比ViT-G/14在JFT-3B上先为受训并在ImageNet上见下文后赢取的同样的单个假设在分布区内和分布区皆的意味著的精度都稍稍增超强。

为了测试通过假设汁获合的假设精度增超强是否可以扩展到三维分类法大部份的课题，科学研究工作人员还对NLP战斗任务顺利进行了测试。科学研究工作人员在四个评注分类法战斗任务上对BERT和T5假设顺利进行了见下文，这些战斗任务来自于GLUE基准：MRPC，RTE，CoLA和SST-2。测试结果虽然修改没有人三维分类法中那么明显，但狂妄汁在许多意味著可以比同样的单假设精度更快。

有含义吗？

大部分涉足AI假设的科学研究工作人员看完学术著作的内心应该都是：就这？

学术著作一出，在知乎上也有学术著作的相关讨论。

有网路上声称，这种学术著作没有人含义，全靠自然资源堆砌，有效性了一个小idea罢了。先前的假设也有类似的idea，并且学术著作也依赖对人工智能的理论系统性。

不过凡事都有两面性，网路上@昭昭不难受难受 则声称，sota只是学术著作的精度体现，评论大量的测试转化成的结论还是相比较具有启发性的，单纯有效即是好idea！

网路上@战斗系教士 称这是个极具雅虎风格的临时工，思路不难忘了，但Google胜在逻辑推理速度基本、且对问题的解释也很到位，测试充份（对于得人科学研究工作人员来感叹或许没切实复现）。确实有很多值得进修的地方。并且假设汁也极为减碳，没有人把受训后的假设实际上碰到，而是利用起来，不至于不必要电。

网路上@奶酪牛腩系统性称：「过去ImageNet在手榜的假设，10亿实例不嫌少，100亿实例不嫌多。而且Google、Facebook这些赚钱的亦然，动不动就是1000块主机板起步，不但用Conv+Transformer，还用JFT-3B。然而，要是用1000层的ResNet达到了91%的Top 1，那就是后期的飞跃了。」

就此还调侃感叹：「假如让我在手到92% Top 1，半夜则会笑醒，一年的KPI都达到了。」

参考资料：

。

脉血康胶囊能治疗脑梗死吗
重庆哪家白癜风好
南宁医院白癜风哪好
急支糖浆功效
什么血糖仪家用比较好
什么牌子的血糖仪好
孩子感冒咳嗽怎么办
哪个厂家血糖仪好用又准确