2022 年 2 月 arXiv 篇文章推荐

对于体能训练，他们用以了下面和双向母语数据分析结合的方式则，整个数据资料的现阶段太大，但对于现今的规范来却说并未大到离谱：1TB的体能训练语料努，最大的最大13B模板基本概念。

他们在zero-shot 设置之中的单峰和多峰战斗任务上对 CM3 开展了计量测试，显示出在三维字幕、三维降解、摘录、实质元数据和其他几个 NLP 战斗任务上的可信（在某些情况下甚至是 SOTA）性能。

4、The Web Is Your Oyster — Knowledge-Intensive NLP against a Very Large Web Corpus

By Aleksandra Piktus et al.

GPT-3 于 2020 年 5 月再版时，一个普遍的非议是它对 Covid 一无所知，因为它的体能训练语料努是在大大行其道开始之前创建的。有数这些科学将均需要用以另行数据资料来体能训练基本概念以开展阶段性或从头开始，这是相当比起的。让母语基本概念访问前夕科学努是除此以外的一项转型，这使他们并能踏入不够高效的修习者，并且在不最终体能训练大脑网络的情况下并能不够另行科学的额外坏处是不够正确地。

科学密集型 NLP 战斗任务被判别为生命体在不咨询科学努（例如书籍、网络）的情况下难以克服的战斗任务。本文提出异议了一个另行的计量，精确地衡量了 LM 在这上都的展现出。它基于现阶段的 KILT 计量³，主要基于 Wikipedia 语料努来构建事实检测、实质元数据、域 QA 和对谈降解战斗任务。

随着越来越多的查找减慢母语基本概念被提出异议，拥有一个可信的分析种系统来较为它们愈发越来越最主要。此类基本概念的一些除此以外范例有数 WebGPT：带有生命体种系统的浏览器辅助解说 (OpenAI)、通过从数万亿个终端设备之中查找来改进母语基本概念 (DeepMind)、 LaMDA：对谈运用以程序的母语基本概念 (Google)。

5、LaMDA: Language Models for Dialog Applications

By Romal Thoppilan et al.

尽管在文档降解上都取得了巨大进步，但你会发现的许多闲谈机器人依然很烦人，而且没那么有用。现代母语基本概念如何改进对谈式人工智能？这是来自 Google 的除此以外提案。

这本来是母语基本概念的另一个下述，它与科学努交互以回答普通用户的查询，基本上是查找减慢的 LM。谷歌体能训练了一个庞大的 137B 基本概念，并用以生命体判断来分析它，例如诸如诱因和特异性等指标开展分析。不出所料，性能随着现阶段不断提高而不会饱和。

在概念层面上，该方式则很直观：用以 LM 的两个变体，LaMDA-Base 是一个除此以外的 LM 对谈体能训练，以及 LaMDA-Research它经过体能训练可以与外部科学种系统交互，笔记称之为工具集（TS）。该工具集不仅有数一个数据挖掘种系统，还有数一个用以算术查询的计算器和一个翻译器。

LaMDA-Base 和 LaMDA-Research 通过传递它们的读写并将它们联结以始终保持全局上下文开展交互（唯下图）。当然，该基本概念急于的关键之一是笔记策划的高品质体能训练数据资料集，除了通常的大现阶段自指派实质能训练外，还值得注意时是过 40k 远方脚注的对谈交互。

6、Black-Box Tuning for Language-Model-as-a-Service

By Tianxiang Sun et al.

随着巨大的Transformers 踏入许多深入研究层面的魏茨县，它们的用以方式则也注意到了面对。人们可以直观地上传一个几百 MB 大小的基本概念，然后在任何你想的地方运行它。但是当大小接近 TB 时，它均需要在多台机器上运行，而且上传是不合理的！此外对于像 OpenAI 这样的子公司来却说，如此大的基本概念之前踏入具商业价值的 IP，踏入他们提供的增值的支柱和他们不愿放弃的相对来却说公平竞争战术上。因此作为增值的 ML 基本概念注意到了，它仅将 ML 基本概念引起争议为黑盒 API，该 API 在给定一组读写的情况下返回实唯。以前你能更改这样一个勉强作为黑盒 API 访问前夕的基本概念吗……？

黑盒 API 的普通用户可以用以无二阶线性更改他们的种系统（我们勉强访问前夕读写和编码器，而不是局部！）。之外是他们用以变异线性在指引和时是模板空间之中开展追踪，从而有效性地修习了胜过手动指引和上下文修习的指引，这显然在指引之中值得注意体能训练范例，就像 GPT-3 对小样本修习所做的那样。在某些情况下，他们的方式则胜过基于局部的方式则，例如短时间阶段性！

7、A ConvNet for the 2020s

By Zhuang Liu et al.

最深处修习在 2010 20世纪初的强劲势头太大持续性上归功于 AlexNet 在 2012 年 ImageNet 面对赛之中的巨大急于。从那时起，卷积——这种大脑网络的主要构建——一手主导了计算机科学感官的世界。然而随着 Transformer 的扩展及其方便的一致性，将它们运用以于 CV 的方式则（如 Swin Transformer⁴）愈发越来越大行其道；可以却说卷积之前始终保持了这么长时间的权杖。

卷积依然是战将。

本文通过进一步优化它们证明 ConvNets 依然比 Transformer 带有战术上，从而产生了大行其道的 ResNets 的现代旧版，与类似的基于 Transformer 的框架相比带有战术上。这些变化有数放弃 BatchNorm 用以 LayerNorm，从 ReLU 切换到 GELU，或改变卷积核的大小等。将近就是这样，他们在 ImageNet 上的结果略高于基于Transformer 的框架。

框架之战仍在暂时，如果有一点很清楚，那就是人工智能层面信服会从公平竞争之中受益！

8、GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models

By Alex Nichol, Prafulla Dhariwal, Aditya Ramesh, et al.

自 2014 年扩展 GAN 以来，三维降解多年来是最深处修习的一个相当引人注目的运用以。除此以外用以 VQ-VAE（例如 DALL·E）和扩散基本概念的自回归降解等方式则正在踏入合理甚至不够好的替代方案 .

扩散基本概念通过在像素视图上正则表达式地添加可微噪声来降解三维，再一踏入真实的三维。 本文提出异议了一种基于扩散基本概念的文档指引降解和校对三维的方式则，该方式则击败了著名的 OpenAI 的 DALL·E。 尽管如此这些基本概念依然存在一些缺点，例如降解的每个三维所均需的计算成本，这依然企图它们在许多运用以之中得到广泛用以。

9、Text and Code Embeddings by Contrastive Pre-Training

By Arvind Neelakantan, Tao Xu et al.

大脑数据挖掘在最深处修习之中注意到更晚，在某些上都仍不如 BM25 等 20 多年的线性！因为关键部分之一是对大量标记数据资料的贫乏：现今所有急于的大脑查找方式则都严重贫乏于来自 MS Marco 数据资料集的字句。这些基本概念可以在未指派的情况下开展体能训练吗？

这是 OpenAI 提出异议的以完全自指派的方式则修习文档的文档声称的提议。这些声称（即嵌入）借以踏入有数数据挖掘在内的各种战斗任务之中的可信主导者。管理工作基本概念相当直观：用以相邻的文档片段作为正伪查询文档对和批量负样本。

这是无指派大脑数据挖掘和声称修习的最主要一步，但并不是像一些标题所暗示的那样是一个克服所有问题的微处理器API。这是一个勉强通过付费API访问前夕的基本概念的例叔父，我们实计这样的例叔父会愈发不够加普遍。

10、DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale | Website

By Samyam Rajbhandari et al.

在过去的一年之中，专业人士混搭 (MoE) 已踏入扩展大现阶段母语基本概念的除此以外策略。关键概念很直观：在推理前夕仅通过基本概念内的叔父轨迹路由读写，这样在每个必需之中只用以一小部分基本概念模板。但目前此类种系统的构建内容依然很混乱，并且有数对密集基本概念（例如推理速度）的严重权衡。

DeepSpeed-MoE（即将在 GitHub 上OpenBSD）是 Microsoft 的 DeepSpeed 努的除此以外旧版，借以使分布式最深处修习体能训练愈发直观高效。

笔记展示了MoE 的展现出：不够高效的体能训练——据估计 5 倍——以及不够好的模板生产成本。

这篇博士论文还深入探讨了什么结构设计选项能让moe人学得不够好。例如，含水的专业人士多一些，还是深层的专业人士多一些?降低基本概念容量，是降低每个专业人士的容量还是降低专业人士的数量?虽然这些问题还未实际上的究竟，但本文通过实战经验探索了这些结构设计选项的权衡，将它们纸盒在通用PR-MoE(Pyramid Residual MoE)下。他们的PR-MoE的基本形态如下图右图，其之中有数一个变化的“专业人士宽度”以及MLP的残差连接。

虽然 MoE 依然不是主流，但如果克服了构建和结构设计的性，它们有确实踏入下一代大现阶段基本概念的规范。

笔记：Sergi Castella i Sapé