youxai()

对于自然语言处理领域来说，2019年是惊人的一年！

在本文中，《AI科技评论》将盘点2019年NLP和ML中的大事，涵盖有价值的论文、文章、工程工作、年度报告等。，并呈现一波值得关注和学习的课程和书籍资源。

鉴于所有的大事件，本文在每一个细节上都给大家附上了相关链接，诚意满满！

一、重要工作一览

2019年，谷歌人工智能部门发布了一个轻量级的BERT模型——Albert(论文:Albert:一个用于语言重新表示的自监督学习的lite Bert)，用于上下文语言表示的自监督学习任务。该模型的主要改进是减少冗余，更有效地分配模型的容量。该方法在12个自然语言处理任务中取得了最先进的性能。

2019年初，Nvidia研究人员发表了一篇著名论文“StyleGAN”，提出了一种基于风格转移方法的可选GAN生成架构。然后在论文《stylegan的图像质量分析与改进》中，他们对StyleGAN进行了改进，重新设计了生成器的归一化流程。

图1:前一行是目标图像，下一行是合成图像。

Code2Seq是2019年出版的一部很有意思的作品。它是一种基于结构化代码表示的自然语言序列生成方法。Code2Seq可以实现代码自动摘要和文档生成。

有没有想过为生物医学文本挖掘训练一个生物医学语言模型？2019年，研究人员提出了一种从生物医学文献中提取重要信息的情境化方法——Biobert。

在BERT发布后，脸书的研究人员立即发布了RoBERTa，它引入了一种新的优化方法来改进BERT，并在自然语言处理的各种比较基准上取得了最先进的实验结果。

脸书人工智能研究所的研究人员最近发布了一种基于“用持久记忆增强自我注意力”的方法，以提高变压器语言模型的效率。研究小组还提出了一种使用自然语言来教会人工智能系统如何制定计划的方法(通过基因评级和遵循自然语言指令进行分层决策)。

图2:全注意力层示意图

可解释性仍然是机器学习和自然语言处理领域的一个重要课题。论文《可解释的人工智能(XAI):概念、分类法、机遇和挑战Tower Responsible AI》给出了可解释性、分类标准和未来可能的研究方向的总结。

Sebastian Ruder在其发表的论文《自然语言处理的神经迁移学习》中提出了自然语言处理的神经迁移学习。

一些研究者从生成会话模型出发，利用迁移学习开发了一种会话情感识别方法，可以实现情感会话的生成。另一个相关的工作是DialogueGCN:一个用于对话中情感识别的图卷积神经网络，它使用了一个名为DialogueGCN的图神经网络方法来检测对话中的情感。

谷歌的人工智能量子计算团队在《自然》杂志上发表了一篇论文《使用可编程超导处理器的量子优势》。他们声称他们已经开发出了一台比世界上最大的超级计算机还要快的量子计算机。

如上所述，可解释性是神经网络架构领域中需要大量改进的领域之一。“注意不是不解释”一文讨论了注意机制作为语言建模中一种可靠的可解释手段的局限性。

神经逻辑机器的工作提出了一种“神经-符号”网络架构，可以在归纳学习和逻辑推理方面取得良好的性能。该模型在数组排序和寻找最短路径方面表现良好。

图3:神经逻辑机器的架构

在使用转换器语言模型的抽象和抽象神经文档摘要方面，本文将转换器语言模型应用于提取和抽象神经文档摘要的任务。

在“通过比较建立机器学习模型”的论文中，研究人员还开发了一种方法，专注于通过比较来构建和训练机器学习模型。这种技术不需要大量的“特征-标签”数据对，而是将图像与模型之前见过的图像进行比较，以确定是否应该给图像赋予某种标签。

Nelson Liu和他的研究伙伴发表了一篇论文《语言知识和语境表征的可转移性》，讨论了通过预先训练的语境模型(如BERT和ELMo)获得的语言知识的类型。

XLNet是自然语言处理任务的预训练方法。与BERT相比，在20个任务上有了进一步的提升。关于这部优秀作品的总结，请参考:https://medium . com/dair-ai/XL net-performances-Bert-on-severe-NLP-tasks-9ec 867 bb 563 b。

DeepMind的论文“学习和评估一般语言智能”报告了一项广泛的实证研究的结果，旨在评估应用于各种任务的语言理解模型。这种广泛的分析对于更好地理解语言模型获得的内容非常重要，从而提高它们的效率。

VisualBERT是一个简单而健壮的框架，用于建模“视觉语言”任务(包括VQA和Flickr30K等)。).这种方法利用堆叠的变形层和注意力机制将文本片段中的元素与图像区域对齐。

《调还是不调？使预先训练的演示适应多样化的任务”通过详细的分析比较了自然语言处理中的各种迁移学习方法，并给自然语言处理的从业者提供了建议。

在《Bert有嘴，它必须说话:Bert作为马尔可夫随机场语言模型》中，王敬实Kyunghyun提出了一个可以生成高质量流畅语言的BERT实现。

脸书研究人员发布了“XLM”的PyTorch实现代码(https://github.com/facebookresearch/XLM)，这是一个跨语言模型预训练的模型。

RL在NMT:好的，坏的，丑的全面分析了神经机器翻译的强化学习算法。

在JAIR发表的跨语言单词嵌入模型调查中，对跨语言单词嵌入模型的训练、评估和使用进行了全面总结。

GradientPlatform发表了一篇优秀的博文《分层强化学习的承诺》，详细解释了当前强化学习的局限性，同时也给出了通过分层强化学习解决这些问题的潜在途径。

不久，一些研究人员也在以下网站发布了一系列优秀的入门强化学习教程:

https://github . com/araffin/rl-tutorial-jnrr 19/blob/master/1 _ getting _ started . ipynb

《语境词表征:语境导论》一文简要介绍了语境化词的表征方法。

二、创意和社会性的研究

机器学习技术已经被广泛用于解决现实世界中的问题，但另一方面，人们也以一些有趣和有创意的方式使用机器学习。学习机器创造力与人工智能领域的其他类型的研究一样重要，因为归根结底，我们希望建立一个能够帮助我们塑造我们的文化和社会的人工智能系统。

2019年底，Gary Marcus和Yoshua Bengio就深度学习、符号人工智能和混合人工智能系统进行了激烈的辩论。

2019 AI指数报告终于出炉了。它全面分析了人工智能的现状，并让读者更好地了解人工智能领域的整体进展。

常识仍然是一个重要的研究领域，因为我们想要建立的人工智能系统不仅应该能够根据我们所拥有的数据做出预测，还应该能够理解和推理这些决定。这项技术可以用于人工智能对话系统，旨在使智能体能够与人类进行更自然的对话。Nasrin Mostafazadeh在“人工智能讲故事的艺术:一个30岁以下的科学家如何教授设备进行假设”的采访中，讨论了尝试推理的应用，其中涉及故事描述和语言理解。

也可以参考论文自己解释！利用语言模型进行常识推理”来了解如何使用语言模型进行常识推理。

Activation Atlas是由谷歌和Open AI的研究人员开发的一项技术，旨在更好地理解和可视化神经网络中神经元之间的交互。

图4:4:Inception V1分类网络的激活图谱显示了许多完全实现的特征(例如，电子产品、建筑、食物、动物耳朵、植物和水的背景)

此外，2019年图灵奖获奖者Geoffery Hinton和Yann LeCun的获奖演讲(地址:https://fcrc.acm.org/turing-lecture-at-fcrc-2019)也值得一读。Yoshua Bengio也分享了图灵奖。

用机器学习应对气候变化讨论了如何使用机器学习应对气候变化。

OpenAI发表了一份内容丰富的报告《发布策略和语言模型的社会影响》，讨论了语言模型对社会的影响，包括有益的使用和潜在的技术滥用。

情感分析技术仍然被广泛使用。Mojifier是一个很酷的项目。它可以通过观察来检测图像中的情绪，并用与检测到的情绪相匹配的表情来代替人脸。

利用人工智能技术开展影像研究也是2019年的一大趋势。论文《放射影像与机器学习:趋势、观点和展望》总结了该研究领域的发展趋势和前景。

纽约大学的研究人员还发布了PyTorch实现的深度神经网络，以提高成像专家在乳腺癌筛查中的性能。MIMIC-CXR是一个重要的数据集，它包含了胸片和影像文本报告的数据库。

《纽约时报》写了一篇关于凯伦·斯帕克·琼斯的文章(https://www . nytimes . com/2019/01/02/讣告/Karen-Spark-Jones-looked-over . html)，回忆她在自然语言处理和信息检索方面的开创性贡献。

Open Five成为第一个在电子竞技比赛中击败世界冠军的人工智能系统。

《全球人工智能人才报告》详细报告了世界范围内的人工智能人才储备和全球对人工智能的需求。

DeepMind团队建立了一个很棒的播客，订阅者可以在这里讨论前沿的人工智能话题。地址:

https://deepmind.com/blog?过滤器= % 7B %类别% 22:% 5B % 22播客%22%5D%7D)

关于人工智能的潜力，戴密斯·哈萨比斯接受了《经济学人》的采访，他在采访中谈到了一些未来主义的想法，比如利用人工智能来扩展人类的思维，或许还能找到重要科学问题的解决方案。

2019年，机器学习在健康领域的应用也取得了重大进展。例如，马萨诸塞州的研究人员开发了一种人工智能系统，可以像人类一样准确地检测脑出血。

图5:人工智能系统分析得到的大脑扫描结果。

Janelle Shane总结了一组“奇怪”的实验，并展示了机器学习如何以创造性的方式进行有趣的实验。有时候，这种实验需要真正理解人工智能系统在做什么(和不做什么)。其中一些实验包括生成“假蛇”的图像和讲笑话。

图6:蛇的种类

《地球到系外行星:用机器学习寻找行星》这篇文章试图通过使用TensorFlow平台上构建的机器学习模型来寻找行星。

在《更好的语言模型及其含义》一文中，OpenAI讨论了发布大规模无监督语言模型的影响(包括潜在的恶意用例)。

一本名为《使用Nucleus和TensorFlow进行DNA测序纠错》的Colab笔记本，对如何使用Nucleus和TensorFlow进行“DNA测序纠错”做了很棒的介绍。有关使用深度学习架构进行DNA探索的更多详细信息，请参考博文:https://blog . floydhub . com/exploring-DNA-with-deep-learning/。

图7:我们将基于共识的DNA序列纠错任务正式定义为多类别分类问题。通过使用Nucleus，我们构建了全基因组标准化基础技术矩阵。TensorFlow允许我们训练一个神经网络来预测窗口中间的正确基数。

亚历山大·拉什是哈佛大学自然语言处理研究员。他写了一篇关于张量问题的重要文章，张量被认为是有害的，并指出现有的数据库是如何暴露这些问题的。他还对张量指数的命名提出了一些建议。

三、工具和数据集

这部分将重点介绍与软件和数据集相关的事件，这些事件对自然语言处理和机器学习的研究和工程化有很大的帮助。

拥抱脸发布了一个基于PyTorch的流行库“PyTorch-Transformer”。它使得许多自然语言处理的实践者和研究人员可以很容易地使用最先进的通用框架(如伯特、GPT-2和XLM等)。).如果你对如何使用pytorch-transformers感兴趣，请参考Roberto Silveira的教程(https://rsilveira79.github.io/teaching _毕业生/机器_学习/NLP/py torch/py torch-transformer-squad/)，该教程描述了如何使用这个库进行机器理解。

图8:拥抱脸的pytorch变形金刚

2019年，谷歌发布了TensorFlow 2.0，引入了一些新功能。有关最佳实践的更多信息，请参考:https://medium . com/tensor flow/effective-tensor flow-2-0-best-practices-and-what-changed-a0ca 48767 aff。Francois Chollet也写过一篇关于这些新功能的详细概述:https://colab . research . Google . com/drive/1 ucjt 8 eyjlzcs 1 h1 D1 x 0 idgyjshkwu-no。

同时，新发布的PyTorch 1.3还包含了很多新功能，包括命名张量和其他前端改进。

艾伦人工智能研究所发布了“Iconary”，这是一个可以和人类玩猜谜游戏的人工智能系统。这项工作结合了视觉/语言学习系统和常识推理。与此同时，他们还出版了常识推理的新标杆《腹-NLI》。

spaCy发布了一个新的代码库，它将Transformer语言模型合并到SpaCy中，这样就可以在spaCy NLP工作流中提取和使用特性。本作基于拥抱脸开发的变形金刚库。马克西米利安·罗伯蒂(Maximilien Roberti)还写了一篇博文“Fastai with Hugging Face Transformers(Bert，Roberta，XLNET，XLM，Distilbert)”，讲述如何将fast.ai的代码与pytorch-transformers结合起来。

脸书的人工智能团队发布了物理推理的比较基准“PHYRE”，旨在通过组合各种物理问题来测试人工智能系统的物理推理能力。

图9:9:PHYRE-B层的示意图

斯坦福自然语言处理小组发布了用于自然语言分析的Python代码库“StanfordNLP 0.2.0”。可以对70多种不同的语言进行不同类型的语言分析(例如:词性恢复和词性标注识别)。

GQA是一个视觉问答数据集，用于支持与视觉推理相关的研究。

ExBERT是探索变压器语言模型嵌入和注意机制的可视化工具。原始论文是Exbert:一个探索变形金刚模型中学习表征的可视化分析工具。

图10:ex Bert的工作图

一篇关于如何可视化循环神经网络(RNN)中的记忆内容的论文“在RNNs中可视化记忆”发表在了蒸馏平台上。

Mathpix工具可以让你拍一张公式的照片，然后自动为你生成公式的Latex代码。

图11:Mathpix的工作图

Parl.ai平台可以托管许多流行的数据集，用于涉及人工智能对话系统的工作。

优步的研究人员发布了开源工具Ludwig，用户只需几行代码就可以轻松训练和测试深度学习模型，旨在避免模型训练和测试过程中的任何编码工作。

谷歌的人工智能研究人员发布了Natural Questions，这是一个用于训练和评估开放领域问答系统的大规模语料库。

四、必看论文和博客文章

2019年，数据科学作家和爱好者数量激增。这对我们的研究领域非常有利，也鼓励研究界进行健康的讨论和研究。

以下是一些有趣的必看论文和博客帖子:

克里斯蒂安·佩罗尼介绍了最大似然估计(MLE)和最大后验估计(MAP)，这是理解模型参数估计的重要原则。

中野Reiichiro Nakano发表了一篇博文《对抗性鲁棒分类器的神经风格迁移》，讨论了对抗性鲁棒分类器的神经风格迁移。

Saif M. Mohammad写了一系列文章(阅读地址:https://medium.com/@nlpscholar/state-of-nlp-cbf768492f90)讨论对ACL论文接受情况的历时性分析。

图12:以上数字分别显示了学术研究花费的平均和中位数时间，以及首次发表论文的人数占总人数的比例。

有一个问题值得思考:语言模型可以学习语法吗？“用结构探针寻找语法”使用了结构化检测技术，旨在表明通过使用上下文表示和树结构搜索的方法来实现这一目标是可能的。

Andrej Karpathy写了一篇博文《训练神经网络的秘方》，总结了如何高效训练神经网络的最佳实践和方法。

谷歌人工智能部门的研究人员与其他研究人员合作，使用BERT模型来提高对搜索的理解。像BERT这样的上下文化方法可以理解搜索查询背后的意图。

修正的Adam (RADAM)是基于Adam优化器的一种新的优化技术，有助于改进人工智能的体系结构。研究人员在提出更好、更稳定的优化器方面做了一些工作，但作者声称他们关心优化的其他方面，这些方面对改善收敛性同样重要。

随着近年来机器学习工具的快速发展，关于如何实现能够解决实际问题的机器学习系统的讨论越来越多。Chip Huyen写过《机器学习系统设计》，重点是超参数调优、数据流水线等话题。

Nvidia打破了创建最大语言模型的记录，该模型训练了数十亿个参数。

Abigail See写了一篇博客文章“什么是好的对话？，讨论了如何在为执行自然语言生成任务而开发的系统环境中实现良好的人机对话。

谷歌的人工智能团队发布了两个自然语言对话数据集，旨在通过使用更复杂、更自然的对话数据集来提高数字助理等对话应用的个性化。

深度学习仍然是人工智能领域讨论最广泛的话题之一，它甚至吸引了心理学和神经科学的兴趣。在《认知科学趋势》发表的论文《强化学习，快与慢》中，介绍了该领域的一些重要概念。

周欣宇·阿布纳写了一篇博客文章“从变压器中的注意力到胶囊网络中的动态路由”，总结了变压器和胶囊网络背后的主要组件及其连接。Adam Kosiorek还为基于capsule(胶囊网络的无监督版本)的堆叠自编码器撰写了文章“堆叠胶囊自动编码器”，并将其用于目标检测。

图13:两个相邻胶囊层之间的连接，其中下层有三种胶囊，上层有两种胶囊。

研究人员在蒸馏平台上发表了一篇互动文章《高斯过程的可视化探索》，旨在演示高斯过程的可视化探索。

Augustus Odena通过发表在蒸馏平台上的“关于生成性对抗网络的公开问题”，呼吁研究人员解决对抗生成网络(GAN)的重要公开问题。

研究人员使用PyTorch框架实现GCN来区分垃圾邮件发送者。

2019年初，VentureBeat发布了一份由Rumman Chowdury，Hilary Mason，吴恩达和Yan le Cun(https://venturebeat.com/2019/01/02/ ai-predictions-for-2019-from-yann-le Cun-Hilary-Mason-Andrew-ng-and-rum man-Chowdhury/)提出的2019年预测名单。现在，你可以看看他们的预测是否正确。

使用Bert的多标签文本分类提出的模型mighty transformer学习如何调整BERT来执行多标签文本分类任务。

由于BERT的盛行，在过去的几个月里，许多研究人员为BERT开发了一种“压缩”方法，旨在构建一个更快、更小、更高效的内存版本。Mitchell A.Gordon写了“压缩BERT的所有方法”，总结了压缩的类型和围绕这个目标开发的方法。

超级智能仍然是专家们争论的一个重要话题。这个课题需要正确理解框架和政策，并仔细观察。K.Eric Drexler以科技报告的形式撰写了一系列有趣的综合论文《将超智能综合AI服务重构为通用智能》，对于理解围绕超智能话题的一些问题和思考很有帮助。

Eric Jang写了一篇博文《JAX 50行中的元学习》，介绍了元学习的概念，旨在构建和训练一个不仅能预测，还能学习的机器学习模型。

Sebastian Ruder写了一份在https://ruder.io/aaai-2019-highlights/.宣读的2019年AAAI的亮点总结

图神经网络是2019年最热门的话题之一。大卫·麦克(David Mack)写了《用图形神经网络寻找最短路径》，介绍了他们如何利用这项技术和注意力机制一起计算最短路径。

贝叶斯方法仍然是一个有趣的话题，尤其是如何将它们应用到神经网络中，以避免像过拟合这样的常见问题。Kushridhar给出了这个主题的推荐阅读材料清单:https://medium.com/neural空间/贝叶斯神经网络系列-1-需求贝叶斯网络-e209e66b70b2。

图14:以点估计为权重的网络与以概率分布为权重的网络

五、年度话题：人工智能中的道德规范

2019年年中，也许伦理是关于人工智能系统讨论最多的话题之一，包括偏见、公平和透明等问题。关于这一部分，本文将列举一些相关的有趣故事和论文:

论文《限制ml的影响差距需要待遇差距吗？通过在真实数据集上的实验，讨论了应用不同学习过程所获得的结果。

抱抱脸发表了《一个最先进的对话式AI开源的伦理分析》一文，讨论了用于对话式人工智能的开源自然语言处理场景中的道德问题。

随着基于人工智能的技术不断引入社会，量化道德伦理在人工智能研究中的作用非常重要。关于量化和理解伦理在人工智能研究中的作用:时尚会议和期刊的历史记录深入分析了量化道德伦理的措施以及伦理相关研究在领先的人工智能，机器学习和机器人技术中的作用。

发表在NAACL 2019上的论文“猪身上的口红:去偏置方法掩盖了单词嵌入中的系统性性别偏见，但没有消除它们”讨论了去偏置方法如何消除单词嵌入中的性别偏见。

读者可以听听扎卡里·利普顿在他的论文《ML奖学金令人不安的趋势》(https://www.youtube.com/watch？v=A2Jtqi_oa2Y ]).我还总结了这篇有趣的论文:机器学习学术中的故障排除趋势概述。

加里·马库斯(Gary Marcus)和欧内斯特·戴维斯(Ernest Davis)出版了他们的新书《重启人工智能:构建我们可以信任的人工智能》。这本书的主题是讨论我们必须采取的措施，以实现鲁棒的人工智能。

关于人工智能的未来发展，Francois Chollet也写过一篇让人印象深刻的论文《论智能的衡量》。

Andrew Trask在AUO开设了一门关于差分隐私保护、联邦学习和加密人工智能的课程“安全和私人人工智能”。关于隐私的话题，Emma Bluemke写了一篇博文《医学成像中的隐私保护AI:联邦学习、差分隐私和加密计算》，讨论了如何在保护患者隐私的同时训练机器学习模型。

2019年初，姚的博文《人工智能伦理学近期突破性研究论文》给出了包含人工智能伦理学的研究论文列表。虽然这些参考文献的清单从2018年就开始统计了，但相信在今天依然有意义。

六、资源「大礼包」

最后，我们呈现一些2019年新更新的ML/NLP学习资源:

卡内基梅隆大学发布了他们的自然语言处理神经网络课程的教材和教学大纲。

Elvis Saravia和Soujanya茯苓发布了一个名为“NLP-Overview”的项目，旨在为学生和从业者提供应用于自然语言处理的现代深度学习技术的简要概述，包括理论、算法、应用和最新成果(相关地址:https://github . com/Omar sar/NLP _ Overview)。

图15:NLP概述

微软研究院出版了一本关于数据科学基础的免费电子书(免费书籍:数据科学基础(来自微软研究实验室))，内容涵盖了从马尔可夫链蒙特卡罗方法到随机图的所有内容。

《机器学习的数学》是一本免费的电子书，介绍了机器学习中最重要的数学概念。它还包含一些描述机器学习组件的Jupyter笔记本教程。

Jean Gallier和Jocelyn Quaintance为计算机科学和机器学习编写了丰富的免费电子书《代数、拓扑、微分学和优化理论》，其中涵盖了机器学习中使用的数学概念。

斯坦福大学发布《自然语言理解》课程相关视频:

https://www.youtube.com/playlist?列表= ploromvodv 4 robpmcir 6 rnnulfan 56 js 20

OpenAI整理了一份关于如何保持和提高机器学习技能的推荐阅读清单:https://openai.com/blog/learning-day/.显然，他们的员工每天都在通过使用这些方法不断地学习和扩展自己的知识。

图16:open ai员工在学习日做什么？

Adrian Rosebrock出版了一本81页的指南(https://www.pyimagesearch.com/start-here/)，介绍如何使用Python和OpenCV完成计算机视觉任务。

艾米丽·m·本德和亚历克斯·拉斯卡里德斯出版了一本名为《自然语言处理的语言学基础》的书。这本书的主旨是在语义学和语用学的基础上，探讨自然语言处理领域的“意义”是什么。

Elahazan发表了一篇题为《机器学习的优化》的讲稿，旨在用漂亮的数学和符号将机器学习训练呈现为一个优化问题。Deelearning.ai还发表了《神经网络中的参数优化》一文，讨论了使用可视化和交互式方法优化神经网络参数。

Andreas Mueller发布了新的应用机器学习课程视频列表:https://www.youtube.com/playlist? list = PL _ pvmaaaxiqgzqs 2 o i3 owe pt-dpmwTfA .

Fast.ai发布了一个名为“从基础开始深度学习”的新的大规模开放在线课程。

麻省理工学院发布了其深度学习课程介绍的教学视频和大纲:

https://www.youtube.com/playlist?列表= PLT bw 6 njqru-rwp 5 _ _ 7c 0 oivt 26 zgjg 9 ni)

Chip Huyen在Twitter上发布了一系列高质量的机器学习入门免费在线课程:

https://twitter.com/chipro/status/1157772112876060672

安德鲁·特拉斯克(Andrew Trask)发布了他的新书《探索深度学习》(Grokking Deep Learning)。这本书是一本了解神经网络架构的基本构建模块的入门书。

塞巴斯蒂安·拉什卡(Sebastian Raschka)上传了80篇关于如何实现不同深度学习模型(例如RNN和CNN)的笔记(https://github.com/rasbt/deeplearning-models)。最棒的是，这些模型都是使用PyTorch和TensorFlow框架实现的。

教程《从零开始模仿TensorFlow的API来理解tensorflow》可以帮助你深入理解tensor flow的工作机制。克里斯蒂安·佩罗尼也为PyTorch写了一篇教程:

http://blog . Christian perone . com/2018/03/py torch-internal-architecture-tour/

Fast.ai还发布了一门名为NLP入门的课程，主题包括情感分析、主题建模、Transformer等。

Xavier Bresson的演讲讲的是如何利用图卷积网络进行分子生成。视频链接:https://ipam.wistia.com/medias/excbyr8gvv.此外，论文《预训练图形神经网络》也讨论了如何预训练图形神经网络。

就图形神经网络而言，一些工程师使用它们来预测分子和晶体的属性。谷歌的人工智能团队还发表了一篇博文《学习嗅觉:利用深度学习预测分子的嗅觉特性》，解释他们如何利用图形神经网络进行气味预测。如果读者对图形神经网络感兴趣，请参考以下不同图形神经网络及其应用的综合概述:https://arxiv.org/pdf/1812.08434.pdf.

约翰霍普金斯大学的Rene Vidal发布了一个关于PCA等无监督学习方法的视频播放列表:

https://www.youtube.com/playlist?列表= plfinmjnvb 3 waddr H4 qk 2 gcx 25 kglday-

如果你有兴趣将一个预先训练好的TensorFlow模型转换成PyTorch模型，那么Thomas Wolf的这篇博文将会帮助你:

https://medium.com/huggingface/from-tensorflow-to-pytorch-265f40ef2a28

想了解生成式深度学习？大卫·福斯特的新书《生成性深度学习》告诉数据科学家如何使用生成性对抗网络(GAN)和编解码模型来执行绘画、协作、构图等任务。本书附有官方TensorFlow代码库和PyTorch版本代码。

下面的Colab笔记本文件包含代码块来实现和学习因果推理的概念(如干预、反事实等)。):

https://colab . research . Google . com/drive/1 rjjja 7 teizvhjcmtvd 8 klznu 3 ejs 7 DMU # scroll to = t 9 xtzftj 1 uwf

NAACL 2019《自然语言处理中的迁移学习》教程材料的链接由Sebastian Ruder、Matthew Peters、Swabha Swayamdipta、Thomas Wolf等提供。:https://github.com/huggingface/naacl _转学_学习_教程。他们还提供了一个配套的Google Colab笔记本文件作为入门指南:

https://colab . research . Google . com/drive/1 idhcyrwswikp-n-pog 69 xlozo 09 megf

Jay Alammar发表了一篇关于数据表示的博客文章，直观地介绍了Numpy和数据表示。他还写了许多有趣的插图指南:

https://jalammar.github.io/illustrated-gpt2/ GPT 2号

BERT:http://jalammar . github . io/a-visual-guide-to-use-BERT-first-time/

Peter Bloem还发表了一篇非常详细的博文《从零开始的变形金刚》，解释了变形金刚的组件。

图18:自我注意机制示意图

在《自然语言处理趋势:ACL 2019回顾》中，Mihail Eric很好的概述了ACL 2019中自然语言处理的发展趋势。相关主题包括将知识引入自然语言处理架构、可解释性、减少偏见等。如果读者对此感兴趣，请参见:

https://medium . com/@ mgalkin/knowledge-graphs-in-natural-language-processing-ACL-2019-7a 14 EB 20 FCE 8

http://noecasas.com/post/acl2019/

斯坦福大学发布了CS231n 2019版的完整教学大纲:

http://cs231n.stanford.edu/syllabus.html

大卫·阿贝尔发布了一系列ICLR 2019的笔记:https://david-abel.github.io/notes/iclr_2019.pdf.他还对NeurIPS 2019做了很好的总结:

https://david-abel.github.io/notes/neurips_2019.pdf

动手深度学习是一本很棒的书，向读者介绍了深度学习的相关知识，并附有笔记本代码。

图19:动手深度学习

伯特、埃尔莫、自然语言处理的迁移学习的例证，请参考http://jalammar.github.io/illustrated-bert/.

图20:自然语言处理中的迁移学习

Fast.ai发布了2019版课程《程序员使用深度学习》。

Pieabbeel和其他人教授的深度无监督学习课程的链接如下:

https://sites.google.com/view/berkeley-cs294-158-sp19/home

Gilbert Strang发布了一本关于线性代数和神经网络的新书:

http://math.mit.edu/~gs/learningfromdata/

加州理工学院发布了一份完整的教学大纲、课程幻灯片和视频播放列表，介绍了他们的机器学习基础课程:

http://tensorlab.cms.caltech.edu/users/anima/cs165.html

Scipy讲义是一套教程，教你如何掌握matplotlib、Numpy和scipy等工具。

如果读者想了解高斯过程，请参考教程了解高斯过程和附带的代码。

Lilian Wang在他的博文《广义语言模型》中深入介绍了生成语言模型(如ULMFit、OpenAI GPT-2、BERT)，这是一篇必读的文章。

“有代码的论文”网站展示了部分精选的机器学习论文及其代码，并给出了目前最先进模型的结果。

Christoph Molnar发布了第一版的可解释机器学习，这是一本关于用来更好地解释机器学习算法的重要技术的书。

David Bamman发布了加州大学伯克利分校自然语言处理课程的完整教学大纲和幻灯片:

http://people.ischool.berkeley.edu/~dbamman/nlp18.html

加州大学伯克利分校发布了他们应用自然语言处理课程的所有材料:

https://github.com/dbamman/anlp19

Aerin Kim是微软的高级研究工程师。他写过一系列与应用数学和深度学习相关的文章:https://towardsdatascience.com/@aerinykim.其主题主要包括条件独立、伽玛分布、复杂性等。

泰-沈佳凝·布拉德利的博客“矩阵作为张量网络图”讨论了如何思考矩阵和张量。本文使用了一些很酷的可视化效果，这有助于更好地理解矩阵上执行的一些转换和操作。

图21:矩阵和张量

2019年过去了。2020年，AI行业的两大主力ML和NLP将迎来哪些历史性时刻和值得关注的作品？让我们拭目以待！

https://medium . com/dair-ai/NLP-年度回顾-2019-fb8d523bcb19

via:https://medium . com/dair-ai/NLP-年度回顾-2019-fb8d523bcb19