前言作为当下最先进的深度学习架构之一Transformer 被广泛应用于自然语言处理领域。它不单替代了以前流行的循环神经网络recurrent neural networkRNN和长短期记忆long short-term memoryLSTM网络并且以它为基础衍生出了诸如 BERT、GPT-3、T5 等知名架构。《BERT基础教程Transformer大模型实战》示意图丰富逐步拆解大模型复杂原理循序渐进引导你亲手训练和理解 BERT 模型。内容全面触类旁通。本书聚焦谷歌公司开发的 BERT 自然语言处理模型由浅入深地介绍了 BERT 的工作原理、BERT 的各种变体及其应用。书中大量的示意图、代码和实例详细解析了如何训练 BERT 模型、如何使用 BERT 模型执行自然语言推理任务、文本摘要任务、问答任务、命名实体识别任务等各种下游任务以及如何将 BERT 模型应用于多种语言。下载当前版本 完整PDF书籍链接获取可以扫描下方二维码免费领取## 作者介绍 苏达哈尔桑·拉维昌迪兰Sudharsan Ravichandiran 热爱开源社区的数据科学家研究方向为深度学习和强化学习的实际应用在自然语言处理和计算机视觉等领域都颇有建树另著有《Python强化学习实战》。读者评价“这本书让没有博士学位的人也能理解 BERT。书中的内容很清楚而且有足够的深度。在开始使用 Transformer 时你会用到这些知识。”“这本书对 BERT 进行了清晰且简洁的概述。通常这类主题讲起来很难但这本书为初出茅庐的算法工程师提供了易懂的 BERT 入门介绍。想跟上技术发展步伐的人会受益于这样的内容。”“这本书详细介绍了 Transformer 架构及其内部机制书中有很多例子。这是一本好书它让对 NLP 有基本了解的人能够进一步学习 BERT 和 Transformer 的知识。”目录第一部分 开始使用 BERT第 1 章 Transformer 概览1.1 Transformer 简介1.2 理解编码器1.3 理解解码器1.4 整合编码器和解码器1.5 训练 Transformer1.6 小结1.7 习题1.8 深入阅读第 2 章 了解 BERT 模型2.1 BERT 的基本理念2.2 BERT 的工作原理2.3 BERT 的配置2.4 BERT 模型预训练2.5 子词词元化算法2.6 小结2.7 习题2.8 深入阅读第 3 章 BERT 实战3.1 预训练的 BERT 模型3.2 从预训练的 BERT 模型中提取嵌入3.3 从 BERT 的所有编码器层中提取嵌入3.4 针对下游任务进行微调3.5 小结3.6 习题3.7 深入阅读第二部分 探索 BERT 变体第 4 章 BERT 变体上ALBERT、RoBERTa、ELECTRA 和 SpanBERT4.1 BERT 的精简版 ALBERT4.2 从 ALBERT 中提取嵌入4.3 了解 RoBERTa4.4 了解 ELECTRA4.5 用 SpanBERT 预测文本段4.6 小结4.7 习题4.8 深入阅读第 5 章 BERT 变体下基于知识蒸馏5.1 知识蒸馏简介5.2 DistilBERT 模型——BERT 模型的知识蒸馏版本5.3 TinyBERT 模型简介5.4 将知识从 BERT 模型迁移到神经网络中5.5 小结5.6 习题5.7 深入阅读第三部分 BERT 模型的应用第 6 章 用于文本摘要任务的BERTSUM 模型6.1 文本摘要任务6.2 为文本摘要任务微调 BERT 模型6.3 理解 ROUGE 评估指标6.4 BERTSUM 模型的性能6.5 训练 BERTSUM 模型6.6 小结6.7 习题6.8 深入阅读第 7 章 将 BERT 模型应用于其他语言7.1 理解多语言 BERT 模型7.2 M-BERT 模型的多语言表现7.3 跨语言模型7.4 理解 XLM-R 模型7.5 特定语言的 BERT 模型7.6 小结7.7 习题7.8 深入阅读第 8 章 Sentence-BERT 模型和特定领域的 BERT 模型8.1 用 Sentence-BERT 模型生成句子特征8.2 sentence-transformers 库8.3 通过知识蒸馏迁移多语言嵌入8.4 特定领域的 BERT 模型ClinicalBERT 模型和BioBERT 模型8.5 小结8.6 习题8.7 深入阅读第 9 章 VideoBERT 模型和BART 模型9.1 VideoBERT 模型学习语言及视频特征9.2 了解 BART 模型9.3 探讨 BERT 库9.4 小结9.5 习题9.6 深入阅读习题参考答案下载当前版本 完整PDF书籍链接获取可以扫描下方二维码免费领取