一种新兴的思路是近传感器处理。例如索尼提出的“智能视觉传感器”将图像传感器与一个简单的DNN加速器通过3D堆叠技术集成在一起。这样传感器在捕获图像后可以直接在片上完成初步分析并只输出元数据如“猫”或经过裁剪处理的感兴趣区域而不是完整的图像数据。这能极大减少后续流水线的数据量节省存储、传输和处理的能量。总结本节课中我们一起学习了机器学习系统部署中预处理和后处理的重要性。我们了解到由于阿姆达尔定律的存在仅优化深度神经网络本身往往无法获得线性的端到端系统性能提升。系统栈的各个层级包括部署、应用流水线和硬件架构都会引入显著开销。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/8ca8471a65107fd9d6f600aa1b8f8356_11.png我们探讨了多种应对策略从硬件层面的计算-传输重叠、加速器直连到算法层面的协同设计以减少预处理再到移动设备上的端云协同和传感器端的智能处理。这些思路表明构建高效的机器学习系统需要跨领域的协同优化综合考虑算法、软件、硬件和系统架构。机器学习硬件和系统017分布式训练https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_1.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_3.png在本节课中我们将要学习分布式训练的核心概念。当模型过大无法放入单个GPU内存或训练速度过慢时我们需要使用多个设备协同工作。我们将探讨两种主要的并行化策略模型并行与数据并行并了解如何通过梯度压缩和先进的网络拓扑来优化设备间的通信。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_5.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_7.png硬件发展背景与动机https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_9.png上一节我们介绍了大规模模型对硬件的需求。本节中我们来看看最新的硬件如何推动分布式训练的发展。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_11.pngNVIDIA近期发布了基于Hopper架构的H100 GPU。与上一代A100相比H100在训练如GPT-3这样的大模型时声称能带来近7倍的性能提升和高达30倍的吞吐量提升。性能飞跃的背后存在一些关键变化。H100的功耗达到了700瓦远高于A100的400瓦同时制程工艺从7纳米升级到了4纳米。这表明部分性能提升是通过增加功耗和提升制程密度实现的。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_13.png另一个重要转变是对数值格式的侧重。H100架构加强了对FP88位浮点数格式的支持这与传统的INT88位整数量化不同。FP8格式包含指数和尾数能提供更大的动态范围但其在数轴上的表示点并非均匀分布可以看作一种非线性量化。这种格式的引入是为了更好地适应现代大模型的训练需求。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_15.png此外如何将多个GPU高效连接成集群或超级计算机也是当前硬件发展的重点这与我们今天要讨论的分布式训练中的通信问题直接相关。为什么需要分布式训练使用单个GPU进行训练主要面临两个限制计算速度限制单个GPU每秒能执行的乘加运算次数是有限的。内存容量限制GPU的显存必须能容纳模型参数、前向激活值、反向梯度、优化器状态以及小批量数据。当模型过大或批量设置导致所需内存超过显存时单卡训练就无法进行。以GPT-31750亿参数为例其规模已远超早期的AlexNet百万级参数。为了训练此类大模型或处理图像、视频等多模态数据我们必须采用多设备并行训练。分布式训练已成为必需而非可选的技术。分布式训练的三种核心方法https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_17.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_19.png以下是实现分布式训练的三种核心思路。1. 模型并行当模型过大无法放入单个GPU内存时我们需要使用模型并行。其核心思想是将模型的不同部分放置在不同的GPU上。具体流程如下将输入数据移至GPU0。在GPU0上计算模型第一部分的前向传播。将GPU0输出的激活值一个大张量移至GPU1。在GPU1上计算模型第二部分的前向传播并计算损失。在GPU1上开始反向传播计算梯度。将GPU1上的梯度移回GPU0。在GPU0上完成剩余部分的反向传播。更新所有参数。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_21.png在代码中使用PyTorch时通过tensor.to(device)命令如tensor.to(‘cuda:1’)可以方便地在设备间移动数据。一个简单的模型并行代码示例如下# 将网络的第一部分放在GPU0上net1.to(‘cuda:0’)# 将网络的第二部分放在GPU1上net2.to(‘cuda:1’)https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_23.png# 前向传播inputinput.to(‘cuda:0’)intermediatenet1(input)intermediateintermediate.to(‘cuda:1’)# 移动激活值outputnet2(intermediate)模型并行的主要挑战在于通信开销设备间移动激活值和梯度需要时间。设备闲置由于计算依赖GPU1必须等待GPU0完成计算后才能开始工作容易造成设备利用率不足。负载均衡需要手动划分模型尽量使不同GPU上的计算负载均衡。因此模型并行通常只在模型无法放入单卡内存时使用。2. 数据并行当模型可以放入单个GPU内存但希望通过增加批量大小来加速训练时我们使用数据并行。其核心思想是将一个小批量数据拆分到多个GPU上并行处理。具体流程如下将同一模型副本复制到每个GPU上。将小批量数据平均分给每个GPU。每个GPU独立进行前向传播和反向传播计算本地梯度。聚合所有GPU的梯度并计算平均梯度。每个GPU使用平均梯度更新其模型参数。关键问题在于如何高效地聚合梯度。最初的方法是All-Reduce全规约即每个GPU需要将自己的梯度广播给所有其他GPU。如果有N个GPU每个梯度大小为K那么每个GPU需要发送K*(N-1)的数据量。通信成本随GPU数量线性增长扩展性差。为了改进人们引入了参数服务器架构。指定一个或一组GPU作为服务器工作GPU将梯度发送给服务器服务器聚合梯度后再将结果广播回所有工作GPU。这减少了工作GPU的通信量但服务器的通信负载变为K*N仍存在瓶颈。通过使用多个参数服务器S个可以分摊负载使每个服务器的通信量降至约K*N/S。目前最流行且扩展性更好的方法是环全规约。它将All-Reduce操作分解为两个阶段Reduce-Scatter规约散播和All-Gather全收集。Reduce-Scatter每个GPU将自身的梯度数组分成N块。通过环状连接GPU依次传递并累加这些块。经过N-1步后每个GPU拥有完整梯度总和的一部分。All-Gather每个GPU将其拥有的那块总和部分再次通过环状连接广播给所有其他GPU。经过N-1步后所有GPU都拥有了完整的梯度总和。环全规约的优点是每个GPU的通信量约为2K发送和接收各约K数据且与GPU数量N无关具有极佳的扩展性。主流框架如Horovod即采用此方法。数据并行还有同步与异步之分同步训练等待所有GPU计算完毕聚合梯度后再更新参数。这是最常用的方式收敛行为可预测。异步训练任一GPU计算完梯度后立即更新中心参数服务器其他GPU使用可能过时的参数进行计算。虽然延迟更低但可能影响收敛速度和最终精度目前较少使用。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_25.png3. 梯度压缩https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_27.png即使采用环全规约通信量仍与梯度大小K成正比。梯度压缩技术旨在减少K的有效大小从而降低通信开销。主要方法有量化例如将32位浮点梯度量化为8位或4位进行传输训练完成后再恢复。这通常能带来约2倍的加速有时还能起到正则化效果。剪枝只传输绝对值较大的梯度将小梯度置零。由于零值可以高效压缩如游程编码能大幅减少通信量。研究表明即使剪枝90%的梯度模型精度也可能基本不受影响。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_29.png前沿架构与总结https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_31.png传统的加速器GPU通过CPU和PCIe总线连接与通信。新兴的架构试图改变这一点例如微软在数据中心部署的FPGA方案将FPGA直接置于网络交换机上。数据在到达CPU之前即可被FPGA处理计算结果也可直接通过网络发送给其他FPGA避免了CPU和PCIe的延迟与不确定性开销。NVIDIA的新方案也体现了类似思路推出了将GPU直接与网络接口卡相连的产品旨在优化分布式训练中的通信路径。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_33.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_35.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/a81237bbdc071e2cb7be0f2da02642aa_37.png本节课中我们一起学习了分布式训练的核心方法。我们了解到模型并行用于解决内存不足问题数据并行用于加速训练而环全规约是高效实现数据并行的关键算法。此外通过梯度压缩可以进一步减少通信开销。最后硬件架构的演进如直接网络连接正在为超大规模分布式训练提供新的可能性。掌握这些知识是理解和设计现代机器学习系统的重要基础。机器学习硬件和系统018联邦学习在本节课中我们将要学习一个非常有趣的主题——联邦学习。我们将探讨它如何将分布式训练的思想扩展到更多设备和用户并了解其独特的要求和挑战。上一节我们介绍了分布式训练及其通信成本问题。本节中我们来看看联邦学习它本质上是分布式训练的一种形式但具有非常不同的要求和应用场景。联邦学习概述联邦学习是一种分布式训练方法其核心思想是利用大量用户设备上持续生成的数据来训练一个中央模型而无需将原始数据上传到中央服务器。联邦学习与分布式训练的区别以下是联邦学习与分布式训练的主要区别设备异构性联邦学习中的设备类型差异巨大从旧款手机到最新智能手机甚至智能手表和增强现实眼镜。通信链路设备可能通过Wi-Fi、3G、4G或5G等不同网络连接且连接不稳定、不可靠。设备数量联邦学习面向数百万甚至数十亿台设备规模远超分布式训练中通常的数十或数百个GPU。数据分布每个设备上的数据分布通常不同且不具代表性这被称为非独立同分布数据。设计目标联邦学习强调数据隐私和系统可扩展性而分布式训练更侧重于训练速度。总而言之联邦学习的目标是在无法直接访问数据、且能扩展到海量设备的情况下利用持续生成的数据训练模型。设备端训练的挑战在深入算法之前需要认识到设备端训练面临硬件限制。目前手机等设备可以进行推理但进行复杂模型训练的能力仍然有限。训练通常在设备充电且连接Wi-Fi时进行以节省电量并降低通信成本。联邦平均算法https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/4521b84cfb48d9f292655f4d5048cdad_1.png联邦平均是联邦学习的基础算法其核心步骤是减少通信频率。以下是该算法的步骤https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/4521b84cfb48d9f292655f4d5048cdad_3.png初始化中央服务器初始化一个全局模型。选择设备在每一轮训练中服务器从数百万设备中随机选择一部分例如几千台。分发模型将当前全局模型发送给选中的设备。本地训练每台设备使用本地数据对模型进行多轮训练更新本地模型参数。上传更新设备将更新后的模型参数上传至服务器。聚合更新服务器收集所有更新并根据各设备的数据量进行加权平均更新全局模型。该算法的关键优势在于通过让设备在本地进行多轮训练后再通信将通信成本降低了10到100倍。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/4521b84cfb48d9f292655f4d5048cdad_5.png联邦平均的改进FedProx联邦平均算法存在一些缺点FedProx算法对其进行了两项主要改进以提升效果处理掉队者不直接丢弃未及时完成训练的设备而是接受其部分训练结果。限制参数变化在本地训练的损失函数中增加一个正则化项限制本地模型参数与全局模型的差异防止某些设备的更新过度影响全局模型。这些改进使训练过程更稳定在存在设备掉队或数据不平衡时表现更好。隐私、安全与通信优化尽管联邦学习将数据保留在设备上但隐私和安全仍是重要考量隐私风险研究表明从共享的梯度甚至模型参数更新中也有可能反推出原始数据信息。安全增强采用安全聚合等技术例如在加密状态下对模型更新进行聚合以进一步增强隐私保护。通信优化应用模型压缩、量化和剪枝等标准方法减少传输数据量节省带宽和设备电量。数据标注的挑战监督学习需要标注数据。在联邦学习场景中获取标签主要通过以下方式利用用户反馈例如用户纠正语音识别的转录文本或图像分类标签。激励用户标注引导用户参与标注如相册应用询问照片中的人物或地点。探索无监督学习采用不需要显式标签的学习方法这被认为是未来的发展方向。其他替代方案除了联邦学习还有其他利用用户设备数据训练模型的方法数据卸载直接将数据发送到云端服务器进行训练。优点是避免设备端训练的限制但牺牲了数据隐私并需要强大的云端基础设施。协作式机器学习一种新兴范式旨在在没有中央服务器的情况下通过设备间直接交换更新来协同训练模型。这更具挑战性目前尚未成熟。总结https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/4521b84cfb48d9f292655f4d5048cdad_7.png本节课中我们一起学习了联邦学习。它是一种利用海量设备数据训练中央模型的方法核心步骤包括分发模型、本地训练、聚合更新。我们探讨了联邦平均及其改进算法FedProx并了解了联邦学习在隐私、安全、通信优化和数据标注方面面临的挑战及其解决方案。最后我们还简要了解了数据卸载和协作式机器学习这两种替代方案。机器学习硬件和系统019环境与伦理系统问题https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_1.png在本节课中我们将讨论与机器学习硬件和系统相关的各种环境与伦理问题。我们将聚焦于那些直接与系统和硬件设计相关的议题并探讨为什么作为工程师或计算机科学家的我们需要关注这些问题。环境问题上一节我们介绍了课程的整体框架本节中我们来看看机器学习对环境的具体影响。一个核心问题是训练大型模型如GPT-3所产生的巨大能源消耗和碳排放。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_3.png碳排放的量化https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_5.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_6.png一篇早期论文量化了自然语言处理模型的碳排放。训练一个大型模型所产生的二氧化碳排放量相当于一辆汽车整个生命周期排放量的两倍。而随着模型规模扩大最新模型的碳排放量已增长到约10辆汽车的排放量。这引发了一个重要问题我们是否应该继续这种做法在进一步推进之前我们现有的效率技术是否足以减轻这些影响能源来源与缓解措施碳排放的严重程度很大程度上取决于能源的来源。数据中心的能源可能来自可再生能源、核能、煤炭或天然气。因此将数据中心设在可再生能源丰富的地区或购买碳信用额度如植树或投资清洁能源项目是抵消碳排放的有效方法。以下是几种主要的缓解策略https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_8.png使用更高效的模型通过神经架构搜索、剪枝、量化等技术设计更高效的神经网络。开发专用芯片与通用GPU相比专用加速器如TPU能显著提高能效。提升数据中心效率优化数据中心的能源使用效率。创新数据中心设计例如微软曾实验将数据中心沉入海底利用海水冷却并发现其可靠性更高。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_10.png能效指标PUEhttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_12.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_14.png在评估数据中心效率时一个关键指标是PUE。PUE 数据中心总能耗 / IT设备能耗https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_16.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_18.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_20.pngPUE值越接近1表示数据中心的能效越高。例如谷歌曾报告其数据中心的PUE低至1.16而行业平均水平通常在1.4到1.6之间。分布式学习的能效联邦学习联邦学习将训练任务分散到用户的移动设备上。直观上看这似乎更节能但研究发现了相反的结果。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_22.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_24.png与在高效的数据中心进行集中式训练相比联邦学习由于通信开销和设备端芯片效率较低总能耗通常更高。不过通过改进训练算法有可能降低其能耗。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_26.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_28.png全球能源消耗背景信息与通信技术ICT部门目前消耗全球约3%的能源。虽然这个数字目前低于航空业但预计在未来十年内可能增长到20%。考虑到AI技术的快速普及确保其可持续发展至关重要。隐含碳与运营碳https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_30.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_32.png我们必须关注的不仅是设备运行时的能耗运营碳还包括制造设备本身所消耗的能源隐含碳。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_34.png对于许多ICT公司制造过程如芯片、显示器产生的碳排放占其总碳足迹的约70%远高于产品使用阶段的排放。这凸显了延长设备寿命、减少“计划性报废”的重要性。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_36.png效率悖论在追求效率时需要警惕“杰文斯悖论”提高某项技术的效率可能会因为其使用成本降低而导致总使用量增加最终反而加剧了对环境的总影响。例如更高效的汽车可能促使更多人购买和使用汽车。伦理问题https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_38.png上一节我们探讨了环境影响本节我们将转向伦理层面。虽然系统设计中的选择可能不直接决定最终用途但工程师需要意识到其工作可能被滥用的风险。技术应用的道德考量https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_40.png“Maven计划”是一个典型案例。谷歌员工在得知他们参与的项目被用于分析军用无人机图像可能用于攻击行动后超过3000名员工联名抗议最终促使谷歌制定了不将AI用于武器的原则。这体现了工程师道德意识的重要性。数据所有权与偏见数据的使用引发了一系列伦理问题数据所有权与许可例如GitHub Copilot等代码生成模型在未经明确许可的情况下使用了受版权保护的开源代码进行训练引发了关于数据所有权和商业使用的争议。算法偏见模型会反映其训练数据中的偏见。例如GPT-3在涉及特定宗教或种族的文本补全中可能生成带有严重偏见的内容。在医疗诊断等关键领域这种偏见可能导致对少数群体的误诊或不公对待。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_42.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_44.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_46.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_48.png研究不平等https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_50.png最后我们讨论一个影响AI生态的问题研究资源的不平等。训练最先进的模型需要巨大的计算资源而这些资源如大型GPU集群主要集中在少数大型科技公司手中。许多学术界的研究人员或小型机构无法获得这些资源这限制了创新的多样性和公平性使得研究进展过度依赖商业公司的利益导向。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_52.png总结https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_54.png本节课中我们一起学习了机器学习硬件和系统领域面临的环境与伦理挑战。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_56.png在环境方面我们探讨了训练大型模型的碳足迹、能效指标PUE、隐含碳的重要性以及效率提升可能带来的“杰文斯悖论”。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_58.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_59.png在伦理方面我们讨论了技术应用的道德责任、数据偏见的所有权问题以及算法公平性的重要性。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_61.pnghttps://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_63.png最后我们指出了当前AI研究领域存在的资源不平等问题。https://github.com/OpenDocCN/dsai-notes-pt3-zh/raw/master/docs/crnl-ece5545-ml-hw-sys/img/946aa145026843f6ea544408e1a52e58_65.png作为未来的工程师和研究者在设计系统和硬件时我们不仅要考虑性能和效率还必须将这些环境和伦理因素纳入考量以推动技术向更可持续、更公平的方向发展。
