分布式机器学习——系统、工程与实战

作者: 柳浩　著

34.16万字92人正在读

已完结现代当代当代文学

目录 (348章)

倒序

正文

1.1机器学习概念 1.2机器学习的特点 1.3分布式训练的必要性 1.4.1分布式机器学习的目标 1.4.2分布式机器学习的分类 1.5从模型角度看如何并行 1.5.1并行方式 1.5.2数据并行 1.5.3模型并行 1.5.4流水线并行 1.5.5比对 1.6从训练并发角度看如何并行 1.6.1参数分布和通信拓扑 1.6.2模型一致性和通信模式 1.6.3训练分布 1.7分布式机器学习编程接口 1.7.1手动同步更新 1.7.2指定任务和位置 1.7.3猴子补丁优化器 1.7.4Python作用域 1.8PyTorch分布式 1.8.1历史脉络 1.8.2基本概念 1.9总结 2.1通信模式 2.2点对点通信 2.3集合通信 2.3.1Broadcast 2.3.2Scatter 2.3.3Gather 2.3.4All-Gather 2.3.5All-to-All 2.3.6Reduce 2.3.7All-Reduce 2.3.8Reduce-Scatter 2.4MPIAllReduce 2.5RingAll-Reduce 2.5.1特点 2.5.2策略 2.5.3结构 2.5.4Reduce-Scatter 2.5.5All-Gather 2.5.6通信性能 2.5.7区别 3.1.1概念 3.1.2历史渊源 3.1.3问题 3.2基础模块Postoffice 3.2.1基本逻辑 3.2.2系统启动 3.2.3功能实现 3.3通信模块Van 3.3.1功能概述 3.3.2定义 3.3.3初始化 3.3.4接收消息 3.4代理人Customer 3.4.1基本思路 3.4.2基础类 3.4.3Customer 3.4.4功能函数 3.5应用节点实现 3.5.1SimpleApp 3.5.2KVServer 3.5.3KVWorker 3.5.4总结第4章PyTorchDataParallel 4.1综述 4.2示例 4.3定义 4.4前向传播 4.5计算损失 4.6反向传播 4.7总结 5.1DDP总述 5.1.1DDP的运行逻辑 5.1.2DDP的使用 5.2设计理念 5.2.1系统设计 5.2.2梯度归约 5.2.3实施 5.3基础概念 5.3.1初始化方法 5.3.2Store类 5.3.3TCPStore类 5.3.4进程组概念 5.3.5构建进程组 5.4架构和初始化 5.4.1架构与迭代流程 5.4.2初始化DDP 第6章PyTorchDDP的动态逻辑 6.1.1调用Reducer类 6.1.2定义Reducer类 6.1.3Bucket类 6.1.4BucketReplica类 6.1.5查询数据结构 6.1.6梯度累积相关成员变量 6.1.7初始化 6.1.8静态图 6.1.9Join操作 6.2前向/反向传播 6.2.1前向传播 6.2.2反向传播(1)6.2.2反向传播(2)6.2.2反向传播(3)第7章Horovod 7.1从使用者角度切入 7.1.1机制概述 7.1.2示例代码 7.1.3运行逻辑 7.2horovodrun 7.2.1入口点 7.2.2运行训练Job 7.2.3Gloo实现 7.2.4MPI实现 7.2.5总结 7.3网络基础和Driver 7.3.1总体架构 7.3.2基础网络服务 7.3.3Driver服务 7.3.4Task服务 7.3.5总结 7.4DistributedOptimizer 7.4.1问题点 7.4.2解决思路 7.4.3TensorFlow1.x 7.5融合框架 7.5.1总体架构 7.5.2算子类体系 7.5.3后台线程 7.5.4执行线程 7.5.5总结 7.6后台线程架构 7.6.1设计要点 7.6.2总体代码 7.6.3业务逻辑第8章GPipe 8.1.1流水线并行 8.1.2GPipe概述 8.1.3计算内存 8.1.4计算算力 8.1.5自动并行 8.2梯度累积 8.2.1基本概念 8.2.2PyTorch实现 8.2.3GPipe实现 8.3Checkpointing 8.3.1问题 8.3.2解决方案 8.3.3OpenAI 8.3.4PyTorch实现 8.3.5GPipe实现第9章PyTorch流水线并行 9.1如何划分模型 9.1.1使用方法 9.1.2自动平衡 9.1.3模型划分 9.2切分数据和Runtime系统 9.2.1分发小批量 9.2.2Runtime 9.3前向计算 9.3.1设计 9.4计算依赖 9.4.1反向传播依赖 9.4.2前向传播依赖 9.5并行计算 9.5.1总体架构 9.5.2并行复制和计算 9.5.3重计算第10章PipeDream之基础架构 10.1总体思路 10.1.1目前问题 10.1.21F1B策略概述 10.1.3流水线方案 10.2profile阶段 10.3计算分区阶段 10.3.1构建图 10.3.2构建反链 10.3.3计算分区 10.3.4分析分区 10.3.5输出 10.4转换模型阶段 10.4.1分离子图 10.4.2转换模型 10.4.3融合模型第11章PipeDream之动态逻辑 11.1Runtime引擎 11.1.1功能 11.1.2总体逻辑 11.1.3加载模型 11.1.4实现 11.2通信模块 11.2.1类定义 11.2.2构建 11.2.3发送和接收 11.31F1B策略 11.3.1设计思路 11.3.2权重问题 11.3.3实现第12章Megatron 12.1设计思路 12.1.1背景 12.1.2张量模型并行 12.1.3并行配置 12.1.4结论 12.2模型并行实现 12.2.1并行MLP 12.2.2ColumnParallelLinear 12.2.3RowParallelLinear 12.2.4总结 12.3如何设置各种并行 12.3.1初始化 12.3.2起始状态 12.3.3设置张量模型并行 12.3.4设置流水线并行 12.3.5设置数据并行 12.3.6模型并行组 12.3.7如何把模型分块到GPU上 12.4Pipedream的流水线刷新第13章PyTorch如何实现模型并行 13.1.1PyTorch特点 13.1.2示例 13.2分布式自动求导之设计 13.2.1分布式RPC框架 13.2.2自动求导记录 13.2.3分布式自动求导上下文 13.2.4分布式反向传播算法 13.2.5分布式优化器 13.3RPC基础 13.3.1RPC代理 13.3.2发送逻辑 13.3.3接收逻辑 13.4上下文相关 13.4.1设计脉络 13.4.2AutogradMetadata 13.4.3DistAutogradContainer 13.4.4DistAutogradContext 13.4.5前向传播交互过程 13.5如何切入引擎 13.5.1反向传播 13.5.2SendRpcBackward 13.5.3总结 13.6.1原生引擎 13.6.2分布式引擎 13.6.3总体执行 13.6.4验证节点和边 13.6.5计算依赖 13.6.6执行GraphTask 13.6.7RPC调用闭环 13.6.8DistAccumulateGradCaptureHook 13.6.9等待完成第14章分布式优化器 14.1原生优化器 14.2DP的优化器 14.3DDP的优化器 14.3.1流程 14.3.2优化器状态 14.4Horovod的优化器 14.4.1利用钩子同步梯度 14.4.2利用step()函数同步梯度 14.5模型并行的分布式问题 14.6PyTorch分布式优化器 14.6.1初始化 14.6.2更新参数 14.7PipeDream分布式优化器 14.7.1如何确定优化参数 14.7.2优化第15章分布式运行环境之静态架构 15.1总体架构 15.1.1集群角度 15.1.2分布式角度 15.1.3系统角度 15.1.4图操作角度 15.1.5通信角度 15.2.1逻辑概念 15.2.2GrpcServer 15.3.1总述 15.3.2接口 15.3.3LocalMaster 15.3.4GrpcRemoteMaster 15.3.5GrpcMasterService 15.3.6业务实现Master类 15.4Worker的静态逻辑 15.4.1逻辑关系 15.4.2GrpcRemoteWorker 15.4.3GrpcWorkerService 15.4.4Worker 15.4.5GrpcWorker 第16章分布式运行环境之动态逻辑 16.1Session机制 16.1.1概述 16.1.2GrpcSession 16.1.3MasterSession 16.1.4WorkerSession 16.2Master动态逻辑 16.2.1Client如何调用 16.2.2Master业务逻辑 16.3.1概述 16.3.2注册子图 16.3.3运行子图 16.3.4分布式计算流程总结 16.4通信机制 16.4.1协调机制 16.4.2发送流程 16.4.3接收流程 16.4.4总结第17章分布式策略基础 17.1.1概述 17.1.2策略类型 17.2DistributedStrategy基础 17.2.1StrategyBase 17.2.2读取数据 17.3分布式变量 17.3.1MirroredVariable(1)17.3.1MirroredVariable(2)17.3.2ShardedVariable 第18章MirroredStrategy 18.1MirroredStrategy集合通信 18.1.1设计思路 18.1.2实现 18.1.3更新分布式变量 18.2MirroredStrategy分发计算 18.2.1运行 18.2.2mirrored_run 18.2.3Context 18.2.4通信协议 18.2.5EagerService 18.2.6在远端运行训练代码 18.2.7总结第19章ParameterServerStrategy 19.1ParameterServerStrategyV1 19.1.1思路 19.1.2数据 19.1.3作用域和变量 19.1.4运行 19.2ParameterServerStrategyV2 19.2.1如何使用 19.2.2运行 19.3.1使用 19.3.2定义 19.3.3数据 19.3.4Cluster 19.3.5Closure 19.3.6队列 19.3.7Worker类 19.3.8Failover 19.3.9总结反侵权盗版声明

精选推荐

领导力法则

[中国纺织出版社]

陆禹萌

已完结当代文学

销售心理学

[中国纺织出版社]

兰华

已完结当代文学

销售就是玩转情商

[中国纺织出版社]

王威

已完结当代文学

销售员情商实战训练

成功的销售需要高智商，更需要高情商。一个销售员的销售业绩，往往与他的情商成正比。本书从十个方面详细讲述了有效运用情商，提高销售业绩的方法和技巧。通过实际销售案例和销售心理学理论指导，以及实战点拨和情商拓展训练，帮助读者全方位、快速提高情商。故事性、多版块、碎片化的内容设置，有效降低读者阅读疲劳，提高阅读兴趣，不论是奔波在路上的销售小白，还是带领团队奋勇向前的销售经理，都能从中找到适合自己的销售软技巧。

刘军

已完结当代文学

让未来的你，感谢现在勇敢的自己

[中国纺织出版社]

王介威

已完结当代文学

行为心理学：华生的实用心理学课

[中国纺织出版社]

（美）约翰·华生著.倪彩

已完结当代文学

行为心理学入门（完全图解版）

行为心理学入门（完全图解版）是以作者多来年的心理辅导和咨询数据为素材，对现实生活中的行为心理学应用进行了形象、深入、全面的论述和解读。本书与日本心理学图解书形式相同，浅显易读，有趣又益。

武莉

已完结当代文学

自卑与超越

《自卑与（全译插图典藏版）》是个体心理学研究领域的著作，也是人本主义心理学先驱阿尔弗雷德·阿德勒的很好著作。阿德勒的学说以“自卑感”与“创造性自我”为中心，并强调“社会意识”。全书立足个人心理学的观点，从教育、家庭、婚姻、伦理、社交等多个领域，以大量的实例为论述基础，阐明了人生意义的真谛，帮助人们克服自卑、不断超自己，正确对待职业，正确理解社会与性。本书直接促进了亲子教育、人格培养、婚姻与爱情、职业生涯、家庭建设、人际关系等诸多领域的长足发展，成为人们了解心理学的经典读物。

（奥）阿尔弗雷德·阿德勒

已完结当代文学

自制力：道理我都懂，为什么就是过不好人生

[中国纺织出版社]

邱开杰

已完结当代文学