奇迹小说
搜索历史
MLOps工程实践:工具、技术与企业级应用

MLOps工程实践:工具、技术与企业级应用

作者: 陈雨强等 著

19.08万60人 正在读

已完结现代当代当代文学
作品简介

这是一本能指导企业利用MLOps技术构建可靠、高效、可复用、可扩展的机器学习模型从而实现AI工程化落地的著作。由国内AI领域的独角兽企业第四范式的联合创始人和技术VP领衔撰写,从工具、技术、企业级应用、成熟度评估4个维度对MLOps进行了全面的讲解。 本书的主要内容包括如下9个方面: (1)MLOps的核心概念和方法,可以帮助读者全面了解MLOps的基本原理; (2)MLOps涉及的几种角色,以及这些角色之间如何协作; (3)机器学习项目的基础知识和全流程,是学习和应用MLOps的基础; (4)MLOps中的数据处理、主要流水线工具Airflow和MLflow、特征平台和实时特征平台OpenMLDB、推理工具链Adlik,为读者系统讲解MLOps的技术和工具; (5)云服务供应商的端到端MLOps解决方案; (6)第四范式、网易、小米、腾讯、众安金融等企业的MLOps工程实践案例和经验; (7)MLOps的成熟度模型,以及微软、谷歌和信通院对MLOps成熟度模型的划分; (8)针对不同规模的企业和团队的MLOps最佳实践,帮助他们量身定做MLOps策略; (9)MLOps的未来发展趋势

目录 (275章)
倒序
正文
001 全面了解MLOps002 .1 人工智能的趋势和现状003 .1.1 趋势1:人工智能在企业中加速落地,彰显更多业务价值004 .1.2 趋势2:人工智能应用从以模型为中心向以数据为中心转变005 .1.3 现状:人工智能落地成功率低,成本高006 .2 人工智能的问题、挑战以及应对措施007 .2.1 问题1:机器学习代码只是整个系统的一小部分008 .2.2 问题2:数据是最主要的问题009 .2.3 挑战:人工智能系统如何规模化落地010 .2.4 应对措施:MLOps011 .3.1 MLOps的定义012 .3.2 MLOps相关的工具和平台013 .3.3 MLOps的优势014 .4 MLOps与DevOps015 .4.1 DevOps的3个优点016 .4.2 MLOps延续了DevOps的优点017 .4.3 MLOps和DevOps的不同之处018 .4.4 MLOps和DevOps的目标与实践理念019 .5 MLOps与其他XOps的区别020 .5.1 MLOps与AIOps的区别021 .5.2 MLOps与DataOps的区别022 .5.3 MLOps与ModelOps的区别023 .5.4 XOps的相同点:都基于DevOps原则024 .6 本章小结025 MLOps涉及的角色026 .1 角色类型027 .1.1 产品经理028 .1.2 数据科学家029 .1.3 数据工程师030 .1.4 机器学习工程师031 .1.5 DevOps工程师032 .1.6 IT运维工程师033 .2.1 角色划分034 .2.2 问题1:技术栈不一致导致人工智能模型线上、线下效果不一致035 .2.3 问题2:关注点不同导致对系统的需求不同036 .2.4 协作问题及解决办法037 .3 本章小结038 机器学习项目概论039 .1 机器学习项目简介040 .1.1 机器学习的定义041 .1.2 机器学习相关概念042 .1.3 机器学习能解决的问题043 .1.4 机器学习项目度量044 .1.5 机器学习项目难以落地的原因045 .2 深入理解机器学习项目全流程046 .2.1 方案调研047 .2.2 方案投产048 .3 本章小结049 MLOps中的数据部分050 .1 从以模型为中心到以数据为中心051 .1.1 以模型为中心的时代052 .1.2 以数据为中心的时代053 .2 MLOps中的数据生命周期管理054 .3 数据存储架构演进055 .4 MLOps中主要的数据问题及解决方案056 .4.1 常见的数据质量问题及解决方案057 .4.2 时序数据穿越问题及解决方案058 .4.3 离线和实时数据一致性问题及解决方案059 .4.4 数据安全问题及解决方案060 .4.5 数据共享与复用问题及解决方案061 .5 本章小结062 流水线工具063 .1 Airflow064 .1.1 Airflow的功能和应用场景065 .1.2 Airflow的核心概念066 .1.3 Airflow的使用方法067 .2 MLflow068 .2.1 MLflow的功能和应用场景069 .2.2 MLflow的核心概念070 .2.3 MLflow的使用方法071 .3 其他流水线工具072 .4 本章小结073 特征平台074 .1 特征平台的概念和起源075 .2 特征平台的特性076 .3 特征平台的现状077 .4 主流的特征平台078 .4.1 Tecton的特征平台079 .4.2 AWS的SageMaker特征平台080 .4.3 Databricks的特征平台081 .4.4 Feast项目082 .4.5 OpenMLDB项目083 .5 特征平台的发展趋势084 .6 本章小结085 实时特征平台 OpenMLDB086 .1 实时特征平台构建方法论087 .1.1 机器学习闭环088 .1.2 实时特征计算089 .1.3 痛点:线上线下计算一致性校验带来的高成本090 .1.4 目标:开发即上线091 .1.5 技术需求092 .1.6 抽象架构093 .1.7 OpenMLDB架构设计实践094 .2 OpenMLDB项目介绍095 .2.1 设计理念096 .2.2 生产级机器学习特征平台097 .2.3 核心特性098 .2.4 常见问题099 .3 核心模块——在线引擎100 .3.1 概览101 .3.2 Apache ZooKeeper102 .3.3 Nameserver103 .3.4 Tablet104 .4 核心数据结构105 .4.1 背景介绍106 .4.2 双层跳表索引107 .4.3 预聚合技术108 .4.4 性能表现109 .5 高级特性——主从集群部署110 .5.1 定义和目标111 .5.2 技术方案112 .5.3 主从集群搭建实践113 .5.4 主从集群部署常见问题114 .6 高级特性——双存储引擎115 .6.1 内存和磁盘双存储引擎架构116 .6.2 功能支持对比117 .6.3 性能对比118 .7 执行流程介绍119 .7.1 执行流程概览120 .7.2 执行模式概览121 .7.3 离线模式122 .7.4 在线模式123 .7.5 请求模式124 .8 实践125 .8.1 准备126 .8.2 使用流程127 .8.3 实时特征计算的结果说明128 .9 生态整合——在线数据源Kafka129 .9.1 简介130 .9.2 准备工作131 .9.3 步骤1:启动OpenMLDB并创建数据库132 .9.4 步骤2:启动Kafka并创建Topic 1.启动Kafka133 .9.5 步骤3:启动Connector134 .9.6 步骤4:测试135 .10 生态整合——离线数据源Hive136 .10.1 配置137 .10.2 数据类型138 .10.3 通过LIKE语法快速建表139 .10.4 将Hive数据导入OpenMLDB140 .10.5 将OpenMLDB数据导出到Hive141 .11 案例:出租车行程时间预测142 .11.1 环境准备和预备知识143 .11.2 全流程演示144 .12 本章小结145 Adlik推理工具链146 .1 机器学习模型落地挑战147 .2 Adlik的优势148 .3 Adlik的架构149 .3.1 模型优化器150 .3.2 模型编译器151 .3.3 推理引擎模块152 .4 快速入门153 .4.1 编译模型154 .4.2 部署模型155 .4.3 模型推理156 .4.4 引入自定义运行时157 .5 Adlik端到端模型推理优化实践158 .5.1 模型结构优化159 .5.2 模型推理引擎160 .6 本章小结161 云服务供应商的端到端MLOps解决方案162 .1 认识SageMaker163 .1.1 SageMaker的主要组成部分164 .1.2 广泛的数据源和数据集成支持165 .2 无代码实现供应链中到货时间的预测166 .2.1 数据准备167 .2.2 简单的数据合并168 .2.3 构建、训练和分析机器学习模型169 .2.4 模型预测170 .3 应用SageMaker Notebook进行MLOps管理171 .3.1 数据导入172 .3.2 数据清洗和特征设计173 .3.3 模型训练174 .3.4 模型评估175 .3.5 模型上线176 .3.6 使用模型仓库和Pipeline系统管理训练成果177 .4 本章小结178 MLOps在反欺诈与推荐系统中的应用179 .1 案例1:信用卡交易反欺诈系统180 .1.1 定义业务目标181 .1.2 系统设计的挑战182 .1.3 数据准备与特征设计思路183 .1.4 系统设计与实现184 .2 案例2:推荐系统185 .2.1 推荐系统介绍186 .2.2 定义优化目标187 .2.3 系统设计挑战与实现思路188 .3 本章小结189 网易云音乐实时模型大规模应用之道190 .1 从云音乐直播推荐中的实时性说起191 .1.1 直播对实时性的强需求192 .1.2 推荐引擎实时性的三要素193 .1.3 直播精排模型的实时化演进194 .2 实时增量模型的构建195 .2.1 实时特征快照196 .2.2 实时样本归因197 .2.3 实时样本拼接198 .2.4 增量训练和更新199 .2.5 线上效果200 .3 特征平台将实时能力泛化到更多场景201 .4.1 FeatureBox解决的问题202 .4.2 FeatureBox整体架构203 .4.3 DataHub模块204 .4.4 Transform模块205 .4.5 MFDL模块206 .4.6 Storage模块207 .4.7 Monitor模块208 .5 在线预估基于FeatureBox的构建209 .5.1 特征与模型的高效迭代210 .5.2 高性能预估计算211 .5.3 预估与FeatureBox实时性方案212 .6 本章小结213 小米广告机器学习平台实践214 .1.1 传统机器学习流程的问题215 .1.2 小米广告机器学习平台模块简介216 .2.1 特征工程简介217 .2.2 数据源管理218 .2.3 特征管理219 .2.4 样本管理220 .3 模型训练平台221 .3.1 算法管理222 .3.2 离线模型训练管理223 .3.3 模型更新224 .4 线上推理模块225 .4.1 线上推理服务介绍226 .4.2 高性能和高可用保证227 .4.3 模型部署228 .5 本章小结229 腾讯金融推荐中台实践230 .1 业务介绍231 .1.1 业务优化目标232 .1.2 业务特点233 .2 现状及挑战234 .2.1 推荐系统复杂性235 .2.2 算法工程技术壁垒236 .3 MLOps实践237 .4 推荐系统产品体系238 .4.1 特征系统239 .4.2 模型训练系统240 .4.3 模型服务系统241 .4.4 推荐运营系统242 .5 系统设计243 .5.1 特征系统244 .5.2 模型服务系统245 .6 本章小结246 众安金融实时特征平台实践247 .1 众安金融的MLOps建设背景248 .2 众安金融的MLOps建设思路249 .2.1 众安金融的MLOps流程说明250 .2.2 众安金融特征平台能力要求251 .3 实时特征平台的架构设计252 .3.1 实时特征平台架构说明253 .3.2 实时特征数据源层254 .3.3 实时特征平台的核心功能255 .4 实时业务特征计算256 .4.1 实时业务特征计算系统设计257 .4.2 实时业务特征核心数据模型258 .4.3 实时业务特征计算引擎259 .5 反欺诈场景中的特征计算260 .5.1 反欺诈特征计算系统设计261 .5.2 反欺诈特征分类说明262 .5.3 用户关系图谱实现方案263 .6 本章小结264 MLOps成熟度模型265 .1 能力成熟度模型概述266 .2 谷歌的MLOps成熟度模型267 .2.1 谷歌对MLOps的理解和认识268 .2.2 谷歌对MLOps成熟度等级的定义269 .3 微软的MLOps成熟度模型270 .3.1 微软对MLOps成熟度模型的理解和认识271 .3.2 微软对MLOps成熟度等级的定义272 .4 信通院的MLOps成熟度模型273 .4.1 需求管理能力子域相关内容274 .4.2 数据工程能力子域相关内容275 .5 本章小结
精选推荐
领导力法则

领导力法则

[中国纺织出版社]

陆禹萌

已完结当代文学

销售心理学

销售心理学

[中国纺织出版社]

兰华

已完结当代文学

销售就是玩转情商

销售就是玩转情商

[中国纺织出版社]

王威

已完结当代文学

销售员情商实战训练

销售员情商实战训练

成功的销售需要高智商,更需要高情商。一个销售员的销售业绩,往往与他的情商成正比。本书从十个方面详细讲述了有效运用情商,提高销售业绩的方法和技巧。通过实际销售案例和销售心理学理论指导,以及实战点拨和情商拓展训练,帮助读者全方位、快速提高情商。故事性、多版块、碎片化的内容设置,有效降低读者阅读疲劳,提高阅读兴趣,不论是奔波在路上的销售小白,还是带领团队奋勇向前的销售经理,都能从中找到适合自己的销售软技巧。

刘军

已完结当代文学

让未来的你,感谢现在勇敢的自己

让未来的你,感谢现在勇敢的自己

[中国纺织出版社]

王介威

已完结当代文学

行为心理学:华生的实用心理学课

行为心理学:华生的实用心理学课

[中国纺织出版社]

(美)约翰·华生著.倪彩

已完结当代文学

行为心理学入门(完全图解版)

行为心理学入门(完全图解版)

行为心理学入门(完全图解版)是以作者多来年的心理辅导和咨询数据为素材,对现实生活中的行为心理学应用进行了形象、深入、全面的论述和解读。本书与日本心理学图解书形式相同,浅显易读,有趣又益。

武莉

已完结当代文学

自卑与超越

自卑与超越

《自卑与(全译插图典藏版)》是个体心理学研究领域的著作,也是人本主义心理学先驱阿尔弗雷德·阿德勒的很好著作。阿德勒的学说以“自卑感”与“创造性自我”为中心,并强调“社会意识”。全书立足个人心理学的观点,从教育、家庭、婚姻、伦理、社交等多个领域,以大量的实例为论述基础,阐明了人生意义的真谛,帮助人们克服自卑、不断超自己,正确对待职业,正确理解社会与性。本书直接促进了亲子教育、人格培养、婚姻与爱情、职业生涯、家庭建设、人际关系等诸多领域的长足发展,成为人们了解心理学的经典读物。

(奥)阿尔弗雷德·阿德勒

已完结当代文学

自制力:道理我都懂,为什么就是过不好人生

自制力:道理我都懂,为什么就是过不好人生

[中国纺织出版社]

邱开杰

已完结当代文学