深入理解Spark：核心思想与源码分析
作者: 耿嘉安62.05万字7人 正在读
已完结现代当代当代文学
目录 (229章)
倒序
正文
001 环境准备002 .1 运行环境准备003 .2 Spark初体验(1)004 .2 Spark初体验(2)005 .3 阅读环境准备006 .4 Spark源码编译与调试007 .5 小结008 Spark设计理念与基本架构009 .1 初识Spark010 .2 Spark基础知识011 .3 Spark基本设计思想012 .4 Spark基本架构013 .5 小结014 核心设计篇015 SparkContext的初始化016 .1 SparkContext概述017 .2 创建执行环境SparkEnv(1)018 .2 创建执行环境SparkEnv(2)019 .2 创建执行环境SparkEnv(3)020 .2 创建执行环境SparkEnv(4)021 .2 创建执行环境SparkEnv(5)022 .3 创建metadataCleaner023 .4 SparkUI详解(1)024 .4 SparkUI详解(2)025 .4 SparkUI详解(3)026 .4 SparkUI详解(4)027 .4 SparkUI详解(5)028 .5 Hadoop相关配置及Executor环境变量029 .6 创建任务调度器TaskScheduler030 .7 创建和启动DAGScheduler(1)031 .7 创建和启动DAGScheduler(2)032 .8 TaskScheduler的启动(1)033 .8 TaskScheduler的启动(2)034 .8 TaskScheduler的启动(3)035 .8 TaskScheduler的启动(4)036 .9 启动测量系统MetricsSystem037 .10 创建和启动ExecutorAllocationManager038 .11 ContextCleaner的创建与启动039 .12 Spark环境更新040 .13 创建DAGSchedulerSource和BlockManagerSource041 .14 将SparkContext标记为激活042 .15 小结043 存储体系044 .1 存储体系概述045 .2 shuffle服务与客户端(1)046 .2 shuffle服务与客户端(2)047 .2 shuffle服务与客户端(3)048 .2 shuffle服务与客户端(4)049 .3 BlockManagerMaster对BlockManager的管理(1)050 .3 BlockManagerMaster对BlockManager的管理(2)051 .4 磁盘块管理器DiskBlockManager052 .5 磁盘存储DiskStore053 .6 内存存储MemoryStore(1)054 .6 内存存储MemoryStore(2)055 .6 内存存储MemoryStore(3)056 .6 内存存储MemoryStore(4)057 .6 内存存储MemoryStore(5)058 .7 Tachyon存储TachyonStore059 .8 块管理器BlockManager(1)060 .8 块管理器BlockManager(2)061 .8 块管理器BlockManager(3)062 .8 块管理器BlockManager(4)063 .8 块管理器BlockManager(5)064 .8 块管理器BlockManager(6)065 .9 metadataCleaner和broadcastCleaner066 .10 缓存管理器CacheManager067 .11 压缩算法068 .12 磁盘写入实现DiskBlockObjectWriter069 .13 块索引shuffle管理器IndexShuffleBlockManager070 .14 shuffle内存管理器ShuffleMemoryManager071 .15 小结072 任务提交与执行073 .1 任务概述074 .2 广播Hadoop的配置信息075 .3 RDD转换及DAG构建(1)076 .3 RDD转换及DAG构建(2)077 .3 RDD转换及DAG构建(3)078 .3 RDD转换及DAG构建(4)079 .4 任务提交(1)080 .4 任务提交(2)081 .4 任务提交(3)082 .4 任务提交(4)083 .4 任务提交(5)084 .4 任务提交(6)085 .4 任务提交(7)086 .4 任务提交(8)087 .4 任务提交(9)088 .4 任务提交(10)089 .5 执行任务(1)090 .5 执行任务(2)091 .6 任务执行后续处理(1)092 .6 任务执行后续处理(2)093 .6 任务执行后续处理(3)094 .7 小结095 计算引擎096 .1 迭代计算(1)097 .1 迭代计算(2)098 .2 什么是shuffle099 .3 map端计算结果缓存处理(1)100 .3 map端计算结果缓存处理(2)101 .3 map端计算结果缓存处理(3)102 .3 map端计算结果缓存处理(4)103 .4 map端计算结果持久化(1)104 .4 map端计算结果持久化(2)105 .4 map端计算结果持久化(3)106 .5 reduce端读取中间计算结果(1)107 .5 reduce端读取中间计算结果(2)108 .5 reduce端读取中间计算结果(3)109 .5 reduce端读取中间计算结果(4)110 .6 reduce端计算111 .7 map端与reduce端组合分析112 .8 小结113 部署模式114 .1 local部署模式115 .2 local-cluster部署模式(1)116 .2 local-cluster部署模式(2)117 .2 local-cluster部署模式(3)118 .2 local-cluster部署模式(4)119 .2 local-cluster部署模式(5)120 .2 local-cluster部署模式(6)121 .2 local-cluster部署模式(7)122 .2 local-cluster部署模式(8)123 .2 local-cluster部署模式(9)124 .2 local-cluster部署模式(10)125 .2 local-cluster部署模式(11)126 .2 local-cluster部署模式(12)127 .2 local-cluster部署模式(13)128 .3 Standalone部署模式(1)129 .3 Standalone部署模式(2)130 .3 Standalone部署模式(3)131 .3 Standalone部署模式(4)132 .4 容错机制(1)133 .4 容错机制(2)134 .4 容错机制(3)135 .4 容错机制(4)136 .5 其他部署方案(1)137 .5 其他部署方案(2)138 .6 小结139 扩展篇140 Spark SQL141 .1 Spark SQL总体设计142 .2 字典表Catalog143 .3 Tree和TreeNode144 .4 词法解析器Parser的设计与实现(1)145 .4 词法解析器Parser的设计与实现(2)146 .4 词法解析器Parser的设计与实现(3)147 .5 Rule和RuleExecutor148 .6 Analyzer与Optimizer的设计与实现(1)149 .6 Analyzer与Optimizer的设计与实现(2)150 .7 生成物理执行计划151 .8 执行物理执行计划152 .9 Hive153 .10 应用举例：JavaSparkSQL(1)154 .10 应用举例：JavaSparkSQL(2)155 .10 应用举例：JavaSparkSQL(3)156 .11 小结157 流式计算158 .1 Spark Streaming总体设计159 .2 StreamingContext初始化160 .3 输入流接收器规范Receiver161 .4 数据流抽象DStream162 .5 流式计算执行过程分析(1)163 .5 流式计算执行过程分析(2)164 .5 流式计算执行过程分析(3)165 .5 流式计算执行过程分析(4)166 .5 流式计算执行过程分析(5)167 .5 流式计算执行过程分析(6)168 .5 流式计算执行过程分析(7)169 .5 流式计算执行过程分析(8)170 .5 流式计算执行过程分析(9)171 .5 流式计算执行过程分析(10)172 .5 流式计算执行过程分析(11)173 .5 流式计算执行过程分析(12)174 .6 窗口操作175 .7 应用举例176 .8 小结177 图计算178 .1 Spark GraphX总体设计(1)179 .1 Spark GraphX总体设计(2)180 .2 图操作181 .3 Pregel API182 .4 Graph的构建183 .5 顶点集合抽象VertexRDD184 .6 边集合抽象EdgeRDD185 .7 图分割186 .8 常用算法(1)187 .8 常用算法(2)188 .8 常用算法(3)189 .9 应用举例190 .10 小结191 机器学习192 .1 机器学习概论193 .2 Spark MLlib总体设计194 .3 数据类型(1)195 .3 数据类型(2)196 .4 基础统计(1)197 .4 基础统计(2)198 .4 基础统计(3)199 .5 分类和回归(1)200 .5 分类和回归(2)201 .6 决策树202 .7 随机森林203 .8 梯度提升决策树204 .9 朴素贝叶斯205 .10 保序回归206 .11 协同过滤207 .12 聚类(1)208 .12 聚类(2)209 .13 维数减缩210 .14 特征提取与转型(1)211 .14 特征提取与转型(2)212 .15 频繁模式挖掘213 .16 预言模型标记语言214 .17 管道(1)215 .17 管道(2)216 .18 小结217 附录A Utils(1)218 附录A Utils(2)219 附录A Utils(3)220 附录A Utils(4)221 附录B Akka(1)222 附录B Akka(2)223 附录C Jetty224 附录D Metrics225 附录E Hadoop word count226 附录F CommandUtils227 附录G Netty(1)228 附录G Netty(2)229 附录H 源码编译错误
精选推荐
领导力法则
[中国纺织出版社]
陆禹萌
已完结当代文学
销售心理学
[中国纺织出版社]
兰华
已完结当代文学
销售就是玩转情商
[中国纺织出版社]
王威
已完结当代文学
销售员情商实战训练
成功的销售需要高智商，更需要高情商。一个销售员的销售业绩，往往与他的情商成正比。本书从十个方面详细讲述了有效运用情商，提高销售业绩的方法和技巧。通过实际销售案例和销售心理学理论指导，以及实战点拨和情商拓展训练，帮助读者全方位、快速提高情商。故事性、多版块、碎片化的内容设置，有效降低读者阅读疲劳，提高阅读兴趣，不论是奔波在路上的销售小白，还是带领团队奋勇向前的销售经理，都能从中找到适合自己的销售软技巧。
刘军
已完结当代文学
让未来的你，感谢现在勇敢的自己
[中国纺织出版社]
王介威
已完结当代文学
行为心理学：华生的实用心理学课
[中国纺织出版社]
（美）约翰·华生著.倪彩
已完结当代文学
行为心理学入门（完全图解版）
行为心理学入门（完全图解版）是以作者多来年的心理辅导和咨询数据为素材，对现实生活中的行为心理学应用进行了形象、深入、全面的论述和解读。本书与日本心理学图解书形式相同，浅显易读，有趣又益。
武莉
已完结当代文学
自卑与超越
《自卑与（全译插图典藏版）》是个体心理学研究领域的著作，也是人本主义心理学先驱阿尔弗雷德·阿德勒的很好著作。阿德勒的学说以“自卑感”与“创造性自我”为中心，并强调“社会意识”。全书立足个人心理学的观点，从教育、家庭、婚姻、伦理、社交等多个领域，以大量的实例为论述基础，阐明了人生意义的真谛，帮助人们克服自卑、不断超自己，正确对待职业，正确理解社会与性。本书直接促进了亲子教育、人格培养、婚姻与爱情、职业生涯、家庭建设、人际关系等诸多领域的长足发展，成为人们了解心理学的经典读物。
（奥）阿尔弗雷德·阿德勒
已完结当代文学
自制力：道理我都懂，为什么就是过不好人生
[中国纺织出版社]
邱开杰
已完结当代文学