2022年11月15日
spark stages 并行度 shuffle 宽窄依赖 随笔
spark stages 一个任务集对应的调度阶段;每个Job会被拆分很多组Task，每组任务被称为Stage，也可称TaskSet，一个作业分为多个阶段;Stage分成两种类型ShuffleMapStage、ResultStage。
大数据
2022年11月11日
spark exactly once 语义随笔
Spark具备很好的机制来保证exactly once的语义，具体体现在数据源的可重放性、计算过程中的容错性、以及写入存储介质时的幂等性或者事务性。exactly once指的是在处理数据的过程中，系统有很好的容错性(fault-tolerance)，能够保证数据处理不重不丢，每一条数据仅被处理一次。
2022年10月25日
hive compile 源码编译学习随笔
编译的源码来源于什么地方？如何知道互相兼容的版本号？用什么工具编译？和辅助的工具有哪些？编译有bug时如何快速定位到问题？ 如果解决问题；我们第一点的基本思路是： ”先明确hive的版本，同时希望这个版本的hive去兼容某个版本的Hadoop“