2022年11月11日
spark exactly once 语义随笔
Spark具备很好的机制来保证exactly once的语义，具体体现在数据源的可重放性、计算过程中的容错性、以及写入存储介质时的幂等性或者事务性。exactly once指的是在处理数据的过程中，系统有很好的容错性(fault-tolerance)，能够保证数据处理不重不丢，每一条数据仅被处理一次。
spark
2022年10月25日
hive compile 源码编译学习随笔
编译的源码来源于什么地方？如何知道互相兼容的版本号？用什么工具编译？和辅助的工具有哪些？编译有bug时如何快速定位到问题？ 如果解决问题；我们第一点的基本思路是： ”先明确hive的版本，同时希望这个版本的hive去兼容某个版本的Hadoop“
2022年10月25日
spark Accumulator AccumulatorV2 累加器学习随笔
spark Accumulator AccumulatorV2 累加器是Spark的核心数据结构之一 — Spark的三大核心数据结构：RDD、累加器（只写不读）、广播变量（只读不写），累加器在不同的spark版本中有不一样的具体实现逻辑