2022年11月11日
spark exactly once 语义随笔
Spark具备很好的机制来保证exactly once的语义，具体体现在数据源的可重放性、计算过程中的容错性、以及写入存储介质时的幂等性或者事务性。exactly once指的是在处理数据的过程中，系统有很好的容错性(fault-tolerance)，能够保证数据处理不重不丢，每一条数据仅被处理一次。
Scala
2022年10月25日
spark Accumulator AccumulatorV2 累加器学习随笔
spark Accumulator AccumulatorV2 累加器是Spark的核心数据结构之一 — Spark的三大核心数据结构：RDD、累加器（只写不读）、广播变量（只读不写），累加器在不同的spark版本中有不一样的具体实现逻辑
2022年10月10日