探讨了Spark面试中常见问题与答案,以及重要概念和技术,包括Spark中的Lineage(血缘)概念,它以有向无环图(DAG)形式追踪和处理数据,处理倾斜数据的方法如增加shuffle分区数和使用随机前缀,以及比较DataFrame和RDD在Spark中的优缺点。此外,文章还介绍了Spark中的多种缓存级别,如MEMORY_ONLY和MEMORY_AND_DISK,以及它们的应用场景。