在将一个大型数据批处理管道从本地基础设施迁移到Azure Kubernetes Service (AKS)的过程中，我们遇到了导致Spark执行器内存不足（OOM）故障的问题。该问题主要发生在shuffle阶段，表现为内存压力远超预期，导致执行器被内核OOM killer终止。
--91likeyou---
🔥 热词：#spark oom原因 · #spark报错 · #sparkoutofmemoryerror · #spark程序发生oom的时候,如何定位和处理 · #spark启动报错 · #spark遇到的问题 · #spark常见问题 · #spark failed to connect to