Spark 的 work 目录默认位于安装目录下，这在高并发环境中容易造成空间瓶颈。本文介绍了两种路径迁移方法：修改 spark-env.sh 和使用软链接，并分析了各自的优劣。
2024-06-20
Hadoop 集群磁盘满了怎么办？使用 /data 分区迁移 Hadoop 数据目录
Hadoop 根目录磁盘满了？教你如何通过挂载 /data 分区并迁移 Hadoop 数据目录，避免系统奔溃。
2024-06-19
Hadoop-2.6.5 && Zookeeper && Spark-2.2.0 高可用集群配置
写在前面每次有段时间不配集群就会忘记具体的操作步骤，然后又会耗费大量的时间重新找教程-看文档-debug，非常折磨。希望通过这篇文章详细地记录配置高可用集群的过程，为有需要的朋友和未来的自己节省时间。
前置要求项目涉及的软件包和版本信息要求
2024-06-19
Spark2.2.0 IDEA && Maven源码编译
写在前面最近在琢磨Spark2.2.0，通过扩展Spark SQL来支持多模态数据的管理和相似性查询，最终形成一个多模态数据库。在编译Spark源码的过程中遇到过一些奇奇怪怪的问题，希望能对后来的朋友有所帮助。
问题一览
ERROR Tra
2023-12-13