Share my life and thoughts
正在加载今日诗词....
  文章分类
系统与运维 5 编程语言 4 软件工具 3 SSH/SFTP 2 数据处理 4 Workflow 2 C++ 3 Java 1 Linux 1 Git 1 代理工具 2 Spark 2 Hadoop 2 VS Code 1 Tips 1 JetBrains Gateway 1 Logseq 1
Spark 高可用部署中的路径扩容与软链接技巧 Spark 高可用部署中的路径扩容与软链接技巧
Spark 的 work 目录默认位于安装目录下，这在高并发环境中容易造成空间瓶颈。本文介绍了两种路径迁移方法：修改 spark-env.sh 和使用软链接，并分析了各自的优劣。
2024-06-20 数据处理 Spark
Spark 集群部署 路径迁移
Spark2.2.0 IDEA && Maven源码编译 Spark2.2.0 IDEA && Maven源码编译
写在前面最近在琢磨Spark2.2.0，通过扩展Spark SQL来支持多模态数据的管理和相似性查询，最终形成一个多模态数据库。在编译Spark源码的过程中遇到过一些奇奇怪怪的问题，希望能对后来的朋友有所帮助。 问题一览 ERROR Tra
2023-12-13 数据处理 Spark
错误排查 Spark 源码编译