归档: 2024 | QT's Blog

2024

06

20

sshd 服务与 SFTP 子系统稳定性配置指南

本文总结在 JetBrains Gateway、SCP/SFTP 远程开发与传输中遇到的 sshd 子系统超时、权限异常、非交互输出等问题，并提供一套安全稳定的配置方案。

2024-06-20 系统与运维 SSH/SFTP

SFTP SSH 系统代理错误排查

20

Java/Spark 项目报错：NoClassDefFoundError 的成因与解决方案

本文聚焦于 Java 和 Spark 项目中经常遇到的类加载错误 NoClassDefFoundError，以 log4j 缺失为例，深入剖析错误成因、场景及彻底解决方法。

2024-06-20 编程语言 Java

错误排查 Spark Java

20

Spark 高可用部署中的路径扩容与软链接技巧

Spark 的 work 目录默认位于安装目录下，这在高并发环境中容易造成空间瓶颈。本文介绍了两种路径迁移方法：修改 spark-env.sh 和使用软链接，并分析了各自的优劣。

2024-06-20 数据处理 Spark

Spark 集群部署路径迁移

20

Mihomo 启动、代理与常见故障排查指南

本文整理了 Mihomo 启动时常见问题的解决方案，包括僵尸进程清理、UTF-8 配置错误、端口冲突排查与 clash 冲突、curl 测试方法、后台运行建议等关键实践技巧。

2024-06-20 系统与运维代理工具

Mihomo 系统代理 Clash

20

SFTP代理冲突的实战解决方案与mihomo配置优化

记录在使用mihomo作为透明代理时，SFTP上传被劫持问题的解决过程。重点介绍如何通过NO_PROXY和规则直连实现上传功能正常化。

2024-06-20 系统与运维代理工具

SFTP Mihomo 系统代理 Clash

19

VS Code Remote-SSH + 跳板机配置指南（Hadoop/Spark 集群环境）

本文总结如何配置 VS Code 通过跳板机连接高可用 Spark/Hadoop 集群，包括 SSH 配置文件的编写、公钥认证问题排查、ProxyJump 机制解释等。

2024-06-19 软件工具 VS Code

SSH 集群部署 VS Code Remote-SSH

19

CentOS SFTP上传失败的排查全过程（含代理干扰分析）

本文记录一次排查“CentOS中某用户SFTP无法上传文件”的过程，涉及权限检查、SSH配置审查、代理干扰判断等多个方向。最终问题定位为代理干扰所致，附解决方案。

2024-06-19 系统与运维 SSH/SFTP

SFTP SSH Mihomo 系统代理

19

Hadoop-2.6.5 && Zookeeper && Spark-2.2.0 高可用集群配置

写在前面每次有段时间不配集群就会忘记具体的操作步骤，然后又会耗费大量的时间重新找教程-看文档-debug，非常折磨。希望通过这篇文章详细地记录配置高可用集群的过程，为有需要的朋友和未来的自己节省时间。前置要求项目涉及的软件包和版本信息要求

2024-06-19 数据处理 Hadoop

Hadoop Spark 集群部署

19

Hadoop 集群磁盘满了怎么办？使用 /data 分区迁移 Hadoop 数据目录

Hadoop 根目录磁盘满了？教你如何通过挂载 /data 分区并迁移 Hadoop 数据目录，避免系统奔溃。

2024-06-19 数据处理 Hadoop

Hadoop 路径迁移 Linux

19

JetBrains Gateway 在大数据集群开发中的远程调试实践

本文记录在配置 JetBrains Gateway 连接远程 Hadoop/Spark 高可用集群时遇到的报错及排查过程，包括 host-status 异常、clash 脚本权限问题以及 SFTP 子系统的配置细节。

2024-06-19 软件工具 JetBrains Gateway

SSH 错误排查 Spark JetBrains Gateway

01

26

Google Scholar 搜索技巧

问题一览Google Scholar搜索的过程中，需要筛选多个来源的论文，可以使用以下的方式实现： (source:"Nature" OR source:"Nature Methods" OR source:"Nature Neurosci

2024-01-26 Workflow Tips

Workflow Tips

22

Git 误传Large files补救

问题一览最近在使用Git的过程中，不小心未将一个大文件添加到.gitignore中，导致使用git push之后出现一下报错： Large files detected. this exceeds GitHub's file size li

2024-01-22 软件工具 Git

Git 错误排查