Linux 集群资源监控指南（含批量查询脚本）

一、查看内存使用情况

1. free 命令（推荐）

free -h
- `-h`：以人类可读的方式显示（MB/GB）。
- 可查看总内存、已用、可用、缓存等。

2. top 实时监控

top
- 动态显示 CPU、内存使用情况。
- 使用 `q` 退出。

3. htop（可选）

htop
- 若已安装，提供图形化彩色界面。
- 安装方式（按发行版）：
sudo yum install htop     # CentOS/RHEL
sudo apt install htop     # Ubuntu/Debian

---

二、查看存储空间

1. df 查看磁盘使用情况

df -h
- 重点查看挂载点 `/`、`/data`、`/home` 等。

2. du 查看目录体积

du -sh /path/to/dir
示例：
du -sh /home/xx/spark/logs

3. lsblk 查看磁盘分区结构

lsblk
- 显示块设备及其挂载点。

---

三、批量资源查看脚本（多节点）

适用于 Spark/Hadoop 集群环境快速查看所有节点资源状况：

#!/bin/bash
for host in xx-node1 xx-node2 xx-node3; do
  echo "=== $host ==="
  ssh $host "hostname && free -h && df -h"
done

说明：

• 将 xx-node1 等替换为你的主机名或内网 IP。
• 建议配置 SSH 免密登录：ssh-copy-id user@host。

---

四、运维建议

• 定期检查 Spark 日志目录、HDFS data 目录，防止磁盘爆满。
• 可通过定时任务（cron）每天定时记录资源使用。
• 搭配 mailx 或企业微信机器人做告警推送。
• 若你使用 YARN，可结合其 Web UI 查看容器分配内存和磁盘趋势。

---