Hadoop虚拟机命令基础操作
在Hadoop分布式环境中，虚拟机（如VMware或VirtualBox）的命令操作是集群管理的基础，掌握常用命令不仅能提升运维效率，还能确保集群稳定运行，以下从虚拟机管理、Hadoop服务控制、文件操作及故障排查四个方面展开介绍。
虚拟机基础管理命令
虚拟机的启动、关闭及网络配置是Hadoop集群部署的前提，以VMware为例，常用命令包括：
- 启动虚拟机：通过
vmrun start [虚拟机路径]命令启动指定虚拟机，例如vmrun start "/opt/vmware/centos7.vmx"，若需后台运行，可添加nogui参数。 - 关闭虚拟机：安全关闭使用
vmrun stop [虚拟机路径] soft，强制关闭则用hard参数，suspend可实现挂起。 - 快照管理：通过
vmrun snapshot [虚拟机路径] [快照名称]创建快照，便于故障恢复；vmrun listSnapshots可查看快照列表。 - 网络配置：虚拟机需设置为桥接模式或NAT模式，确保与宿主机及集群节点互通，使用
ifconfig（Linux）查看IP，例如eth0的网卡配置需与Hadoop集群的core-site.xml中的fs.defaultFS地址匹配。
Hadoop核心服务控制命令
Hadoop集群依赖于HDFS、YARN等核心服务，其启停需通过hadoop-daemon.sh和yarn-daemon.sh脚本实现：
-
HDFS服务管理：
- 启动NameNode：
hadoop-daemon.sh start namenode（需先格式化文件系统：hdfs namenode -format）。 - 启动DataNode：
hadoop-daemon.sh start datanode（确保NameNode正常运行）。 - 查看HDFS状态：
hdfs dfsadmin -report可查看节点健康度，hdfs dfs -ls /测试文件系统访问。
- 启动NameNode：
-
YARN服务管理：
- 启动ResourceManager：
yarn-daemon.sh start resourcemanager。 - 启动NodeManager：
yarn-daemon.sh start nodemanager。 - 提交任务示例：
yarn jar hadoop-mapreduce-examples.jar wordcount /input /output，其中/input为HDFS上的输入路径。
- 启动ResourceManager：
HDFS文件操作命令
HDFS作为分布式存储系统，其文件操作是数据处理的核心：
-
基础命令：
- 上传文件：
hdfs dfs -put [本地路径] [HDFS路径]，例如hdfs dfs -put /opt/test.txt /user/hadoop/。 - 下载文件：
hdfs dfs -get [HDFS路径] [本地路径]。 - 创建目录：
hdfs dfs -mkdir -p /user/hadoop/input（-p可递归创建）。 - 查看文件内容：
hdfs dfs -cat /user/hadoop/test.txt。
- 上传文件：
-
高级操作：
- 设置文件权限：
hdfs dfs -chmod 755 /user/hadoop/output。 - 查看磁盘使用情况：
hdfs dfs -df -h。 - 删除文件/目录：
hdfs dfs -rm -r /user/hadoop/input（-r递归删除目录）。
- 设置文件权限：
集群监控与故障排查命令
当集群出现性能瓶颈或服务异常时，需通过命令快速定位问题：
- 进程监控：使用
jps查看Java进程，例如NameNode、DataNode、ResourceManager等进程是否正常运行。 - 日志分析：Hadoop日志默认存放在
$HADOOP_HOME/logs/目录，通过tail -f hadoop-namenode-xxx.log实时查看NameNode日志，定位元数据异常。 - 性能指标：通过
http://[ResourceManager IP]:8088查看YARN任务进度，或使用hdfs dfsadmin -report检查DataNode的磁盘使用率和网络状态。 - 故障恢复：若DataNode节点宕机，需在集群外重新格式化DataNode数据目录（
$HADOOP_HOME/data/），然后重启DataNode服务。
Hadoop虚拟机命令操作是分布式系统管理的基石，从虚拟机的生命周期管理到Hadoop服务的精细化控制，再到文件系统的灵活操作及故障的快速响应，每一步都需要熟练掌握命令逻辑，在实际运维中，建议结合Shell脚本实现自动化操作（如批量启停服务），并通过日志监控工具（如ELK）进一步提升集群管理效率,确保Hadoop集群稳定高效运行。
