hadoop常用的运维操作（hadoop维护）

一、hadoop常用运维命令

1、修改原有文件的备份数

bin/hadoop fs -setrep -R 1 /

备注： dfs.replication这个参数其实只在文件被写入dfs时起作用，虽然更改了配置文件，但是不会改变之前写入的文件的备份数。

2、检查hadoop block健康状态

bin/hadoop fsck /

hadoop fsck / -delete 删除坏的block

3、更新调度器调度文件

在更改公平调度器资源之后需执行

yarn rmadmin –refreshQueues

4、杀死正在运行的Job

_201207121738

5、离开safe mode

sudo -u hdfs hadoop dfsadmin -safemode leave

二. hdfs目录用途说明

1、/group/user/<user_name>/

说明：该目录存放的是各个用户HIVE中的表，<user_name>表示对应的用户名（hive数据库名与用户名一致）。

该目录重要，切勿删除，否则会导致hive表丢失数据

2、/hadooptmp

说明：该目录存放临时文件，目前mapreduce的临时目录配置为该目录下。

3、/tmp

说明：该目录存放临时文件，目前yarn的临时目录配置为该目录下。

4、/user/<user_name>

说明：该目录为用户在HDFS上的根目录，用以存放用户的文件、脚本和回收站（回收站已设置一天的有效期，如误删文件请在一天之内从回收站恢复）。

5、/user/history/done和/user/history/done_intermediate

说明：分别存放yarn application运行的日志信息，用以在jobhistory查看对应application的信息。done目录为最终信息，done_intermediate为中间过程信息。

6、/yarn/apps/<user_name>/logs

说明：该目录存放yarn container的日志信息，用以在jobhistory中查看对应的map/reduce task的运行日志。