Fork me on GitHub

Hadoop命令

字数统计: 320字   |   阅读时长≈ 1分

1、文件操作

1
2
3
4
5
6
7
8
9
10
#在HDFS上创建目录
hadoop fs -mkdir <hdfs_path>
#查看文件
hadoop fs -ls <hdfs_path>
#显示文件的大小
hadoop fs -du <hdfs_path>
#只删除文件或者空目录
hadoop fs -rm <hdsf_path>
#递归删除目录，命令rm的递归版本，会递归删除目录下的各级目录以及文件
hadoop fs -rmr <hdfs_path>

2、查看文件内容

1
2
3
4
#显示文件内容
hadoop fs -cat <hdfs_path>
#将文件尾部1KB字节的内容输出到stdout
hadoop fs -tail [-f] URI

3、文件复制

1
2
3
4
5
6
7
8
9
10
11
12
#将文件源路径移动到目标路径
hadoop fs -mv <src1> <src2> <dest>
#将文件从源路径复制到目标路径
hadoop fs -cp <src1> <src2> <dest>       
#将本地文件放置在HDFS上
hadoop fs -copyFromLocal <local_path> <remote_path>     
#将HDFS上的文件复制到本地文件系统中
hadoop fs -copyToLocal <remote_path> <local_path>       
#复制文件到本地文件系统
hadoop fs -get <src> <localdst>    
#从本地文件系统中复制单个或多个源路径到目标文件系统中
hadoop fs -put <localsrc>... <dst>

4、高权限

1
2
3
scp victor@192.168.10.1:/home/victor/py/test.py /usr/opt/script/
#去前1000行记录到新文件
head -1000 basic.dat > test1.dat
赏

请我喝杯咖啡吧

支付宝
微信

扫一扫，分享到微信

× 文章目录
  1. 1. 1、文件操作
  2. 2. 2、查看文件内容
  3. 3. 3、文件复制
  4. 4. 4、高权限

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia-plus根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

主要涉及技术：
Java后端开发、Hadoop、Spark、微服务、TensorFlow
AI、公众号开发、开源爱好者、Linux
大数据、DevOps、分布式中间件