![1.png](https://static.golangjob.cn/231019/5f6883d8487824249c024ceabebee1fc.png)
MK体系课-大数据工程师2023版(35周)分享下载,源码+PDF课件+电子手册+软件下载地址+接口数据集,资料齐全下载!
想要学好大数据需掌握以下技术:
1. Java编程技术
2. Linux命令
3. Hadoop
4. Hive
5. Avro与Protobuf
6. ZooKeeper
7. HBase
8.phoenix
9.Redis
10.Flume
11.SSM
12.Kafka
13.Scala
14.Spark
15.Azkaban
16.flink
下面我们就来学习一下HDFS中的一些常见的shell操作
其实hdfs后面支持很多的参数,但是有很多是很少用的,在这里我们把一些常用的带着大家一块学习一下,如果大家后期有一些特殊的需求,可以试着来看一下hdfs的帮助文档
直接在命令行中输入hdfs dfs,可以查看dfs后面可以跟的所有参数
注意:这里面的[]表示是可选项,<>表示是必填项
首先看第一个ls命令
查看hdfs根目录下的内容,什么都不显示,因为默认情况下hdfs中什么都没有
其实后面hdfs的url这一串内容在使用时默认是可以省略的,因为hdfs在执行的时候会根据HDOOP_HOME自动识别配置文件中的fs.defaultFS属性
所以这样简写也是可以的
实战:WordCount案例开发
前面我们通过理论层面详细分析了单词计数的执行流程,下面我们就来实际上手操作一下。
大致流程如下:
第一步:开发Map阶段代码
第二步:开发Reduce阶段代码
第三步:组装Job
在idea中创建WordCountJob类
添加注释,梳理一下需求:
需求:读取hdfs上的hello.txt文件,计算文件中每个单词出现的总次数
hello.txt文件内容如下:
hello you
hello me
最终需要的结果形式如下:
hello 2
me 1
you 1
有疑问加站长微信联系(非本文作者)
![](https://static.golangjob.cn/static/img/footer.png?imageView2/2/w/280)