您好,欢迎访问代理记账网站
移动应用 微信公众号 联系我们

咨询热线 -

电话 15988168888

联系客服
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

HDFS读写流程

一、HDFS写流程

流程图如下:

过程:

1、HDFS Client调用Filesystem.creat(filePath)方法,通过RPC(远程过程调用,简单的理解是一个节点请求另一个节点提供的服务)与NameNode建立通讯。

2、NN会检查这个文件是否存在?是否可以创建?如果可以,NN会触发副本放置策略,计算出上传的块和相应的DN节点,然后将这个信息返回给Client的FsDataOutputStream对象。

3、Client和对应的一个 DN 建立PipeLine连接(本质上也是一个RPC调用,DN收到请求后再去调用另一个,另一个接着调用最后一个,将整个PipeLine建立完成后,从后逐级返回给client)

4、Client接着调用 FsDataOutputStream 的write方法,Client将每个块 切成packet(64k),然后向第一个DN发送,第一个收到后保存再发送给第二个,第二个收到后保存,再发送给第三个

在此过程中 上游节点同时发送下一个packet 

生活中类比工厂的流水线;结论:流式其实也是变种的并行计算

5、然后再PipeLine反方向,逐个发送ACK(命令正确应答),最后由第一个DN发送给Client(FSDataOutputStream)

6、当第一个block传输完成后,Client请求NameNode上传第二个block,重复3操作

7、当所有block全部写完,Client调用FSDataOutputStream的close方法关闭数据流

然后调用FileSystem.complete 方法告诉NN文件写入成功。

二、HDFS  读流程

流程图如下:

 

过程:

1、HDFS Client 调用Filesystem.open(filePath)方法,与NN进行RPC通信

2、NN对文件进行权限检查(存在?权限?)然后根据就近返回相应的block列表给Client

3、Client与相应的每个block主机建立PipeLine(并行)

4、client调用FSDataInputStream.read方法同样以package为单位进行读取,读取完后进行检查

5、将读取的不同block进行合并

6、client调用FSDataInputStream的close方法关闭数据流

作业:

1、一些名词了解

spu:款                sku:款色                   范围  spu>sku

 2、emp表递归问题,要求最后查询形式如下

1

 

 


分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进