小工具      在线工具  汉语词典  css  js  c++  java

HDFS基础

大数据,hdfs,dfs,大数据 额外说明

收录于:152天前

搭建完HDFS之后,我们来简单介绍一下这个分布式文件管理系统。


在这里插入图片描述

在这里插入图片描述

名称节点和数据节点

在这里插入图片描述

在这里插入图片描述

在搭建hadoop集群时配置core-site.xml文件配置了hadoop.tmp.dirNameNode的主目录。它在配置的目录在加上tmp/dfs/name/current,如下:
在这里插入图片描述
版本
在这里插入图片描述
在这里插入图片描述

客户端访问
在这里插入图片描述

在这里插入图片描述

存储原理

  • 冗余数据存储
    在这里插入图片描述
  • 数据访问政策

在这里插入图片描述
在这里插入图片描述

  • 数据错误与恢复

数据恢复依赖于多副本机制。

Hadoop读写流程
在这里插入图片描述

FileSystem是通用文件系统的抽象基类,可以被分布式文件系统继承。所有可能使用Hadoop文件系统的代码都必须使用此类。

Hadoop为FileSystem抽象类提供了多种具体实现:

  • DistributedFileSystem代表Hadoop分布式文件系统。用户只需要操作DistributedFileSystem的对象来创建文件目录和访问数据,其余的都由DistributedFileSystem完成。
  • DistributedFileSystem中有一个成员DFSClient。当该成员初始化时,它会初始化自己的ClientProtocal代理对象(名称为namenode)。 ClientProtocal是一个客户端代理对象,它使用RPC框架与NN进行通信。
  • FileSystem 的 open() 方法返回一个输入流 FSDataInputStream 对象。在HDFS文件系统中,具体的输入流在; FileSystem 中的 create() 方法返回一个输出流 FSDataOutputStream 对象。在HDFS文件系统中,具体的输出流是out。

HDFS编程
在这里插入图片描述
在这里插入图片描述

外壳命令
相比Java API,shell命令是较为容器的编程方式。

HDFS 有很多 shell 命令。其中,fs命令可以说是HDFS中最常用的命令。通过该命令可以查看HDFS文件系统的目录结构、上传下载数据、创建文件等。

该命令的用法为:
hadoop fs [genericOptions] [commandOptions]

在这里插入图片描述

常用命令:

//创建目录
hadoop fs -mkdir [option]
//创建多级目录
hadoop fs -mkdir -p [option]

//显示当前目录
hadoop fs -ls
//显示当前多级目录
hadoop fs -ls -R

//删除目录
hadoop fs -rm [option]
//连带删除
hadoop fs -rm -r  [option]

//本地文件上传到hdfs系统
hadoop fs -put [reource] [target]

//将hdfs的文件下载到本地
hadoop fs -get [reource] [traget]

//查看dhfs的文件
hadoop -fs -cat [option]

//复制到其他目录
hadoop fs -cp [reource] [target]


//拷贝到HDFS,功能个put一样
hadoop  fs -copyFromLocal <src> <des>

//拷贝到本地,功能和get一样
hadoop fs -copyToLocal  <src>  <des>


网络管理hadoop
输入[NameNodeIp:50070]访问HDFS系统
在这里插入图片描述

输入[NameNodeIp:50090]访问DataNode。

除了对HDFS的shell操作外,还支持Java、Python等语言。 HDFS 提供 API 来使用网络上传和下载文件。

. . .

相关推荐

额外说明

Centos7(8)安装mysql5.7.17(离线)

文章目录 环境 安装 创建文件夹保存上传文件 解压tar包 监测是否本机已安装 安装rpm文件 异常 1、安装失败 2、mysql-community-server 安装失败 获取临时登录密钥 登录mysql 修改数据库密码 开放访问权限 刷新配置 退出

额外说明

idea中dependencies中总是有红色波浪线(缺少dependency)的解决办法

    使用IDEA进行maven开发时,将新项目import进工作空间时,Maven Projects栏中的dependencies中总是有红色波浪线,如下图: 但是这些jar在我本地的maven仓库中实际上是存在的,后来无意中修改了下pom才发现这有

额外说明

【精通Linux系列】CentOS7 实战部署tomcat网站服务器

- 作者 :“大数据小禅” - 专栏简介 :本专栏主要分享Linux技术,会涉及到常用的Linux命令操作,常用的服务部应用署以及相关运维知识,还有一些Linux系统的深层解析,Linux系列专栏地址,欢迎小伙伴们订阅! - 个人主页 :大数据小禅 -

额外说明

6-5 C++ STL begin()和end()函数用法

在前面章节中,我们已经对 C++ STL标准库提供的所有容器做了系统的讲解。读者可能已经注意到,无论是序列式容器还是关联式容器(包括哈希容器),不仅模板类内部提供有 begin() 和 end() 成员方法,C++ STL 标准库中还提供有同名且具有相同

额外说明

matlab数据类型 —— 逻辑型

matlab系列文章:- 目录 - 文章目录 〇、概述 一、逻辑型 二、逻辑型创建 1. 直接赋值 2. 根据表达式创建 3. 使用 logical 函数转换 三、逻辑型矩阵 1. 创建逻辑型矩阵 2. 转化逻辑型矩阵 〇、概述 逻辑型:也就是其它语言中

额外说明

Node.js 入门介绍与安装

文章目录 Node.js 是什么 Node.js 与JavaScript框架(比如JQuery、 ExtJS)等的关系 Node.js 的出现及应用场景 适用场景 Node.js 优缺点 下载安装 Node.js 是什么 Node.js 是一个基于V8的

额外说明

Java学习笔记3.8.4 内部类 - 匿名内部类

文章目录 零、本讲学习目标 一、内部类概述 二、匿名内部类 (一)匿名内部类定义 (二)匿名内部类说明 (三)访问局部变量注意事项 (四)创建匿名内部类对象的语法格式 (五)匿名内部类案例演示 1、创建动物接口 2、创建学生类 3、创建测试类 三、课后作

额外说明

Mask_RCNN项目下载、配置、运行保姆级教程

该教程是windows无GPU版 1.下载项目 进入国内github镜像 https://hub.nuaa.cf/ 搜索要找的模型 下载完成后,放到自己写代码的文件夹内,解压。 右键用pycharm打开 打开requirements.txt,里面有需要安

额外说明

Visual Studio 2008单元测试之NMock

  在做单元测试时,有时候需要其它的类的支持,但是其它的类很可能没有写好,或者根本就不存在,为了继续进行测试,我们不得不构造一个虚拟的类来帮助,NMock就是这样一个工具。 NMock2是NMock的针对FrameWork2.0的版本,免费的,网上教程非

额外说明

Spring MVC概述及环境配置IDEA+Maven+Tomcat7+JDK8

苹果安装在梅文 https://blog.csdn.net/u011886447/article/details/70200922 只需通过maven构建成IDE项目,执行以下命令,打开CMD: $ cd spring-mvc-mini $ mvn ec

ads via 小工具