小工具      在线工具  汉语词典  css  js  c++  java

Ubuntu 20.04下搭建单机伪分布式Hadoop

大数据,hadoop 额外说明

收录于:157天前

JDK环境配置

Hadoop需要JDK环境安装和配置:

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html官网下载Linux的版本如jdk-8u231-linux-x64.tar.gz

新建Java文件夹并解压JDK:tar -zxvf jdk-8u231-linux-x64.tar.gz
在这里插入图片描述

配置环境变量:

cd /etc
sudo vi profile

在文件末尾添加以下内容(具体路径根据环境而定):

export JAVA_HOME=/Java/jdk1.8.0_11
export JRE_HOME=/Java/jdk1.8.0_11/jre
export PATH=${
    JAVA_HOME}/bin:$PATH

在这里插入图片描述

保存退出,在终端界面使用命令: source /etc/profile使配置文件生效。输入java -version查看是否配置成功
在这里插入图片描述

也可以选择安装openjdk:

#安装命令
sudo apt-get install openjdk-8-jre openjdk-8-jdk

#卸载命令
sudo apt-get remove openjdk-8-jdk
sudo apt-get remove openjdk-8-jre-headless 

下载并配置Hadoop

新建Hadoop文件夹,解压文件tar -zxvf hadoop-2.10.1.tar.gz
在这里插入图片描述
在这里插入图片描述
hadoop需要ssh免密登陆等功能,因此先安装ssh。

 sudo apt-get install ssh

解压后修改hadoop-env.sh配置文件在这里插入图片描述修改JAVA_HOME为本机的JDK路径。在这里插入图片描述

配置Hadoop的环境变量:在/etc/profile追加Hadoop的环境变量。
在这里插入图片描述

修改core-site.xml配置文件
在这里插入图片描述


<configuration>
	<property>
        	<name>fs.defaultFS</name>
        	<value>hdfs://localhost:9000</value>
   	</property>
   	<property>
        	<name>hadoop.tmp.dir</name>
        	<value>/home/master/Hadoop/hadoop-2.10.1/etc/tmp</value>
   	</property>
   	
</configuration>

注意一定要设置hadoop.tem.dir,否则下次启动时会找不到namenode。

修改hdfs-site.xml配置文件
在这里插入图片描述

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
</configuration>

设置免密登陆

输入ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa出现下面内容:
在这里插入图片描述
再输入cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
接着输入chmod 0600 ~/.ssh/authorized_keys
在这里插入图片描述
检验免密登录是否成功:
使用命令:ssh localhost输入yes,出现下面情况就说明ok了。在这里插入图片描述

验证Hadoop安装

格式化文件系统,只能格式化一次。hdfs namenode -format
在这里插入图片描述
在这里插入图片描述

启动hadoop进程start-dfs.shstart-all.sh结果却出现:
在这里插入图片描述
出错的原因是脚本命令实在hadoop文件夹下的sbin目录而不是bin目录
在这里插入图片描述
修改/etc/profile的最后一个PATH的${HADOOP_HOME}/sbin将bin改为sbin即可。

修改后成功启动hadoop集群:
在这里插入图片描述
输入jps查看hadoop进程:
在这里插入图片描述

注意需要在namenode上启动集群

通过web访问hadoop
主机输入:[ip:50070]访问NameNode
在这里插入图片描述
主机输入:[ip:50090]访问DataNode

在这里插入图片描述

常见命令:
stop-all.shstop-dfs.sh停止所有进程。
start-all.shstart-dfs.sh启动所有进程。
jps查看所有进程。

上述hadoop环境采用伪分布式方式搭建,一台虚拟机同时作为主节点和从节点。搭建完整的集群请参考Linux Commune。

更多资讯访问Linux公社乌班图论坛

. . .

相关推荐

额外说明

JavaScript 发送 HTTP 请求

要在 JavaScript 中发出 HTTP 请求,您可以使用 XMLHttpRequest 对象或 fetch() 函数。 下面是使用 XMLHttpRequest 发出 GET 请求的示例: const xhr = new XMLHttpReques

额外说明

wpf 触发器例子

触发器例子 <Window.Resources> <Style x:Key="defaultstyle" TargetType="Button" > <Style

额外说明

HTML基础知识学习笔记附代码

初识HTML HTML(Hyper Text Markup Language)超文本标记语言 W3C(万维网联盟)World Wide Web Consortium W3C标准包括 接口化标准语言(HTML、XML) 表现标准语言(CSS) 行为标准(D

额外说明

第09章 文本数据处理的常用SQL函数

《SQL 从入门到精通》专栏目录 第 01 篇 和数据打交道的你,一定要学会 SQL 第 02 篇 在 SQL 的世界里一切都是关系 第 03 篇 使用 SELECT 语句初步探索数据库 第 04 篇 通过查询条件实现数据过滤 第 05 篇 如何使用 S

额外说明

【游戏概率】☀️ 游戏中的常见概率设计分析,游戏概率常用算法整理

- 博客主页:https://xiaoy.blog.csdn.net - 本文由 呆呆敲代码的小Y 原创 - - 学习专栏推荐:Unity系统学习专栏 - 游戏制作专栏推荐:游戏制作 -Unity实战100例专栏推荐:Unity 实战100例 教程 -

额外说明

【小Y学算法】⚡️每日LeetCode打卡⚡️——12.合并两个有序链表

-前言 -原题样例 -C#方法一:递归 -Java 方法一:递归 - 递归 问题 -总结 -前言 ---------------------------------------- - 每天打卡一道算法题,既是一个学习过程,又是一个分享的过程- - 提示:

额外说明

SLAM

同时定位于建图 数学语言描述: full slam:估计所有的pose和地图 online slam:估计某一个pose和地图

额外说明

每日LeetCode之两整数相除

原题链接:https://leetcode-cn.com/submissions/detail/3096732/ 解决方案一:采用二分法,能够较快的解决不采用除法,乘法以及mod方法来计算两个整数的除法的问题。 public int divide

额外说明

wordpress 数据库_如何一键优化您的WordPress数据库

WordPress 数据库 您优化过 WordPress 数据库吗?优化数据库可以清除不需要的数据,从而减小数据库大小并提高性能。在本文中,我们将向您展示如何一键轻松优化 WordPress 数据库。 您优化过 WordPress 数据库吗?优化数据库可

额外说明

Postman如何导入导出接口文件

本文介绍两种导出和导入的方法:一种是分享链接并导入链接(需要登录);另一种是分享链接并导入链接(需要登录)。另一种是导出json文件,然后再次导入。这将在下面详细描述。 由于第一种分享链接,导入链接的方式需要登录,所以推荐使用第二种生成json文件的方法

ads via 小工具