小工具      在线工具  汉语词典  css  js  c++  java

java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.<init>(ZIIIIIIZ)V

大数据,java,大数据,spark 额外说明

收录于:158天前

java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.(ZIIIIIIZ)V

在Java中操作spark时出现上述错误,如下代码所示:

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.ArrayList;
import java.util.List;

class sparkConnect {
    

    sparkConnect() {
    

        //解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

        System.setProperty("hadoop.home.dir","D:\\SoftWares\\Apache\\spark-3.3.1-bin-hadoop3");


        JavaSparkContext sc = new JavaSparkContext("local", "thisSpark");
        List<Integer> list = new ArrayList<Integer>();
        list.add(1); list.add(2); list.add(3);

        //内存中获取数据常见rdd
        JavaRDD<Integer> rdd = sc.parallelize(list);

        //rdd计算
        JavaRDD<Integer> listPlus = rdd.map(y->y+5);

        System.out.println("list is:" + list);
        System.out.println("listPlus is:"+ listPlus);
        System.out.println("the relation is list plus five = listPlus");


    }

    public static void main(String[] args) {
    

        sparkConnect sparkConnect = new sparkConnect();
    }

}

这个错误困扰了我一天半,及其头疼,在查看了报错的Netty官方文档https://netty.io/4.1/api/overview-summary.html后也没找到解决方案。

在这里插入图片描述

Spark开发文档

在这里插入图片描述

于是寻找度娘,终于看到了该博主的文章解决了我的问题【Spark3.2】io.netty.buffer.PooledByteBufAllocator.<init>(ZIIIIIIZ)V和这位博主遇到的问题是同意类型,但解决方案却不同。

报错如下:

在这里插入图片描述

dependencyManagement

Maven可以通过dependencyManagement元素来管理依赖关系,它有以下两大特点:

  • 在此元素下声明的依赖项不会实际引入到模块中。仅当依赖项也在依赖项元素下声明时,才会将其引入到模块中。
  • 该元素可以限制依赖项下依赖项的使用。也就是说,如果dependency声明的依赖项没有指定版本,则将使用dependencyManagement中指定的版本。否则,dependencyManagement中的版本将被覆盖。

为了避免多次引入造成的冲突问题,将io.netty.buffer交由dependencyManagement管理。pom如下:

在这里插入图片描述

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>io.netty</groupId>
                <artifactId>netty-buffer</artifactId>
                <version>4.1.58.Final</version>
            </dependency>
            
        </dependencies>
    </dependencyManagement>

java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.util.LookupCache

找不到spring boot中内置的jackson。 spring boot版本太低。只需增加spring boot版本即可。

在这里插入图片描述

使用2.1.8报告的错误可以改进为2.7.6。

在这里插入图片描述

在这里插入图片描述

. . .

相关推荐

额外说明

异常java java.sql.Timestamp cannot be cast to java.lang.String

当字符串: 2021-06-27 18:31:55.0 String s_date = (String)sendRecord.get("send_date"); 改为: Date send_date = (Date)sendRecord.get("sen

额外说明

java.lang.NoSuchMethodError: javax.ws.rs.core.UriBuilder.resolveTemplates(Ljava/util/Map;)Ljavax/ws/

      java.lang.NoSuchMethodError: javax.ws.rs.core.UriBuilder.resolveTemplates(Ljava/util/Map;)Ljavax/ws/rs/core/UriBuilder;  

额外说明

CentOS7。安装redis4.0

  # tar zxvf redis-4.0.2.tar.gz   解压后进入解压目录 # make    # make install   # ps -ef | grep redis   进行客户端 #  redis-cli         [root

额外说明

node对上传表单的密码进行加密

1.导入生成Token的包 npm i [email protected] 2.导入jsonwebtoken // bcryptjs是一种密码哈希函数,它使用加密算法生成哈希值 const bcrypt = require("bcryptjs"); 3.使用方

额外说明

25种代码坏味道总结

前言 什么样的代码是好代码呢?好的代码应该命名规范、可读性强、扩展性强、健壮性......而不好的代码又有哪些典型特征呢?这25种代码坏味道大家要注意啦 1. Duplicated Code (重复代码) 重复代码就是不同地点,有着相同的程序结构。一般是

额外说明

VC 编程技巧 (六)

(1) 怎样知道CWinThread对象的状态? 怎样才能知道一个线程是在运行还是已经终止? 可以利用线程句柄所指的::GetExitCodeThread()函数,如果线程已经结束, 它将返回一个退出代码,如果还在运行,则返回一个STILL_ACTIVE

额外说明

一种 Hadoop 和 Spark 框架的性能优化系统

文章目录 背景介绍 大数据概念 大数据特征 问题解决 Apache Hadoop 介绍 Apache Spark 介绍 两者的联系 如何精进 从 Hadoop 源头 从数据压缩入手 从 Hadoop 特性 相关工作 引文 背景介绍 大数据概念 大数据(B

额外说明

数据分析 - 单表简单查询

文章目录 一、T-SQL (一)SQL (二)T-SQL (三)SQL与T-SQL对比 (四)查询是数据库核心操作 (五)T-SQL语法元素 1、对象引用 2、保留字 3、标识符 4、常用数据类型 (1)数值型 (2)字符型 (3)日期型 (4)注意事项

额外说明

google map Search

实现google 搜索功能.    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"     "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.d

额外说明

Go的init函数、匿名函数、闭包、函数参数传递

初始化函数 go的每个源文件中都有一个init函数。该函数会在主函数执行之前被调用,并且该方法将通过显式重载被赋予一个新的方法体。 在go源文件中,程序的执行顺序是全局变量、init函数、main函数。 package main import "fmt

ads via 小工具