小工具      在线工具  汉语词典  css  js  c++  java

java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.<init>(ZIIIIIIZ)V

大数据,java,大数据,spark 额外说明

收录于:101天前

java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.(ZIIIIIIZ)V

在Java中操作spark时出现上述错误,如下代码所示:

import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.util.ArrayList;
import java.util.List;

class sparkConnect {
    

    sparkConnect() {
    

        //解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset

        System.setProperty("hadoop.home.dir","D:\\SoftWares\\Apache\\spark-3.3.1-bin-hadoop3");


        JavaSparkContext sc = new JavaSparkContext("local", "thisSpark");
        List<Integer> list = new ArrayList<Integer>();
        list.add(1); list.add(2); list.add(3);

        //内存中获取数据常见rdd
        JavaRDD<Integer> rdd = sc.parallelize(list);

        //rdd计算
        JavaRDD<Integer> listPlus = rdd.map(y->y+5);

        System.out.println("list is:" + list);
        System.out.println("listPlus is:"+ listPlus);
        System.out.println("the relation is list plus five = listPlus");


    }

    public static void main(String[] args) {
    

        sparkConnect sparkConnect = new sparkConnect();
    }

}

这个错误困扰了我一天半,及其头疼,在查看了报错的Netty官方文档https://netty.io/4.1/api/overview-summary.html后也没找到解决方案。

在这里插入图片描述

Spark开发文档

在这里插入图片描述

于是寻找度娘,终于看到了该博主的文章解决了我的问题【Spark3.2】io.netty.buffer.PooledByteBufAllocator.<init>(ZIIIIIIZ)V和这位博主遇到的问题是同意类型,但解决方案却不同。

报错如下:

在这里插入图片描述

dependencyManagement

Maven可以通过dependencyManagement元素来管理依赖关系,它有以下两大特点:

  • 在此元素下声明的依赖项不会实际引入到模块中。仅当依赖项也在依赖项元素下声明时,才会将其引入到模块中。
  • 该元素可以限制依赖项下依赖项的使用。也就是说,如果dependency声明的依赖项没有指定版本,则将使用dependencyManagement中指定的版本。否则,dependencyManagement中的版本将被覆盖。

为了避免多次引入造成的冲突问题,将io.netty.buffer交由dependencyManagement管理。pom如下:

在这里插入图片描述

    <dependencyManagement>
        <dependencies>
            <dependency>
                <groupId>io.netty</groupId>
                <artifactId>netty-buffer</artifactId>
                <version>4.1.58.Final</version>
            </dependency>
            
        </dependencies>
    </dependencyManagement>

java.lang.ClassNotFoundException: com.fasterxml.jackson.databind.util.LookupCache

找不到spring boot中内置的jackson。 spring boot版本太低。只需增加spring boot版本即可。

在这里插入图片描述

使用2.1.8报告的错误可以改进为2.7.6。

在这里插入图片描述

在这里插入图片描述

. . .

相关推荐

额外说明

劲舞团软件安装包分享(附安装教程)

目录 一、软件简介 二、软件下载   一、软件简介 Audition软件是一款由Adobe公司开发的音频处理软件,主要用于音频录制、编辑、混音和音效处理。它提供了丰富的工具和功能,帮助用户处理各种音频需求,如制作音乐、广播节目、音频纪录片等。 Audit

额外说明

C++程序设计:求某一年某一月份的天数

【问题描述】 输入年月,求该月份的天数。   【样例输入】 2000 2   【样例输出】 29   #include <iostream> using namespace std; int main() { int year,month; cin>

额外说明

springboot 缓存一致性常用解决方案

前言 多级缓存在微服务的架构设计中可谓随处可见,多级缓存作为提升系统高并发的常规手段,在各类大中小型的系统设计中都有体现; 下图是一张简单的服务端多级缓存设计示意图,多级缓存的常用解决方案,像ehcache + redis,或caffeine + spr

额外说明

【C语言】标准内容介绍(C99)

文章目录 C99标准 标准简介 C99移除隐式的int gets_s取代gets 标识的名字、注释、以及新增类型 柔性数组、VLA:、初始化指定元素 restrict、尾随逗号 主函数、变量随时定义、for循环 inline内联函数、可变参数宏、新的标准

额外说明

ch3_1_多进程的概念

1. CPU 的管理 CPU的工作原理: 从内存中取出程序的指令, 执行程序中的指令; 1.1 多道程序 假设A 程序运行时, 遇到 IO 处理时, 为了能够执行A 程序的后续指令, 正常情况下 cpu 需要等待着IO 处理完成, 而这个等待的期间 CP

额外说明

【Python 千题 —— 基础篇】句子单词小写

题目描述 题目描述 偶尔用户误输入大写字符串,我们需要将其转换成全小写。编写一个程序,输入一个句子字符串,然后将该字符串的全部字符转换成小写形式。 输入描述 输入一个字符串(句子)。 输出描述 程序将输入句子的所有字符转换为小写形式,并输出。 代码讲解

额外说明

【Go 基础篇】Go语言数据类型转换:精确的值变换与类型协作

介绍 在计算机编程中,数据类型转换是一种常见的操作,用于将一个类型的值转换为另一个类型。Go语言(也称为Golang)作为一门现代编程语言,具有强大的类型系统和灵活的数据类型转换机制,使得开发人员可以精确地变换数据值,以适应不同的需求。本篇博客将深入探讨

额外说明

企业级信息系统开发讲课笔记2.1 初探MyBatis实现简单查询

文章目录 零、本讲学习目标 一、什么是MyBatis (一)MyBatis概述 (二)ORM基本思想 二、创建数据库与表 1、创建数据库 2、创建用户表 3、添加表记录 三、基于配置文件方式使用MyBatis (一)创建Maven项目 (二)添加相关依赖

额外说明

js中的遍历方法比较:map、for...in、for...of、reduce和forEach的特点与适用场景

-博主:小猫娃来啦 -文章核心:JavaScript中的遍历方法比较:map、for…in、for…of和forEach的特点与适用场景 文章目录 map 方法 概述 用法 返回值特点 for...in 循环 概述 用法 注意事项 for...of 循环

额外说明

wordpress加速插件_如何使用插件管理器来加速您的WordPress网站

wordpress加速插件 After WordPress 托管, plugins are the second biggest reason that can cause your WordPress site to be slow. Often ti

ads via 小工具