小工具      在线工具  汉语词典  css  js  c++  java

MDC实现微服务链路追踪

微服务,微服务,java,架构 额外说明

收录于:40天前

MDC实现微服务链路追踪

一、问题背景

在微服务架构中,我们无法快速定位到用户请求对应的所有日志。解决生产问题将非常困难。那是因为我们在输出日志的时候并没有输出请求的唯一标识给我们。在日志中,我们无法根据请求或用户身份来过滤日志。

二、MDC简介

MDC(Mapped Diagnostic Context)是log4j和logback提供的功能,方便多线程情况下进行日志记录。 MDC可以看成是一个绑定到当前线程的Map,可以在其中添加键值对。 MDC 中包含的内容可以由同一线程中执行的代码访问。当前线程的子线程将继承其父线程中MDC的内容。当需要日志记录时,只需从MDC获取所需的信息即可。 MDC 的内容由程序在适当的时间保存。对于 Web 应用程序,此数据通常在处理请求开始时保存。

接口说明:

clear() => 移除所有MDC
get (String key) => 获取当前线程MDC中指定key的值
getContext() => 获取当前线程MDCMDC
put(String key, Object o) => 往当前线程的MDC中存入指定的键值对
remove(String key) => 删除当前线程MDC中指定的键值对 。

三、实现方式

由于MDC内部使用ThreadLocal,因此只有本线程有效,子线程和下游服务MDC中的值都会丢失。因此,解决方案的主要难点是解决价值转移问题;

1. 工具类
public class TraceIdUtil {
    
    public static final String TRACE_ID = "traceId";

    public static String getTraceId() {
    
        String traceId = MDC.get(TRACE_ID);
        return traceId == null ? "" : traceId;
    }

    public static void setTraceId(String traceId) {
    
        MDC.put(TRACE_ID, traceId);
    }

    public static void remove() {
    
        MDC.remove(TRACE_ID);
    }

    public static void clear() {
    
        MDC.clear();
    }

    public static String generateTraceId() {
    
        return UUID.randomUUID().toString().replace("-", "");
    }

}
  • logback日志,这里的[%X{traceId}] 就是MDC中的,切不可写错key
<property name="console.log.pattern"
          value="%red(%d{yyyy-MM-dd HH:mm:ss}) %green([%thread]) %highlight(%-5level) %boldMagenta(%logger{36}) [%X{traceId}] - %msg%n"/>
2. 拦截器
  • 通过拦截器拦截请求,判断请求头中是否存在traceId。如果存在,则将其存储在 MDC 上下文中。如果不存在,则会生成traceId并存储在MDC中。
public class MdcInterceptor implements HandlerInterceptor {
    

    @Override
    public boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception {
    
        //如果有上层调用就用上层的ID
        String traceId = request.getHeader(TraceIdUtil.TRACE_ID);
        if (StrUtil.isEmpty(traceId)) {
    
            TraceIdUtil.setTraceId(TraceIdUtil.generateTraceId());
        } else {
    
            TraceIdUtil.setTraceId(traceId);
        }
        return true;
    }

    @Override
    public void afterCompletion(HttpServletRequest request, HttpServletResponse response, Object handler, Exception ex) throws Exception {
    
        //调用结束后删除
        TraceIdUtil.remove();
    }

}
  • 注册拦截器
@Component
public class WebAppConfigurer implements WebMvcConfigurer {
    

    @Override
    public void addInterceptors(InterceptorRegistry registry) {
    
        // 可添加多个
        registry.addInterceptor(new MdcInterceptor()).addPathPatterns("/**");
    }
}
3. 请求头传递
  • 这里使用了openFeign的解决方案。其他也类似。 TraceId 被插入到请求标头中。
@Component
public class MyFeignRequestInterceptor implements RequestInterceptor {
    

    @Override
    public void apply(RequestTemplate requestTemplate) {
    
        String traceId = TraceIdUtil.getTraceId();
      	// 传递请求头
        if (StrUtil.isNotBlank(traceId)) {
    
            requestTemplate.header(TraceIdUtil.TRACE_ID, traceId);
        } else {
    
            requestTemplate.header(TraceIdUtil.TRACE_ID, TraceIdUtil.generateTraceId());
        }

    }
}
4. 线程父子间传递
  • 由于MDC底层是ThreadLocal,子线程将无法获取主线程中的数据。
public class ThreadMdcUtil {
    
    public static void setTraceIdIfAbsent() {
    
        if (MDC.get(TraceIdUtil.TRACE_ID) == null) {
    
            MDC.put(TraceIdUtil.TRACE_ID, TraceIdUtil.generateTraceId());
        }
    }

    public static <T> Callable<T> wrap(final Callable<T> callable, final Map<String, String> context) {
    
        return () -> {
    
            if (context == null) {
    
                MDC.clear();
            } else {
    
                MDC.setContextMap(context);
            }
            setTraceIdIfAbsent();
            try {
    
                return callable.call();
            } finally {
    
                MDC.clear();
            }
        };
    }

    public static Runnable wrap(final Runnable runnable, final Map<String, String> context) {
    
        return () -> {
    
            if (context == null) {
    
                MDC.clear();
            } else {
    
                MDC.setContextMap(context);
            }
            //设置traceId
            setTraceIdIfAbsent();
            try {
    
                runnable.run();
            } finally {
    
                MDC.clear();
            }
        };
    }
}
  • 自定义线程池
public class ThreadPoolExecutorMdcWrapper extends ThreadPoolTaskExecutor {
    
    private static final long serialVersionUID = 3940722618853093830L;

    @Override
    public void execute(Runnable task) {
    
        super.execute(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }

    @Override
    public <T> Future<T> submit(Callable<T> task) {
    
        return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }

    @Override
    public Future<?> submit(Runnable task) {
    
        return super.submit(ThreadMdcUtil.wrap(task, MDC.getCopyOfContextMap()));
    }
}
@Configuration
public class ThreadPoolTaskExecutorConfig{
    
    //最大可用的CPU核数
    public static final int PROCESSORS = Runtime.getRuntime().availableProcessors();
    @Bean
    public ThreadPoolExecutorMdcWrapper getExecutor(){
    
        ThreadPoolExecutorMdcWrapper executor =new ThreadPoolExecutorMdcWrapper();
        executor.setCorePoolSize(PROCESSORS *2);
        executor.setMaxPoolSize(PROCESSORS * 4);
        executor.setQueueCapacity(50);
        executor.setKeepAliveSeconds(60);
        executor.setThreadNamePrefix("Task-A");
        executor.setRejectedExecutionHandler(new ThreadPoolExecutor.AbortPolicy());
        executor.initialize();
        return executor;
    }
}
  • 单线程方法(不推荐)
public class MDCRunable implements Runnable {
    
   
    private Map<String, String> copyOfContextMap;

    private Runnable runnable;

    public MDCRunable(Runnable runnable) {
    
        this.copyOfContextMap = MDC.getCopyOfContextMap();
        this.runnable = runnable;
    }

    @Override
    public void run() {
    
        if (!copyOfContextMap.isEmpty()) {
    
            MDC.setContextMap(copyOfContextMap);
        }
        try {
    
            runnable.run();
        } finally {
    
            if (!copyOfContextMap.isEmpty()) {
    
                MDC.clear();
            }
        }
    }
}
5. 测试结果
  • 上游日志
2023-02-27 18:58:05 [http-nio-8099-exec-2] INFO  c.s.c.controller.ConsumerController [65f8173c73f945d99ea5b0ab209164fd] - consumer-打印日志2
2023-02-27 18:58:05 [DefaultAsync-1] INFO  c.s.c.controller.ConsumerController [65f8173c73f945d99ea5b0ab209164fd] - consumer-thread-01,测试线程
2023-02-27 18:58:05 [pool-9-thread-1] INFO  c.s.c.controller.ConsumerController [65f8173c73f945d99ea5b0ab209164fd] - consumer-mdc-thread
  • 下游日志
2023-02-27 18:58:05 [http-nio-8089-exec-1] INFO  c.s.f.p.c.ProviderController [65f8173c73f945d99ea5b0ab209164fd] - provider-测试日志
2023-02-27 18:58:05 [DefaultAsync-1] INFO  c.s.f.p.c.ProviderController [65f8173c73f945d99ea5b0ab209164fd] - provider-thread-02,测试线程

参考:

  • https://www.zhangshengrong.com/p/9MNlDOKvNJ/

我是1024,一个专注Java技术、记录生活的博主。

欢迎扫描二维码关注“1024公众号”,一起学习,一起进步,看更多路,少走弯路。

在这里插入图片描述

. . .

相关推荐

额外说明

如何解决github打不开的问题(亲测有效)

网上提供了很多针对github打开慢的解决方案,什么又是改host文件,又是下载杂七杂八的加速器等等,其实效果并不好,微软商城已有对应的软件可以解决该问题,获取路径更为安全。 目录 安装Watt Toolkit 找不到Microsoft Store解决方

额外说明

iptables使用详解(centos7)

我们需要安装iptables-services,用来启动和停止iptables服务 yum -y install iptables-services 防火墙配置文件 /etc/sysconfig/iptables 查询开启了那些内核模块 lsmod|eg

额外说明

皮匠

cobbler 1. cobbler简介 Cobbler是一个Linux服务器安装的服务,可以通过网络启动(PXE)的方式来快速安装、重装物理服务器和虚拟机,同时还可以管理DHCP,DNS等。 Cobbler可以使用命令行方式管理,也提供了基于Web的界

额外说明

17.自定义过滤器及模板中的使用(实战通过自定义过滤器实现内置过滤器lower和cut的功能)

引言——分析Django内置的模板过滤器: 通过分析可以将内置的过滤器理解为: 一个带有一个或两个参数的python函数: (输入的)变量的值【注意:不一定是字符串形式,在前面也讲过可以是哪些类型。】 参数的值——可以有一个初始值,或者完全没有参数。  

额外说明

深度学习入门必读 | 深度学习算法技术原理和发展

前言:Hello大家好,我是小哥谈。随着人工智能技术的发展,深度学习已经成为了一个热门话题。为了让大家能够更清晰直观的了解深度学习,今天这篇文章就重点给大家介绍一下深度学习算法的技术原理和发展!-      目录 -1.人工智能、机器学习和深度学习的概念

额外说明

解决问题 - 错误:不支持发行版本 5

文章目录 一、提出问题 二、解决问题 (一)设置项目SDK与语言等级 (二)设置模块语言等级 (三)设置Java编译器等级 (四)运行程序,测试问题是否已解决 一、提出问题 基于JDK11创建Java项目,运行时报错 - 错误:不支持发行版本 5 二、解

额外说明

C语言实现数组逆序存放-----数组,指针

内容目录 思路解析 运用知识点 代码实现 1.思路解析 先接受存入数组的个数以及数组,然后将原序数组折中交换: 即将数组对半,第一个与最后一个交换,第二个与倒数第二个交换,以此类推。 此过程涉及双指针移动。  2.运用知识点 数组,指针(双指针移动,指针

额外说明

webpack5 打包报错:Module parse failed: Unexpected token

无法解析 vue 文件中的 css stylus。修改配置文件 webpack.config.js 文件。第 4 行,加上 vue 即可。 module: { rules: [ { test: /\.(

额外说明

解决系统缺少找不到msfeeds.dll文件的问题

其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题,如果是新手第一时间会认为是软件或游戏出错了,其实并不是这样,其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库,这时你可以下载这个msfeeds.dll文件(

ads via 小工具