基于追踪到的数据流信息,进行数据链路分析。这包括确定数据链路中的瓶颈、延迟、错误和数据丢失等问题。通过分析数据链路,可以找出导致问题的环节,并提供相应的优化和改进建议。
在全链路消息跟踪中,数据流的跟踪和解析是一个关键步骤,数据流的跟踪通常通过在系统中埋点或拦截关键节点的方式实现。当消息经过这些节点时,会记录相关的信息,如消息的内容、时间戳、发送者和接收者等。这些信息可以被捕获和存储,用于后续的分析和追踪。
目前我们设计模式中有三种方式来进行链路数据的跟踪。
基于日志的实现方法是消息全链路跟踪的一种常见方式。它通过在每个服务或组件中记录相关的日志信息来实现消息的跟踪和监控。下面是基于日志的实现方法的流程:
基于日志的实现方法相对简单且易于扩展,因为它借助于已经存在的日志记录机制和工具。然而,它也存在一些限制,如日志量的增加、日志传递的开销和跨服务边界的上下文传递等挑战。因此,在实际应用中,通常需要结合其他技术和方法,如注入式跟踪和集成式跟踪系统,来实现更全面和高效的消息全链路跟踪。
基于注入的实现方法是消息全链路跟踪的另一种常见方式。它通过在消息传递路径上的每个服务或组件中插入代码来实现消息的跟踪和监控。下面是基于注入的实现方法的流程:
基于注入的实现方法具有较高的灵活性和精确度,因为它可以直接在代码中插入跟踪逻辑。然而,它也需要在每个服务或组件中进行修改和注入代码,对现有代码的侵入性较大。此外,注入的实现方法可能需要更多的开发工作和技术支持,以确保正确的跟踪逻辑和数据收集。
从前面两种实现方式来看,对于现有系统代码的侵入性相对都比较强,对于已经运营的生产系统来说不是最友好的方式,且定制化高,不易于扩展和维护。因此,就有了第三种实现方法——基于AOP的实现消息记录。
AOP通过将横切的信息收集点从业务逻辑中抽象出来,使得信息收集点的实现可以集中在一个地方,提高了代码的模块化和可维护性,减少代码冗余。其次,AOP使得信息收集点的配置和管理更加集中化,可以更方便地管理和修改信息收集点的实现。
基于AOP的实现方法,当然也有它特有的实现步骤:
通过基于AOP的实现方法,可以在关键的方法调用或消息传递上插入跟踪逻辑,实现消息全链路跟踪。这种方法具有较强的灵活性和可扩展性,可以适用于分布式系统。
在实现全链路消息跟踪时,存储和索引跟踪数据是关键的一步。存储和索引跟踪数据可以帮助实现对消息的快速检索、分析和查询,从而支持故障排查、性能优化和系统监控等任务。以下是采用的数据存储方式:
数据库存储:每个消息可以作为一个记录,包含相关的字段(例如链路追踪标识符、时间戳、消息唯一标识、传递路径等)。使用数据库的查询功能可以对跟踪数据进行灵活的检索和分析。
搜索引擎跟踪:为了支持快速的数据检索和查询,以及报文数据的模糊搜索,可以使用搜索引擎支持复杂数据的查询。我们使用Elasticsearch作为消息详细信息的存储引擎,和数据库存储结合,通过建立索引来加速对跟踪数据的查询。索引可以基于消息的关键字段(如链路追踪标识符、时间戳)进行构建,以便快速地定位和访问跟踪数据。
数据存储除了中间件的选型,还需要将数据存储的过程和业务系统做成解耦,避免降低业务系统正常功能的性能情况。
下图是存储数据的过程:
首先通过埋点采集到数据后,可以将消息以【索引+全量的消息数据】的结构序列化存储到Redis缓存中;
第二步同步把重要索引类信息封装成消息体投入到消息队列中;
然后在消息存储应用中消费消息队列的消息,根据消息中的索引从Redis中获取实际的数据,写入到数据库以及Elastic Search中,完成链路消息的持久化。
可视化跟踪数据是实现全链路消息跟踪的关键一步,它可以帮助开发人员和运维人员更直观地理解和分析消息传递的流程和性能。
跟踪数据流程图:使用流程图工具(如Graphviz、Mermaid、AntV G6)可以绘制跟踪数据的流程图,展示消息在系统中的传递路径和中间节点的处理过程。
时间轴和日志视图:通过在时间轴上展示跟踪数据的时间戳和事件顺序,可以更清晰地了解消息的传递顺序和时间间隔。日志视图可以展示每个消息的详细信息,包括消息内容、上下文和处理日志等。
拓扑图和依赖关系图:使用拓扑图工具(如D3.js、Neo4j)可以绘制跟踪数据的拓扑图,展示服务之间的关系和依赖。