• 发行注记

v6.4 CE Release Notes

创建时间：2024-11-05 最近修改时间：2024-11-05

#1. v6.4.9 [2024/01/18]

#1.1 新特性

  • API
    • SQL API 新增 Derivative 前置算子，可对 Prometheus Counter 类型的指标量计算差值，从而计算速率
    • SQL API 增加 TopK 和 Any 算子，获取指定 Tag 的高频值或任意值
  • CLI
    • 支持利用 deepflow-ctl 调试 eBPF Socket Data
  • Agent
    • Agent 的 eBPF 功能适配 Linux 3.10 内核（详细文档）

#1.2 优化

#2. v6.4.8 [2024/01/11]

N/A

#3. v6.4.7 [2024/01/04]

#3.1 新特性

  • AutoTagging
    • 增强 HTTP2 压缩头的解析能力，cBPF、eBPF kprobe 数据支持压缩还原

#4. v6.4.6 [2023/12/28]

#4.1 优化

  • AutoProfiling
    • 开启 Profiling 功能时，无需在 Java 进程所在 Pod 中生成符号表文件
  • Server
    • ClickHouse 中增加 trace_id_index 整形列，作为 trace_id 字段的索引列，且支持提取其中的 Timestamp，加速 TraceID 搜索
  • Wasm
    • Wasm Plugin 支持在 Agent 中动态加载
  • CLI
    • 增加 list 命令：deepflow-ctl domain additional-resource list --type <resource_type> --name <resource_name>

#5. v6.4.5 [2023/12/21]

#5.1 新特性

  • AutoMetrics
    • MySQL、PostgreSQL、Redis 协议数据支持脱敏，可通过 Agent 的 obfuscate-enabled-protocols 开启（感谢 eddietanshuo：FR (opens new window)）`
  • AutoTagging
    • 支持向所有观测数据注入自定义自动分组标签，通过组合多个标签字段，实现自动取值第一个非空标签、忽略后续其他标签列的能力
  • Integration
    • Server 支持通过 Prometheus RemoteWrite 协议 Export 指标（感谢 chenjiandongx：PR (opens new window)）

#5.2 优化

  • Server
    • 优化 K8s Label 同步机制，支持设置正则表达式过滤感兴趣的标签，支持限制标签值的最大长度
    • ClickHouse 升级到 v23.8（LTS）

#6. v6.4.4 [2023/12/07]

#6.1 新特性

  • AutoMetrics
    • 支持解析 Geneve 隧道封装（适配 Kube-OVN）
  • AutoTagging
    • 支持精准设置 HostNetwork Pod 所有 eBPF 观测数据的 Pod 标签
    • 为持续剖析数据增加 gprocess 进程信息标签
    • 支持同步华为公有云的 RDS、Redis 资源
    • 支持同步百度公有云的 Redis 资源
  • AutoProfiling
    • 支持展示一个服务器上所有进程的全景 CPU 火焰图，精细到线程粒度
    • 通过随机滞后的方式穿插生成 Java 进程的符号表，避免扎堆导致高负载，支持修改 Agent 的 java-symbol-file-refresh-defer-interval 配置项以调整滞后的基础间隔
  • Server
    • 支持根据 Agent 发送的数据量大小均衡分配数据发送的 Server，提升 ClickHouse 的数据量均衡性（感谢 jiekun：FR (opens new window)）

#6.2 优化

#7. v6.4.3 [2023/11/23]

#7.1 新特性

  • AutoMetrics
    • 支持解析 TLS 之上的所有加密应用协议，不局限于 HTTP（感谢 dirtyren：FR (opens new window)）
  • AutoTagging
    • 支持同步腾讯公有云、华为公有云中云服务器的标签信息，支持同步阿里公有云中云服务器的资源集信息

#7.2 优化

  • AutoMetrics
    • 精简流日志中的建连指标，删除冗余的 rtt_client_avg 和 rtt_server_avg
    • 优化 DNS 流量的默认解析端口，增加 5353，详见 Agent 的 l7-protocol-ports 配置项
  • AutoTagging
    • 废弃 l7_protocol（应用协议）中的 Others 类型，合并 HTTP_TLS、HTTP2_TLS 到 HTTP 和 HTTP2，调用日志中增加 is_tls 表示是否是加密流量

#8. v6.4.2 [2023/11/09]

#8.1 新特性

  • AutoTracing
    • 支持提取 SofaRPC Payload（Hessian 编码、TreeMap 结构）中的 trace_id
    • 支持提取 Kafka 消息中 SkyWalking、OpenTelemetry 注入的 TraceID 字段
    • 支持解析 SkyWalking sw3 Header（感谢 Wadud-Ma：FR (opens new window)，PR (opens new window)）
  • AutoTagging
    • 支持提取 Kafka 消息中的 topic_name 字段并赋值到调用日志的 request_resource 中（感谢 mickeyzzc：FR (opens new window)）
    • 支持从 HTTP URL 中提取 endpoint 并赋值到调用日志和应用性能指标数据中，支持为 Agent 配置 http-endpoint-extraction 提取规则（感谢 DomineCore：FR (opens new window)）

#8.2 优化

  • AutoMetrics
    • 将 ProtobufRPC 协议的实现从 Rust 代码移动至 Wasm Plugin 中
    • 使用 eBPF 获取 Socket 的 Accept/Connect 类型，矫正调用日志和应用性能指标的方向
  • Agent
    • 使用 TCP 协议传输 Agent 自身的日志
  • Server
    • Agent、Server 的自监控指标在 ClickHouse 中合并为一张表 deepflow_system.deepflow_system
  • API
    • 支持按名称删除云平台

#8.3 社区 PR

#9. v6.4.1 [2023/10/26]

#9.1 新特性

  • AutoMetrics
    • 支持解析 MongoDB 协议（感谢 mickeyzzc：FR (opens new window), PR (opens new window)）
    • 流日志、网络性能指标中，系统时延（srt、srt_max）支持记录 ICMP 流量的时延，并支持利用 ICMP Echo 消息矫正 ICMP 流量的记录方向
  • AutoTagging
    • 为所有的观测数据增加 pod_group_type（K8s 工作负载类型）标签字段，扩展 auto_service_type 的取值以表示 K8s 工作负载的类型
    • 调用日志增加协程 ID 字段 syscall_coroutine_0、syscall_coroutine_1

#9.2 社区 PR

#10. v6.4.0 [2023/10/12]

#10.1 优化

  • Server
    • ClickHouse 使用 Array(LowCardinality(String)) 替代 Array(String) 优化低基数字段读写性能，例如 tag_names、metrics_names 等
    • Profiling 数据支持在 ClickHouse 中明文（非压缩）存储（感谢 tailerong：FR (opens new window)）
  • CLI

#10.2 社区 PR