Skip to content

docs(logs): add Log 12 for official benchmark and task allocation (2026-06-24)

赵烜熠 requested to merge zxy into main

📝 变更概述 (Overview)

本次提交属于文档更新,主要归档“灵枢”项目的第十二篇开发日志(Log 12)。

在前期完成项目原型脚手架、JSON Schema、dmesg parser、commit ingestion、检索基线和规则化重排等准备工作后,本阶段官方赛题组正式提供 small benchmark 数据集。项目因此从原型准备阶段进入基于真实数据集的工程开发和效果验证阶段。

本次日志重点记录官方数据集的基本结构、case 类型分布、ground truth 情况、目录组织方式,以及团队后续四个核心模块的研发分工。

🔍 详细变更列表 (Changes)

1. 归档 Log 12:官方 Benchmark 数据集接收与真实研发任务分工

新增第十二篇开发日志,主要记录:

  • 官方 small benchmark 数据集已下发;
  • 数据集路径为 /home/zy/proj19_small_benchmark
  • 数据入口为 testcases/small_cases.json
  • 当前包含 20 个 enabled case;
  • 输入包含 20 个 dmesg、20 个 vmcore,以及源码包和 debuginfo / dbgsym 包;
  • ground truth 中 19 个 case 给出 upstream fix commit,1 个 L2TP case 按根因和修复标准判定。

2. 统计数据集 Case 分布

日志中整理了当前 20 个 enabled case 的基本分布:

  • panic 类型:mem 12、hungtask 4、bugon 3、softlockup 1;
  • 难度分布:easy 9、medium 10、hard 1;
  • 发行版分布:Ubuntu 16、Debian 3、CentOS 1。

这些统计结果为后续 dmesg parser、vmcore 分析和评估脚本设计提供了依据。

3. 梳理数据集目录结构

日志中记录了数据集主要目录及其作用:

  • small_cases.json:case 元数据入口;
  • dmesg/:每个 case 对应的 dmesg 日志;
  • vmcore/:按 panic 类型组织的 vmcore 文件;
  • debuginfo/:不同 kernel version 对应的调试符号目录;
  • source/:不同 kernel version 对应的源码目录;
  • packs/:原始源码包、dbgsym 包和 debuginfo 包。

4. 完成团队模块分工记录

日志中根据项目整体架构初步明确四个核心模块分工:

  • 赵烜熠:异构问题特征提取与标准化引擎;
  • 陶子昊:海量 Upstream 补丁数据湖与索引架构;
  • 和同学:混合语义检索与版本过滤网络;
  • 方静怡:因果重排与可解释性输出专家。

其中,赵烜熠负责模块一,后续将重点推进 small_cases.json 解析、dmesg 批量解析、vmcore 与 debuginfo 自动关联,以及不同 panic 类型的特征提取策略。

5. 明确下一阶段研发重点

下一阶段将围绕真实 benchmark 的 case loader 和批量特征提取继续推进,重点包括:

  • 解析 small_cases.json
  • 自动生成 dmesg、vmcore、debuginfo 和 source 路径;
  • 批量处理 20 个真实 dmesg 文件;
  • 输出初步 crash_features.jsonl
  • 针对 mem、hungtask、bugon 和 softlockup 分别设计 vmcore 分析策略;
  • 基于 19 个 ground truth commit 设计 Top-K 命中率评估脚本。

📂 日志归档位置

新增日志已归档至:

  • docs/logs/2026-06-24-log12-official-benchmark-and-task-allocation.md

注:本次合并仅涉及 docs/logs/ 目录下的开发日志归档,不包含业务逻辑代码修改。

Merge request reports