• Cormac's avatar
    feat(benchmark,docs): 评测 harness 升级与初赛合规整理 · 3049a531
    Cormac authored
    周末把两件一直攒着的事一起收掉:一是评测 harness 从"单配置批量跑"升级成"多配置消融 + 分阶段计时 + 多产物报告",二是按初赛仓库合规检查报告把 CC-BY-SA 标注、设计方案索引、数据目录这些规范项补齐。两部分都已本地跑通,离 6-30 初赛截止还有一个月,先把工程与合规底子打牢。
    
    主要内容:
    
    评测 harness 升级
    - `benchmark/evaluators/runner.py`:引入 `RunConfig` 消融开关(enable_graph / enable_causal / enable_evidence),enable_graph=False 时基于种子构造空 `AnomalousSubgraph`;用 `time.perf_counter()` 采集 ingest / preprocess / detection / graph / ranking / causal / evidence / explain 八段与总耗时。
    - `benchmark/evaluators/eval_offline.py`:新增 `--config` / `--ablation` / `--include-psm` 等参数;输出 `summary.json` / `per_case.json` / `predictions.json` / `all_configs.json` / `report.md` / `summa...
    3049a531
To find the state of this project's repository at the time of any of these versions, check out the tags.