从“我的模型更好”到“如何科学证明模型更好”

Sat, 01 Aug 2026 12:17:00 +0800

写算法论文时，实验几乎总是同一句话：新方法比已有方法更好。可很多文章却用 paired two-sided Wilcoxon signed-rank test，而不是看起来更贴题的单侧检验。这并不矛盾——论文目标是“证明更好”，统计假设通常先问“差异是否可靠”。

图：模型比较中的单侧/双侧、配对/非配对、流程、选型与常见错误。

1. 比较的是差值，不是两堆分数

Dataset	Ours	Baseline	$d_i$
D1	0.72	0.65	+0.07
D2	0.81	0.74	+0.07
D3	0.68	0.70	−0.02
D4	0.76	0.71	+0.05

$$ d_i = Ours_i - Baseline_i $$

要回答的是：这些 $d_i$ 是否大到不像随机波动。

单侧直接对准“是否更好”：

$$ H_0: \mu_{ours} \leq \mu_{baseline},\quad H_1: \mu_{ours} > \mu_{baseline} $$

双侧问的是“是否不同”：

$$ H_0: \mu_{ours} = \mu_{baseline},\quad H_1: \mu_{ours} \neq \mu_{baseline} $$

药物试验里方向往往事先钉死（例如只关心是否降压），单侧合理。算法 benchmark 不然：个别数据集上变差也是信息，审稿人通常希望你先报告“是否存在可靠差异”，方向再由均值/中位数给出。若 $p<0.05$ 且中位差为正，仍可写 significantly outperformed。