https://chenxofhit.xyz/tags/%E7%94%9F%E7%89%A9%E4%BF%A1%E6%81%AF%E5%AD%A6/ Recent content in 生物信息学 on Xiang CHEN 陈向 Hugo en-us Xiang CHEN Wed, 05 Aug 2026 12:27:12 +0800 https://chenxofhit.xyz/posts/topk-auprc-auroc/ Wed, 05 Aug 2026 12:27:12 +0800 https://chenxofhit.xyz/posts/topk-auprc-auroc/ <p>很多生信任务的阳性极少，实验又贵，最后往往只验证排序最靠前的一小批候选。这时 AUROC、AUPRC 看的是「整条排序好不好」，实验室关心的却是「前 K 个里有没有真货」。两者不是一回事。Hits@K、MRR、precision@k、富集因子（EF）这类 Top-K 指标，往往更接近实际用法。</p> <p>下面先用一个示例把差别算清楚，再对照一篇真实论文，最后按任务类型说哪些适合换、哪些不必换。</p> <h2 id="一一个示例">一、一个示例</h2> <p>假设要给基因调控边（或药物靶点）排序，设定如下：</p> <table> <thead> <tr> <th>设定</th> <th>取值</th> <th>含义</th> </tr> </thead> <tbody> <tr> <td>候选边</td> <td>10,000</td> <td>模型给出完整排序</td> </tr> <tr> <td>真阳性</td> <td>20</td> <td>阳性率 0.2%</td> </tr> <tr> <td>实验预算</td> <td>只做前 50</td> <td>每条验证按 5 万元，合计约 250 万</td> </tr> <tr> <td>真正关心的问题</td> <td>前 50 里能命中几条？</td> <td>—</td> </tr> </tbody> </table> <p>构造三种排序（可用 <code>sklearn</code> 的 <code>roc_auc_score</code>、<code>average_precision_score</code> 复现）：</p> <table> <thead> <tr> <th>方法</th> <th style="text-align: right">AUROC</th> <th style="text-align: right">AUPRC</th> <th style="text-align: right">Hits@50</th> <th style="text-align: right">Precision@50</th> <th style="text-align: right">MRR</th> <th>花 250 万的结果</th> </tr> </thead> <tbody> <tr> <td>A</td> <td style="text-align: right"><strong>0.986</strong></td> <td style="text-align: right">0.065</td> <td style="text-align: right"><strong>0</strong></td> <td style="text-align: right">0%</td> <td style="text-align: right">0.008</td> <td>一条都没捞到</td> </tr> <tr> <td>B</td> <td style="text-align: right">0.643</td> <td style="text-align: right">0.084</td> <td style="text-align: right"><strong>6</strong></td> <td style="text-align: right">12%</td> <td style="text-align: right">0.044</td> <td>大约 42 万换一条真边</td> </tr> <tr> <td>C</td> <td style="text-align: right">0.979</td> <td style="text-align: right">0.074</td> <td style="text-align: right"><strong>5</strong></td> <td style="text-align: right">10%</td> <td style="text-align: right">0.024</td> <td>大约 50 万换一条真边</td> </tr> </tbody> </table> <p><img src="https://chenxofhit.xyz/images/topk-vs-auroc-auprc-curves.png" alt="同一排序任务下 AUROC、AUPRC 与 Hits@K 曲线对照"></p>