首页 /文章 /公平性指标选型避坑:人口平价、机会均等与校准为何难兼得

公平性指标选型避坑:人口平价、机会均等与校准为何难兼得

解析人口平价、机会均等与校准的定义及不可能定理,指出基础率差异导致指标冲突。

公平性指标不可能定理人口平价机会均等校准2026Q4
分类:伦理、安全与合规 › 偏见与公平性 发布于 2026-10-25 32 次浏览

来源对照(抓取日期 2026 年 10 月 25 日)。条目一:Kleinberg(康奈尔大学计算机学者)等不可能定理论文,arXiv(论文预印本平台)编号 1609.05807。条目二:Chouldechova(卡内基梅隆大学学者)关于再犯风险评估的论文,1703.00056。条目三:Hardt(普林斯顿大学学者)等机会均等定义论文,1610.02413。条目四:Pleiss(加州大学伯克利分校学者)等校准与群体公平冲突研究,1709.02012。条目五:Fairlearn(微软公平性工具包)官方指标文档。条目六:AIF(人工智能公平性三字缩写开头)360 号工具包(IBM(国际商业机器公司)出品)不利结果率文档。条目七:UCI(加州欧文大学机器仓库)Adult(成人收入数据集,源自人口普查)。条目八:欧盟可信人工智能指南文件页。本文只讲定义与定理条件,不评判任何具体系统的对错。

\n

三个常用指标,先把定义写清楚

\n

群体公平讨论里最常碰面的是三类约束。第一类叫人口平价:两组人群拿到正向预测的比例应当接近,Fairlearn 用两组的正预测率之差或之比来量化(条目五)。第二类叫机会均等:在真实结果相同的条件下,预测结果不应随敏感属性(性别、种族等受保护特征)变化,Hardt 等给出的定义即真实标签条件下预测与敏感属性相互独立(条目三)。第三类叫校准:同一个分数段里,两组人群的真实正向率应当一致。

\n

该 IBM 系工具包还带一个工程界常用的经验线:有利结果率之比低于 0.8 视为不利影响明显(条目六)。这个 0.8 源自美国金融监管的"四分之三规则",是合规习惯值,不是统计推导值。

\n

不可能定理:为什么三个指标不能同时要

\n

2016 年起,两篇独立论文给出了同一个结论的不同侧面。Kleinberg 等证明:只要两组人群的基础率(真实正向结果的比例)不同,校准、正负类平衡与基础率一致这三者不可能同时满足(条目一)。Chouldechova 在再犯风险评估的语境下给出对偶结论:两组人群的假阳性率与假阴性率都拉平,且各组预测值校准,当且仅当基础率相同(条目二)。

\n

用大白话复述:如果两个群体的真实正向比例本来就不同,那么"分数可信"和"错误率对等"只能选一个。这不是工程没做好。是数学锁死的。

\n

选型实操:先定错杀与漏放的代价

\n

选哪个指标,取决于两类错误的代价差。招聘筛选里,错杀合格者(假阴性)与放过不合格者(假阳性)的代价通常不对等:前者影响个人机会,后者影响团队产出。审计场景偏向压低假阳性,普惠发放场景偏向压低假阴性。对应的正是机会均等两个分支各自收紧。

\n

校准类约束适合分数要跨群体复用的场景:同一个风险分在两边代表同一含义。人口平价适合分数只是排序工具、关心准入比例的场景。Pleiss 等的讨论给出中间路线:允许概率型分类器在保持校准的同时接近平价,代价是决策不再是硬阈值(条目四)。

\n

数据集层面的坑比指标层面大

\n

公平性研究最常用的公开数据集本身就带偏差。UCI Adult 数据集取自人口普查,样本里种族与性别分布、收入口径都受抽样年份影响(条目七)。用带历史歧视的标签训练,再谈"预测公不公平",起点不干净。这个坑最常见。

\n

监管侧的要求更宽:欧盟可信人工智能指南把公平、避免歧视列为基本要求,并特别强调对弱势群体的保护(条目八),但没有给出统一的技术指标定义。企业落地时的合理做法是把指标选择写进模型文档,注明所选约束与放弃的约束。

\n

结论边界

\n

不可能定理的前提是基础率不同;两组基础率实际相同或接近时,多个约束可以共存。引用"公平性指标互相矛盾"之前,先核对这个前提是否成立。这是本文与多数二手解读最大的差别。

\n

条件声明

\n

本文全部定义与定理出自文首所列论文与工具包文档,抓取日期见对照区;0.8 阈值为监管习惯值一节已单独标注。定理适用条件(基础率、误差矩阵口径)已在正文分列,跨场景套用需重新核对前提。

关键词 公平性指标不可能定理人口平价机会均等校准2026Q4 000131