重点议题 · 04
算法决策、消费者权益与自动化评分
全面审查算法推荐、排序筛选、动态定价、风控评估与自动化决策的透明度与公平性,落实算法解释义务,保障用户知情权与人工复核申请权。
算法自动化决策机制下,如何落实可解释性义务并保障相对人异议权?
适用情形
- 核心业务系统采用算法开展授信审批、核保定价、风控评级或资格准入
- 商业平台应用算法实施个性化推荐、流量分发、搜索排序或差异化定价
- 自动化决策结果对自然人合法权益产生重大不利影响或拒绝服务
- 面临算法可解释性监管审查、社会舆论质疑或合规专项审计
审查重点与准备材料
- 01梳理算法模型影响范围,评估对消费者公平交易权与人身财产权益的潜在冲击
- 02建构算法逻辑说明文档,保存相关输入因素、判断阈值与人工干预触发条件
- 03在前端产品界面设立显著的算法关闭选项、异议申诉与人工介入处理通道
- 04开展算法偏见与歧视测试,验证不同人群在决策准确性与通过率上的公平性
相关案例
案例分析
以下案例涉及不同技术和程序阶段。可结合各案事实比较责任认定与处理结果,并留意其适用范围。
德国
欧盟 SCHUFA 评分案
信用机构自动生成评分并交由银行等客户使用。欧盟法院判断,当评分对第三方决定发挥决定性作用时,该活动可构成受《通用数据保护条例》第二十二条约束的自动化个体决策。
初步裁决判决(欧盟法解释)
- 当第三方在合同决定中关键性地依赖信用评分时,自动生成评分本身属于GDPR第22(1)条的自动化个体决策。
- 该活动原则上被禁止,除非适用第22(2)条例外并满足相应保障;仍须满足GDPR其他要求,不能仅以第6条一般合法性依据代替。
美国 COMPAS 量刑案
刑事量刑材料使用了商业化 COMPAS 再犯风险评分。法院允许在限定范围内参考评分,同时要求提示工具局限,并禁止用评分决定刑罚轻重或是否监禁。
州最高法院判决,维持拒绝重新量刑裁定
- 州最高法院维持拒绝重新量刑的定罪后救济裁定。
- 在充分警示局限并结合独立量刑因素的前提下可以参考COMPAS;评分不得决定是否监禁或刑罚轻重,也不得成为能否安全有效进行社区监管的决定性因素。
欧盟自动化决策解释案
欧盟法院解释GDPR第15(1)(h)条,要求以简明、透明、可理解的方式说明自动化决定实际采用的程序与原则,使个人能够理解并质疑结果。展示个人数据变化如何改变结果,可以是提供解释的一种方式。
初步裁决判决(欧盟法解释)
- 解释应让个人理解实际采用的程序与原则并能够质疑决定,单独交付复杂公式或列出全部步骤未必满足可理解性要求。
- 展示数据变化如何改变结果是可选解释方法之一,不是每案固定格式,也不等于要求公开完整算法。
英国警方实时人脸识别案
南威尔士警方在公共场所部署实时人脸识别系统。上诉法院认为,观察名单和部署地点的选择缺乏足够明确的法律约束,数据保护影响评估与平等义务落实也存在问题。
上诉判决
- 上诉法院在法律依据的明确性、数据保护影响评估及公共部门平等义务三个方面支持上诉;判断针对本案部署及当时制度。
- 观察名单和部署地点的裁量边界、影响评估及平等义务履行存在缺陷。
加拿大 Ewert 风险评估案
加拿大最高法院认定惩教机关未合理核验心理及精算风险评估工具对原住民的适用性,违反法定义务。法院没有认定工具经实证必然有偏差,也没有支持全部宪章主张;本案作为算法治理比较法参考。
最高法院判决
- 加拿大最高法院部分支持上诉,并作出惩教部门违反《矫正及有条件释放法》第24(1)条义务的宣告。
- 惩教部门长期知悉工具可能存在文化偏差,却没有采取合理措施确认其适用于原住民服刑人员。
配套专项服务
相关专项服务
适用法规与治理指引
相关法规与治理文件
研究团队