人工智能：解密：西班牙家庭暴力算法存在缺陷 — 禁令争议升温 — 追究警方责任
Posted: Mon Mar 24, 2025 3:47 am
— 一项审计显示，西班牙用于评估家庭暴力风险的算法存在严重缺陷。
— 欧洲议会关于禁止和风险人工智能的争论再次升温。
— 欧洲执法机构首次推出旨在使其人工智能的使用更加负责任的原则。
聚光灯
西班牙算法让家庭暴力受害者陷入困境：过去 15 年来，西班牙一直在使用一种名为 VioGén 的算法系统帮助警方评估女性在投诉虐待时面临的风险。但根据算法审计公司Eticas Consulting 和反对性别暴力的组织 Ana Bella Foundation 的最新报告，该系统存在严重缺陷，导致女性的风险被评定得太低，而当局没有做出适当的回应。
了解 VioGén：该系统于 2007 年推出，由西班牙内政部创建。“性别暴力案件综合监测系统”（VioGén 系统）是一款网络应用程序，旨在帮助当局协调行动，保护妇女及其子女免受性别暴力。其理念是将当局在妇女提出正式投诉时询问的一系列问题标准化，以便公平对待她们并提供更好的待遇。
工作原理： VioGén 使用经典统计模型进行 阿尔巴尼亚 WhatsApp 数据 风险评估，并为女性提供风险评分，以确定她们将获得多少帮助。
问题就出在这里： “我们在媒体上看到，时不时就会有女性被杀，而她们的 VioGén 风险被评为低风险，”Eticas Consulting 首席执行官 Gemma Galdon-Clavell 说。她的审计发现，2021 年，只有七分之一向警方寻求保护的女性得到了帮助，只有一小部分女性的风险评分为“中等”或更高，这样她们才有资格获得警方保护。“如果你没有孩子，你的风险评分可能会较低，这也令人担忧，”Galdon-Clavell 补充道。
门槛很高：举报伴侣虐待的女性比例可能只是所有家庭虐待和亲密伴侣暴力案件的冰山一角。女性向当局求助的风险很大，而且往往是在极度胁迫的情况下这样做。“我浑身发抖，找不到词语来解释他多年来对我的虐待、嘲弄、蔑视和蔑视，这并不容易，记录我陈述的警察没有受过处理遭受性别暴力的人的培训，”一位参与 Eticas 审计的女性说。
VioGén 问卷调查是一次令人困惑的经历。“我完全沉浸在这些问卷调查中，既紧张又哭泣。没有人陪我解释问卷调查。警察给了我问卷，然后就离开了，时不时地过来催我快点完成，”这位女士说
“噩梦”场景： “这就像一场噩梦。一场噩梦。直到今天，我都不记得这些问题了，我只记得我感觉很糟糕，没有安全感。我甚至不知道有分数，”另一位参与审计的女性说。
人类不在圈内：Etica 的审计发现 VioGén 不太透明，几乎没有人为监督或问责。在 95% 的案件中，警察坚持使用系统提供的风险评分。
机器学习的危险信号：卫生部表示正在考虑将机器学习引入 VioGén。这对 Galdon-Clavell 来说是一个很大的危险信号。“很明显，人类的监督不起作用，”她说。使用机器学习会导致歧视模式“在没有任何监督的情况下变得更加糟糕”，她补充道。
西班牙内政部回应称： “风险评估系统基于对 60 万起真实案例的研究，自 2007 年以来，在知名大学和研究中心的合作下，一直在不断进行评估和改进，”西班牙内政部发言人表示。他们继续表示，Eticas 报告“缺乏学术严谨性，其研究和结论仅基于 31 次访谈这一微不足道的统计数据，而自 2007 年以来已进行了 500 多万次风险评估。”
— 欧洲议会关于禁止和风险人工智能的争论再次升温。
— 欧洲执法机构首次推出旨在使其人工智能的使用更加负责任的原则。
聚光灯
西班牙算法让家庭暴力受害者陷入困境：过去 15 年来，西班牙一直在使用一种名为 VioGén 的算法系统帮助警方评估女性在投诉虐待时面临的风险。但根据算法审计公司Eticas Consulting 和反对性别暴力的组织 Ana Bella Foundation 的最新报告，该系统存在严重缺陷，导致女性的风险被评定得太低，而当局没有做出适当的回应。
了解 VioGén：该系统于 2007 年推出，由西班牙内政部创建。“性别暴力案件综合监测系统”（VioGén 系统）是一款网络应用程序，旨在帮助当局协调行动，保护妇女及其子女免受性别暴力。其理念是将当局在妇女提出正式投诉时询问的一系列问题标准化，以便公平对待她们并提供更好的待遇。
工作原理： VioGén 使用经典统计模型进行 阿尔巴尼亚 WhatsApp 数据 风险评估，并为女性提供风险评分，以确定她们将获得多少帮助。
问题就出在这里： “我们在媒体上看到，时不时就会有女性被杀，而她们的 VioGén 风险被评为低风险，”Eticas Consulting 首席执行官 Gemma Galdon-Clavell 说。她的审计发现，2021 年，只有七分之一向警方寻求保护的女性得到了帮助，只有一小部分女性的风险评分为“中等”或更高，这样她们才有资格获得警方保护。“如果你没有孩子，你的风险评分可能会较低，这也令人担忧，”Galdon-Clavell 补充道。
门槛很高：举报伴侣虐待的女性比例可能只是所有家庭虐待和亲密伴侣暴力案件的冰山一角。女性向当局求助的风险很大，而且往往是在极度胁迫的情况下这样做。“我浑身发抖，找不到词语来解释他多年来对我的虐待、嘲弄、蔑视和蔑视，这并不容易，记录我陈述的警察没有受过处理遭受性别暴力的人的培训，”一位参与 Eticas 审计的女性说。
VioGén 问卷调查是一次令人困惑的经历。“我完全沉浸在这些问卷调查中，既紧张又哭泣。没有人陪我解释问卷调查。警察给了我问卷，然后就离开了，时不时地过来催我快点完成，”这位女士说
“噩梦”场景： “这就像一场噩梦。一场噩梦。直到今天，我都不记得这些问题了，我只记得我感觉很糟糕，没有安全感。我甚至不知道有分数，”另一位参与审计的女性说。
人类不在圈内：Etica 的审计发现 VioGén 不太透明，几乎没有人为监督或问责。在 95% 的案件中，警察坚持使用系统提供的风险评分。
机器学习的危险信号：卫生部表示正在考虑将机器学习引入 VioGén。这对 Galdon-Clavell 来说是一个很大的危险信号。“很明显，人类的监督不起作用，”她说。使用机器学习会导致歧视模式“在没有任何监督的情况下变得更加糟糕”，她补充道。
西班牙内政部回应称： “风险评估系统基于对 60 万起真实案例的研究，自 2007 年以来，在知名大学和研究中心的合作下，一直在不断进行评估和改进，”西班牙内政部发言人表示。他们继续表示，Eticas 报告“缺乏学术严谨性，其研究和结论仅基于 31 次访谈这一微不足道的统计数据，而自 2007 年以来已进行了 500 多万次风险评估。”