但涉及与危险病原体类似类型的挑战
Posted: Sat Jan 18, 2025 4:22 am
人工智能风险不仅仅与人工智能有关——但为可能突然出现的人工智能能力做好准备仍然是明智之举,因为这些能力会给当今世界带来重大风险。潜在损失:联合国经济和社会事务部强调,在新冠疫情的背景下,经济产出损失高达数万亿美元,23 其他一些消息来源估计损失甚至更高。24 考虑到这一点,损失可能达到数万亿美元甚至更多。风险缓解:如果人工智能用户无法可靠地引发意外行为,25 并且人工智能模型权重得到安全存储,则此处的风险可以保持在较低水平。
正如上一篇文章所讨论的那样,这两者都可能具有挑战性,需要各种突破才能实现。评估:人们最终想要回答的问题大致是:如果进行一项实验,让意志坚定、才华横溢、拥有适量时间和金钱但没有深厚相关专业知识或经验的人生产(并 荷兰 whatsapp 数据 释放)特定的化学或生物武器,并让他们可以使用基本设备和相关人工智能模型(以及公开资源,如搜索引擎或教科书),但没有人类专家顾问,那么实验结果会如何?26 他们的成功率会相当高吗?他们是否会胜过没有人工智能模型(以及其他类似资产)的对照组?这项实验是不切实际的。
最明显的原因是它涉及生产和释放危险武器(也因为招募参与者并让他们尝试这项工作可能需要时间)。但人们可以进行各种近似计算。例如,人们可能会要求研究参与者在实验室中完成一组任务,这些任务类似于武器生产和释放的不同部分(特别是对于给定的令人关注的武器来说最难的部分),但涉及使用无害的替代品(例如,一种不会在人类中传播的病原体,),并且为了实用性而进行了修改(例如,修改为涉及相同类型的挑战但花费的时间更少)。 之前的一篇文章对这种风险的潜在评估进行了更多的讨论,包括更实际的评估,例如自动评分的多项选择题。
正如上一篇文章所讨论的那样,这两者都可能具有挑战性,需要各种突破才能实现。评估:人们最终想要回答的问题大致是:如果进行一项实验,让意志坚定、才华横溢、拥有适量时间和金钱但没有深厚相关专业知识或经验的人生产(并 荷兰 whatsapp 数据 释放)特定的化学或生物武器,并让他们可以使用基本设备和相关人工智能模型(以及公开资源,如搜索引擎或教科书),但没有人类专家顾问,那么实验结果会如何?26 他们的成功率会相当高吗?他们是否会胜过没有人工智能模型(以及其他类似资产)的对照组?这项实验是不切实际的。
最明显的原因是它涉及生产和释放危险武器(也因为招募参与者并让他们尝试这项工作可能需要时间)。但人们可以进行各种近似计算。例如,人们可能会要求研究参与者在实验室中完成一组任务,这些任务类似于武器生产和释放的不同部分(特别是对于给定的令人关注的武器来说最难的部分),但涉及使用无害的替代品(例如,一种不会在人类中传播的病原体,),并且为了实用性而进行了修改(例如,修改为涉及相同类型的挑战但花费的时间更少)。 之前的一篇文章对这种风险的潜在评估进行了更多的讨论,包括更实际的评估,例如自动评分的多项选择题。