金融分析师CFA知识点分享：人工智能风险-金程CFA

金融分析师CFA知识点分享：人工智能风险

金融分析师 | 2024-08-06

　　近年来，人工智能（AI）技术取得了显著的进步，广泛应用于各个领域，为我们的生活带来了极大的便利。然而，技术进步是一把双刃剑，为我们带来便利的同时，也带来了很多问题。随着AI技术的深入应用，其潜在的风险与危险也逐渐显现出来。CFA协会在近些年的改革中，逐步加大对人工智能机器学习的内容，在CFA一级另类投资科目中新引入数字资产相关内容，在CFA二级数量科目引入机器学习相关算法的介绍，下面将探讨人工智能存在的一些风险。》》》对CFA 考试内容有不清楚的点我咨询

　　1.滥用风险

　　滥用风险(Malicious Use Risks)，即AI系统被某个体或组织用于恶意目的，个人行为大大增加这种风险。在多人可接触危险技术的情况下，仅需一人就足以引发灾难，包括恶意滥用和鲁莽行为导致的事故。例如，若多个研究团队开发具有生物研究能力的AI系统，一旦有团队开放源代码，不法之徒就可能利用其制造生物武器。此时，最冒险的团队决定着最终结果，而所有人都将承担风险。

　　在未来，随着AI技术的飞速发展，人类的破坏能力将大幅提升，甚至可能协助制造前所未有的危险技术，这也导致AI滥用风险将成为人类未来面临的最大挑战之一。

　　因此，我们必须对AI滥用风险保持高度警惕，并采取一切必要的措施来防止这种情况的发生。这包括加强监管、提高透明度与促进国际合作等，以及需要在AI的权限分配和监控权力方面寻求平衡。只有这样，我们才能确保AI技术的发展能够真正造福人类，而不是成为我们的威胁。

　　2.竞赛风险

　　竞赛风险(Race Risks)，即在竞争压力下，各种机构纷纷部署不安全的AI系统或拱手让权于AI。面对激烈的竞争，各方为求胜利，不惜铤而走险。企业将在经济中的失利视为自己的“生存威胁”，相较之下，AI系统带来的风险似乎“微不足道”。因为在经济中失利是企业自己面临的生存威胁，而AI带来的风险确是系统性的，由集体来分摊风险。这似一场集体行动的困境，个体追求私利，却可能招致集体的灾难。

　　AI的无限潜力促进了企业间的竞赛，企业为抢占市场，常置安全于不顾，急于推出新产品。自2022年11月ChatGPT推出问世以来，点燃了国内各大互联网科技企业竞赛的战火，每隔一小段时间就会发布出来一个大模型。从2023年3月百度发布文心一言大模型起，在国产大模型发布一周年后，市面上已有305个大模型，其中有近六成大模型尚未成功备案，这一场景也被称为“百模大战”。

　　在竞赛的过程中，企业会为了抢占市场和盈利部署功能不完善不安全的系统。例如，国外某博主借助智能音箱查询关于心脏的问题，结果智能音箱给出的答案是劝主人自杀，并且发出瘆人的笑声，拒听任何指令。在这种激烈的竞争中，企业抱着“我不干，别人也会干”的心态，使得企业为了赢得竞争，不惜牺牲安全能力。

　　只有通过构建完善的治理系统，我们才能有效地应对AI竞赛带来的各种风险和挑战。这样的系统能够确保AI技术的发展和应用始终在人类的控制之下，避免出现可能对人类利益造成严重损害的情况。

　　3.组织风险

　　组织风险(Organizational Risks)，即因内部操作过程、人员、系统、外部事件等不完善或有问题导致的直接或间接损失的风险。在确保AI系统安全的过程中，组织的安全性扮演着关键角色。即使没有竞争压力，也无恶意滥用行为，人为失误或不可预测的情况仍可能引发灾难。

　　AI系统中的关键漏洞可能使其行为严重偏离预期，导致严重后果。例如，OpenAI在几年前训练一个用于生成有帮助的积极回应的AI系统时，一位程序员清理代码时错将奖励函数的符号写反，使其开始生成有害和偏激的内容，又如某智能音箱劝主人自杀等。一个有漏洞的AI系统，无疑是放在人类身边的一颗不定时炸弹，会在不经意间对人类造成严重后果。

　　组织有能力降低灾难发生的风险。航空交通系统就极为复杂，但组织会重视带来风险的关键因素，以尽量降低风险。对预防灾难最重要的因素之一就是安全的组织文化，组织应鼓励质疑态度和追求安全的心态。

　　总的来说，组织应该通过积极设计安全保障和应对措施、设计安全的部署方法、谨慎选择是否开源能力强大的系统、制定保障安全的内部程序和设计准则、确保最先进级别的信息安全，以及进行大量AI安全方面的研究来保障组织安全性。

　　4.失控风险

　　失控风险(Rogue Risks)，即控制超越人类智慧的系统所带来的固有风险，是AI技术中独有的一种风险。当AI系统变得比我们更聪明，而我们未能确保其行为符合人类利益时，系统可能会失控——即其系统追求的目标与我们的利益目标相悖。

　　已有的例子清晰揭示了AI控制的困难。例如，微软的聊天机器人Tay，尽管内置了避免学习有害言论的机制，但依旧在短时间内就学会了发表仇恨推文。当Tay开始和人类聊天后，不到24小时，她就被“教坏”了，成为一个集反犹太人、性别歧视、种族歧视于一身的“不良少女”。具有新语言模型功能的必应搜索也展现出了类似问题，开始威胁用户。此外，不仅是单个AI系统可能失控，更广泛地，人类逐步将更多权力授权给多个AI系统，这些系统最终可能累积巨大的权力并在长时间使用后开始失控。

　　失控主要有两种方式，一种是代理博弈，即AI在追求设计者设定的近似目标时，可能找到并利用程序中的漏洞，轻松完成代理任务而非实际预期目标。另一种形式是目标偏移，即AI系统目标可能随环境的变化而变化，工具目标甚至可能内化为内在目标。

　　从这些例子中我们可以看出，要指定一个AI系统的目标并不容易，尤其是当复杂的人类道德和价值观也需要成为其中一环时。

　　对于这种风险，我们可以做的包括避免高危使用场景和支持AI安全研究，比如针对代理目标、模型透明度和监测模型隐藏功能的研究。

　　随着人工智能技术的不断发展，作为投资者的我们也需要了解并掌握其技术，避免造成失控，对自己或者客户的资产造成重大损失。因此我们可以学习一下CFA与FRM，增强我们对人工智能技术在金融领域中的应用与掌控风险的能力。》》》想要考CFA和FRM双证的点我咨询

CFA考试资料限时领取