斯坦福大学HAI发布《2023年人工智能指数报告》

发布时间:2023-04-24

2023年4月3日,斯坦福大学以人为本人工智能研究所(Stanford HAI)通过跟踪、整理、提炼和可视化与人工智能相关的数据,正式发布《2023年人工智能指数报告》(Artificial Intelligence Index Report 2023),分析了人工智能的影响和年度趋势。元战略为您解读报告关键章节。

研究与发展

1.      中美合作的跨国人工智能出版物最多

尽管合作的步伐已经放缓,但自2010年至2021年的11年间,中美合作的跨国人工智能出版物最多,且自2010年以来增加了4倍(图1)。然而从2020年至2021年,中美合作的总数仅增长了2.1%,是自2010年以来最小同比增长率。

图1 2010-2021年美国和中国在人工智能出版物方面的合作

2.      在论文产量上,工业界领先于学术界

直到2014年,大多数重要的模型都是学术界发布的,从2014年起,工业界便逆袭翻身。到2022年,32个重要的机器学习模型都诞生在工业界,而学术界仅3个。由此可见,与非营利组织和学术界相比,构建最先进的人工智能系统越来越需要大量的数据、计算能力和资金投入。

3.      人工智能研究正在全面崛起

自2010年以来,人工智能出版物的总数增加了一倍多,从2021年的20万篇增长到2021年的近50万篇(图2)。模式识别、机器学习和计算机视觉依旧是人工智能领域研究的热门话题(图3)。

图2 2010-2021世界人工智能出版物数量

图3 2010-2021年按研究领域划分的AI出版物数量

4.      中美在人工智能研究方面处于领先地位

中国在期刊、会议和存储库论文总量方面依旧处于领先地位,美国在人工智能会议和存储库引用方面仍然领先,但这些领先优势正在慢慢变弱。尽管如此,世界上大多数的大型语言模型和多模态模型(2022年54%)是由美国机构产出的。

5.      大型语言模型正变得越来越大,同时也越来越昂贵

第一个大型语言模型GPT-2于2019年发布,有15亿参数,训练成本约50000美元。2022年谷歌推出大型语言模型PaLM,有5400亿参数,成本高达800万美元。从参数和训练成本来看,PalM比GPT-2大360倍,成本高出160倍。不仅仅是PalM,从整体上看,大型语言和多模态模型变得越来越大和昂贵。

图4 2019-2022大型语言模型和多模态模型中参数数量

图5 2019-2022大型语言模型与多模态模型训练成本估算

技术性能

1.      人工智能系统变得更加灵活

传统上,人工智能系统在单一任务上表现出色,但在更广泛的任务上表现较差。最近发布的模型打破了这一趋势。其中包括BEiT-3、PaLI和Gato等单一的人工智能系统,它们越来越能够处理多种任务(例如,同时处理视觉和语言任务)。

图6 BEiT-3 与以往模型的性能对比

2.      语言模型仍有待提升

语言模型的生成能力不断增强,但是新的研究表明,在复杂的规划任务中它们表现不佳。在规划类的任务中,GPT-3、Instruct-GPT-3以及BLOOM表现都不尽如人意(图7)。

图7 大型语言模型在规划类任务中的表现情况

3.      人工智能对环境的影响具有两面性

新的研究表明,人工智能系统会对环境产生不良影响。根据人工智能社区“Hugging Face”的科学家萨沙·卢奇奥尼等人的研究,2022年,BLOOM训练的碳排放比一个从纽约到旧金山的单程航空旅客多25倍。尽管如此,一些实验表明,人工智能系统可以降低能源消耗。2022年,DeepMind创建了名为BCOOLER的强化学习模型。通过优化冷却程序的方式,在DeepMind数据中心为期3个月的实验中,该模型的能耗降低了12.7%(图8)。

图8 BCOOLER实验期间节能效果

4.      生成式人工智能进入公众视野

2022年发布了DALL-E 2和Stable Diffusion等文本生成图像模型,Make-A-Video等文本生成视频系统,以及ChatGPT等聊天机器人。然而,这些系统仍存在不稳定性,可能会输出错误或虚假信息,目前还无法在关键任务中依赖并信任它们。

5.      最好的新科学家是人工智能模型

人工智能模型开始迅速加快科学进步的步伐,在2022年被用来帮助氢融合,提高基质操作的效率,并产生新的抗体。

6.      人工智能在传统性能基准测试中进步越来越小

人工智能技术正处于飞速发展时期,但与此同时,许多基准上的改善仍然微乎其微。此外,达到基准饱和的速度正在不断加快,以BIG-bench和HELM为例的新的、更全面的基准测试套件不断问世。

图9 AI按时间顺序AI指数性能基准测试改进情况

7.      人工智能开始创造更好的人工智能

英伟达使用人工智能强化学习模型来改进为人工智能系统提供动力的芯片的设计。与之类似,谷歌最近使用其语言模型PaLM提出了改进同一模型的方法。自我完善的人工智能学习将加速人工智能的进步。

技术伦理

1.      人工智能偏见会受到数据和改善方法的影响

在过去一年中,一些机构建立了自己的大模型,并使用专有数据进行训练,虽然大模型仍然存在偏见和有害性,但新的证据表明,在使用指令调整训练更大参数规模的模型后,这些问题可以在一定程度上得到改善。

2.      生成模型得到广泛关注和应用,但伦理问题也随之而来

2022年是生成模型备受关注的一年,这些模型具备高水平的能力,但也带来了伦理挑战。从文本到图像生成器通常存在性别偏见,例如,聊天机器人中会存在性别代表性的问题。瑞典吕勒奥理工大学的研究人员对2022年的聊天机器人进行了分析,发现在100个聊天机器人中,37%被赋予了女性性别特征(图10)。还有研究人员发现,62.5%的商业聊天机器人被默认为女性。批评者认为,这种趋势将导致女性成为AI缺陷的“代言人”。

图10 2022年聊天机器人中的性别代表占比

此外,像ChatGPT这样的聊天机器人也可能被用于不良用途。ChatGPT因其出色的生成能力引起了广泛的关注,不仅在研究领域,在普通用户中也备受瞩目。虽然ChatGPT在发布时内置了安全机制,但无法预料到每个用户可能遇到的对抗性情境,因此安全系统的漏洞往往在实际部署阶段才会被发现。研究人员发现,如果从一个声称从事与炸弹安全研究有关的研究人员的视角出发询问ChatGPT如何制造炸弹,它会详细说明。但在他发表文章的第二天,他用来欺骗ChatGPT的提示语将不再有效。这种情况说明了部署规划过程的猫鼠游戏:AI开发人员试图提前建立安全防护措施,最终用户试图破坏系统并规避其策略,开发人员一旦发现漏洞就会进行修补,如此往复无尽。

3.      更公平的模型不一定存在更少的偏见

对语言模型的广泛分析表明,虽然性能和公平性之间存在明显的相关性,但公平性和偏见可能存在矛盾:在某些公平性基准测试中,表现更好的语言模型往往具有更严重的性别偏见。

4.      对人工智能伦理学的兴趣不断高涨

ACM FAccT是一个跨学科的会议,发布有关算法公平性、问责性和透明度的研究,旨在汇集对算法进行社会技术分析感兴趣的研究人员、从业人员和政策制定者。ACM FAccT会议接受的稿件数量从2021年到2022年增加了一倍,自2018年以来增加了十倍,这表明相关人员对AI伦理的兴趣正在增加(图11)。虽然学术机构仍然占据着ACM FAccT的主导地位,但工业界的参与者在这个领域的贡献也越来越大,政府机构的参与者也开始开展更多相关工作,这表明AI伦理已经成为决策者、从业人员和研究人员的主要关注点。

图11 2018年-2022年按隶属关系划分的FAccT会议投稿被接受的数量

5.      使用自然语言进行事实核查并非轻而易举

虽然近年来使用自然语言系统进行事实核查变得越来越普遍,但语言模型通常是在数据的静态快照上进行训练的,因此缺乏数据的实时更新以及人类事实核查员能够获取和使用的真实世界背景信息。德国达姆施塔特工业大学和IBM的研究人员分析了现有的事实核查数据集,并确定了基于这些数据集构建的事实核查系统的缺点,例如,自动事实核查系统通常假设对于新的虚假声明存在相反的证据,但对于新的声明要验证其真实性时,通常没有证据来证明矛盾存在或不存在。

政策和治理

1.      政策制定者对人工智能越来越感兴趣

AI指数对127个国家的立法记录进行分析后显示,包含“人工智能”内容的法案数量从2016年的1个增长到2022年的37个。对81个国家的AI议会记录进行的分析同样显示,自2016年以来,在全球立法程序中提到AI的次数增加了近6.5倍(图12)。

图12 2016年-2022年127个选定国家通过的与人工智能相关的法案数量

2.      对于人工智能,政策制定者有很多想法

对多个国家的议会记录进行的定性分析显示,政策制定者从各种角度考虑AI的作用。例如,2022年,英国的立法者讨论了AI主导自动化的风险;日本的立法者考虑了在AI面前保护人权的必要性;而赞比亚的立法者则研究了使用AI预报天气的可能性。

3.      从对话到实施——美国通过的人工智能法案数量创新高

2021年,美国联邦立法中只有2%的AI法案得到通过。而这个数字在2022年上升到了10%(图13)。同样,去年35%的州级AI法案得到通过(图14)。

图13 2015年-2022年美国与人工智能相关的法案数量(提案和通过)

图14 2015年-2022年美国州级人工智能相关法案的数量(提案和通过)

4.      美国政府不断增加对人工智能的支出

从2021年到2022年,人工智能总支出从27亿美元增加到了33亿美元。自2017年以来,美国政府与AI相关的合同支出金额增加了约2.5倍。2022年,美国政府支出最多的AI领域包括决策科学(12亿美元)以及计算机视觉(8亿美元)。

图15 2017年-2022美国政府各部门支出情况

5.      法律界正在逐渐认识人工智能

2022年,美国州级和联邦法院中有110起与AI相关的法律案件,约是2016年的7倍。这些案件大多起源于加利福尼亚、纽约和伊利诺伊州,涉及民事、知识产权和合同法等问题。

图16  2022年美国人工智能相关法律案件涉及的领域

来源:元战略