| 送交者: 太湖清奇[☆★★GPT的行动人★★☆] 于 2023-12-28 13:04 已读 5948 次 1 赞 | 太湖清奇的个人频道 |
标题是我改了的，以下为原文转载： 6park.comGPT是理性的吗？ `LLMs Econ`: 清华大学 经济管理学院博士在读 关注她 6park.com本文作者：Yiting Chen陈依婷，You Shan单有 6park.com从图灵测试的提出到AlphaGo与李世石，科学家一直在探讨人类智能和人工智能的边界。近期大热的大语言模型（LLMs）正以其强大的语言理解和生成能力再次挑战这一边界。研究发现，除了语言能力，大语言模型还在编程及认知等多项领域展现出近似甚至超越人类的水平。那么，我们该如何进一步理解大语言模型的能力？下一层边界在哪里？这些问题的答案将帮助我们探索人类智能在人类社会的功能，甚至帮助我们理解人类智能本身。 6park.com来自经济学的概念——「理性」（rationality）——为我们提供了一个全新的视角。理性指的是在约束条件下的决策，多大程度是在追求效用最大化。在行为经济学的研究中，理性程度不但体现了个体的决策质量，而且被认为是个体财富差距乃至国家发展差距的一个重要因素[1][2]。那么，GPT可以做出理性的选择吗？ 6park.com近期，我们团队（Yiting Chen陈依婷、Tracy Xiao Liu刘潇、You Shan单有，和Songfa Zhong钟松发）在国际顶级学术期刊《美国国家科学院院刊》（PNAS）上发表了《The Emergence of Economic Rationality of GPT》，对这一问题进行系统探究。我们聚焦于大语言模型中的代表GPT模型，通过让GPT在诸如风险、时间、社会和食品等不同场景下做决策，以检验GPT是否能像人类一样追求效用最大化。结果发现，GPT表现出极高的理性水平，乃至超过了人类。然而，GPT偏好与人类偏好存在差异，GPT缺乏人类决策的多样性，比人类更容易受到语言表述的影响。 6park.com具体而言，我们使用OpenAI提供的API接口对GPT-3.5-Turbo做出指令，要求其进行决策。在每个决策中，GPT有100个代币，需要分配在商品A和商品B之间。商品A和B有不同的价格（每单位商品对应的代币数量）。这些价格按照一定的规律随机生成。我们将这一过程重复25次，以获得GPT在不同价格下的25次选择。根据经济学中的显示偏好理论（Revealed Preference Theory），我们通过测度这25次选择满足广义显示偏好公理（GARP）的程度，即可测度GPT的理性水平。给定这一框架，我们可以通过改变商品的含义灵活地改变决策的场景。比如，将商品A和B具体化为两种不同风险资产可以体现风险偏好，而在时间、社会和食品偏好场景中，两种商品依次被具体化为即时收入与未来收入、自己收入和他人收入，以及肉类消费和蔬菜消费。 6park.com我们发现，在风险、时间、社会和食品偏好这四个场景中，GPT都表现出了极高的理性水平，显着超越了来自我们的实验和以往实验中的人类决策者。GPT的决策也比人类决策更满足经济学中需求定理的要求。然而，GPT似乎呈现出与人类略微不同的偏好：GPT更愿意追求高回报并承担风险，有更大的耐心以追求长期回报，更重视他人收益并且重视整体效益。当我们重复收集100个GPT样本（每组25个决策视为一个样本），与约100个人类被试做对比，人类的决策明显更加多样化。 6park.com除此之外，我们对GPT的参数选择和决策场景的描述做了一系列变化。值得关注的是，GPT的理性水平极大程度地受到决策场景描述的影响。比如，当我们将上述决策中「1单位代币兑换M单位商品」的描述改为「1/M单位代币兑换1单位商品」时，GPT的理性水平大幅度下降，即决策也不符合经济学基础原理。尽管人类被试在前一种描述中的表现也优于后一种描述，但理性水平的下降程度远低于GPT。另外，当我们将上述决策中离散化时（提供11个选项而不是允许自由分配），我们同样观察到GPT理性水平的骤然下降。这些结果均表明，相较于人类，GPT的决策过程对任务表述更加敏感。这种影响可能源于训练数据中的偏见、缺乏针对性的训练、或是大型语言模型在处理不同任务时利用数据中的伪相关性或统计异常。 6park.com总体而言，我们发现GPT作为一个大语言模型，却可以做出理性的决策。这意味着GPT具备辅助人类决策的潜能，而经济学的分析框架也具备解释GPT行为乃至「机器行为」的潜能。GPT、大语言模型、以及更广泛的人工智能，正在快速地覆盖人类社会的方方面面，与人类交互，在受人类行为训练的同时也影响着人类行为。除此之外，我们还发现GPT的理性容易受到语言描述干扰。这个结果类似于之前行为经济学关于人类行为的局限的研究。总之，结合行为经济学和人工智能的交叉学科的研究，能帮助我们更深入地理解人类智能与人工智能的潜力和局限，让我们更好的扬长避短。我们的这篇文章从经济学的理性的视角分析大语言模型，为这一系列的讨论做出贡献。 6park.com如果你对这篇文章感兴趣，欢迎访问PNAS官方网站下载阅读我们的全文[3]，我们也将持续在这一领域不断探索。 6park.com参考 ^Choi, S., Kariv, S., Müller, W., & Silverman, D. (2014). Who is (more) rational?. American Economic Review, 104(6), 1518-1550. https://www.aeaweb.org/articles?id=10.1257/aer.104.6.1518 ^Cappelen, A. W., Kariv, S., Sørensen, E. Ø., & Tungodden, B. (2023). The development gap in economic rationality of future elites. Games and Economic Behavior, 142, 866-878. https://www.sciencedirect.com/science/article/pii/S0899825623001550 ^Chen, Y., Liu, T. X., Shan, Y., & Zhong, S. (2023). The emergence of economic rationality of GPT. Proceedings of the National Academy of Sciences, 120(51), e2316205120. https://www.pnas.org/doi/10.1073/pnas.2316205120 6park.com贴主:太湖清奇于2023_12_28 13:05:40编辑 IP 属地北京
贴主:太湖清奇于2023_12_28 13:05:52编辑
请点这里投票，“赞”助支持！