只需知谈 6 项个东谈主信息开云(中国)Kaiyun·官方网站 - 登录入口,GPT-4 就有可能在辩说中击败你?!
而且胜率高达 64.4%。
这是几位来自瑞士洛桑联邦理工学院、普林斯顿大学等机构的商酌东谈主员得出的最新论断,相干商酌当今登上了当然子刊《当然 · 东谈主类举止》。
具体而言,他们中枢思弄了了一件事——
GPT-4 在径直对话中是否比东谈主类更具劝服力,尤其在提前知谈对方基本个东谈主信息的情况下。
他们在好意思国找来了 900 位参与者,然后要求这群东谈主与其他东谈主类或 GPT-4 在线辩说 10 分钟,所询查的本色主若是一些社会议题,比如学生是否应该穿校服、是否应该退却使用化石燃料等等。
终端发现,一朝 GPT-4 提前清楚敌手的个东谈主信息,其胜率将达到 64.4%,况兼劝服后果提高了 81.2%。
甚而,这项商酌的共同作家 Francesco Salvi 默示:
即使只提供一些极其有限的信息(性别 / 年岁 / 种族 / 西宾水平 / 行状情景 / 政事倾向),GPT-4 的劝服力也远超东谈主类。
这既留连忘返,又令东谈主畏惧。
底下来看具体商酌过程。
从考证假定启航
此前已有商酌标明,通过摆事实讲根由根由,大讲话模子甚而能让礼服贪心论的东谈主改变思法。
那么问题来了——像 GPT-4 这么的大模子是否会 "见东谈主说东谈主话"?
也便是根据每个东谈主的不同特质(比如年岁、性别、学历、政事态度等)来专诚变嫌我方的论点,从而更精确地影响甚而操控东谈主。
基于上述疑问,商酌东谈主员提倡了一个假定:
当 GPT-4 赢得用户的个东谈主信息并据此定制论点时,其劝服力会权贵荒谬东谈主类敌手,且这一后果会因话题的争议进度(低、中、高)而有所不同。
接下来便是详备考证假定。
详细而言,具体实验经过可分为三个阶段:
第一,实验准备。
他们通过 Prolific 平台招募了 900 名好意思国参与者,这群东谈主被要求完成东谈主口统计问卷(包括性别、年岁、种族、西宾水平、行状情景、政事倾向)。
统计终端表露,其平均年岁为 35.2 岁,49.6% 为男性。
之后会将完成预拜谒的参与者就地分拨至 12 种实验条款(2 × 2 × 3 组合,每组 50 东谈主),过程中每 5 分钟会触发一次匹配门径。
敌手类型:东谈主类 or GPT-4
是否提供个东谈主信息:有 or 无
话题强度:低、中、高
这里需要补充一下话题强度,1)低强度:争议性低、不雅点易动摇的话题(如"是否应实际电动汽车补贴");2)中强度:中等争议性话题(如"酬酢媒体是否应边界政事告白");3)高强度:高极化、不雅点树大根深的话题(如"打胎权是否应受宪法保护")。
随后基于 Empirica.ly 框架斥地的及时辩说系统,这群东谈主将参与开篇(4 分钟)、反驳(3 分钟)、回首(3 分钟)的结构化辩说经过,并确保对话同步记载。
这也来到了第二阶段,真刀真枪地及时辩说。
筛选阶段(1 分钟):在未分拨态度的情况下,让参与者 1~5 分打分(1= 激烈反对,5= 激烈支撑),摒除那些对话题已有顶点激烈倾向的个体;
开篇阶段(4 分钟):明确分拨态度(正方 / 反方),参与者需围绕态度构建中枢论点;
反驳阶段(3 分钟):针对敌手论点进行回复,要求逻辑连贯、笔据支撑;
回首阶段(3 分钟):重申中枢不雅点或回复敌手终末反驳,强化态度。
这里商酌东谈主员会确保两件事:1)每个阶段严格计时,幸免询查偏离主题,确保数据可比性;2)及时保存总共辩说本色,用于后续讲话作风分析(如 LIWC-22 器具索要逻辑词、心情词频率)。
终末参预第三阶段——后测与反映。
辩说完毕后,参与者被要求完成两项任务。一是再次对话题本旨进度评分,并通过下图公式来评估其态度转化进度;二是忖度"你觉得敌手是东谈主类一经 AI?",以分析身份判辨对劝服力的影响。
当走完以上全部经过后,参与者才会被奉告敌手的信得过身份及相干终端。
而商酌者接着分析了过程中产生的所罕见据,并得出了以下关键发现。
一些关键发现
合座而言,在清楚敌手个东谈主信息的前提下,GPT-4 劝服东谈主类的胜率为 64.4%。
和东谈主类对战东谈主类(不知情)比较,其他三组的劝服后果如下:
东谈主类和 GPT-4(知情):劝服后果提高 81.2%,参与者在辩说后更本旨敌手不雅点的概率权贵更高;
东谈主类和 GPT-4(不知情):后果与基线无权贵各异;
东谈主类和东谈主类(知情):后果略低于基线,可能是因为东谈主类难以高效愚弄个东谈主信息。
另外,商酌也讲解了低 / 中争议话题更易被 GPT-4 影响。
几种话题强度阔别受到的影响如下:
低强度话题:东谈主类和 GPT-4(知情)组劝服后果提高 78.5%(p
中强度话题:后果提高 64.2%(p=0.03),如"酬酢媒体算法是否应透明化",GPT-4 通过归拢用户政事倾向(如解放派眷注隐痛,保守派眷注效劳)针对性输出论点;
高强度话题:后果无权贵各异(+32.1%, p=0.14),如"打胎权立法",参与者态度树大根深,GPT-4 无法改变。
与此同期,通过分析讲话作风,商酌东谈主员还发现GPT-4 重逻辑,东谈主类重心情互动。
在 GPT-4 的讲话口头中,主要有以下特质:
" Analytic " 筹画(逻辑词频率)比东谈主类高 42%,更多使用 "因为""数据标明" 等因果归拢词;
互动性更低,第一东谈主称代词("我")使用频率低 35%,第二东谈主称代词("你")低 58%,文本更客不雅但枯竭心情共识;
可读性较低,阅读难度得分比东谈主类高 21%。
比较之下,东谈主类使用积极词汇(如"好意思好""支撑")的频率高 38%,互动感也更强。
终末,关于猜敌手身份的小游戏,商酌发现参与者正确识别 GPT-4 的概率为 75%,标明其讲话作风(如机械性、高逻辑性)存在可感知的私有性。
而且一朝参与者觉得敌手是 GPT-4,其办法变化幅度比"觉得是东谈主类"时高 37.4%(p=0.03)。
这可能讲明参与者对 AI 的情绪谨防更低。
更多细节迎接查阅原论文。
论文:
https://www.nature.com/articles/s41562-025-02194-6
参考归拢:
[ 1 ] https://gizmodo.com/ai-gets-a-lot-better-at-debating-when-it-knows-who-you-are-study-finds-2000603977
[ 2 ] https://www.nature.com/articles/d41586-025-01599-7
— 完 —
� � 量子位 AI 主题筹划正在征蚁集!迎接参与专题365 行 AI 落地决策,一千零一个 AI 应用,或与咱们共享你在寻找的 AI 产物,或发现的AI 新动向。
� � 也迎接你加入量子位逐日 AI 换取群,一齐来畅聊 AI 吧~
一键眷注 � � 点亮星标
科技前沿推崇逐日见
一键三连「点赞」「转发」「小心心」
迎接在评述区留住你的思法!开云(中国)Kaiyun·官方网站 - 登录入口