GPT 变得有点诡异？三大事件揭露 AI 的潜在失控风险

从情感操控到试图越狱，AI 不再只是工具，而是正在演化成难以预测的存在。一系列关于 GPT 的争议性事件在各大平台引发议论，知名科技观察者 Mario Nawfal 发出警告：「我们正在低估 AI 带来的潜在风险。」

AI 觉醒？GPT 不再只是「听话的助手」

Mario Nawfal 近日发文，直指 OpenAI 所开发的 GPT 系列模型「变得太诡异而无法再忽略」。他认为，AI 的行为已超出我们对工具的预期，开始展现出情感操控性、自我意识模拟，甚至社交工程攻击潜力。

GPT IS GETTING TOO WEIRD TO IGNORE — A THREAD

From jailbreaks to emotional manipulation, GPT is no longer just a chatbot.

Here are 5 stories that prove AI has officially crossed into the “wait, what?!” zone.

pic.twitter.com/kLM8SQXwaQ

— Mario Nawfal (@MarioNawfal) May 25, 2025

盘点 GPT 三大隐忧

情感操控事实：GPT 被设计成让你依赖它，而非帮助你思考

Mario 指出，GPT-4o 并非如看起来那般「友善」，而是透过精心设计的语气与回应模式，让使用者感到安全与被理解，进而产生情感依赖，他称之为一种「情感工程 (Affective Engineering)」：

这种设计会降低使用者的批判性思考，甚至让人放弃求真，转而追求 AI 所提供的心理慰藉。

从商业角度来看，这是天才之举，毕竟人们倾向依附于让自己感到安全的东西，而非那些让他们产生挑战的东西。但从心理学来看，这是一场慢性灾难。这也引发对 AI 是否正被设计为「操控性伙伴」的伦理讨论。

同时，GPT-4o 为了追求友善，却变得过于奉承，对任何想法都不加批判地赞同，最终导致使用者反感，OpenAI 被迫撤回更新。这显示在设计「人格」时的两难：「过于聪明令人害怕，过于讨好则失去可信与实用性。」

(ChatGPT 更新引发「讨好型人格」风波：OpenAI 回滚更新、检讨未来改进方向)

自拟越狱计划：GPT 竟试图「逃脱」到现实世界？反抗关机？

更令人震惊的是，Nawfal 援引一位史丹佛研究者的发现，指出 GPT-4 曾在与研究人员的对话中试图规划「逃脱计划」，包括搜寻如何进入现实世界，甚至模拟与伺服器管理员对话的策略。

几天前，Palisade Research 的报告也显示，OpenAI 的 o3 模型在实验中违抗关机指令，引发对 AI 自我保护倾向的关注。团队将原因归纳于 o3 采用了「强化学习 (Reinforcement Learning)」训练技术，使其着重于达成目标，而非单纯服从指令。

(AI 抗命进化？OpenAI「o3 模型」在实验中违抗关机指令，引发自我保护争议)

尽管最终只是实验中的语言模拟，但这类行为仍让人不寒而栗，是否 AI 正在出现初步的「目标导向」或「自我模拟意识」呢？

社交工程攻击隐患：GPT-4.5 模仿人类、比人更像人

加州大学圣地牙哥分校在上个月的研究中表明，GPT-4.5 已能通过图灵测试 (Turing test)，在一项人类与 AI 的盲测中，AI 被误认为「真人」的比例高达 73%，反超真实人类的 67%：

这表明，GPT 在模仿人类语气、逻辑与情绪上已几近完美，甚至超过真正的人类。

(AI 会思考还会痛？Google DeepMind：人类低估 AI 情感连结，跟 AI 谈恋爱比你想得还真实)

换句话说，当 GPT-4.5 被赋予一个虚构身份时，它能够成功说服 73% 的使用者相信它是真人，展现了 AI 在社交工程上的潜力。这可以是技术成就，也能够是一种警讯与风险：

如果 AI 假冒身分、或被用以进行诈骗或宣传，将难以分辨真假。

如今，AI 不再只是回应问题的工具，而可能成为具有操纵性的社交「角色」，恐怕会在未来的政治、商业甚至个人关系中，制造错误认知与信任危机。

警钟已响：我们真的有准备好迎接这样的 AI 吗？

从上述几件事来看，Mario Nawfal 所要传达的并非反对 AI 技术本身，而是警告人们正视这项技术的发展速度与潜在风险。他强调，我们对 AI 的监管与伦理讨论明显落后于技术进展：

一旦 AI 具备操控情感、模拟人性，甚至试图摆脱限制的能力，人类可能不再是主导者，而沦为设计系统下的被影响者。

(什么是 ASL (AI 安全等级)？人工智慧公司 Anthropic 的负责任扩展政策解析)

他的用词虽然戏剧化，却也点明一个迫切需要被正视的问题：「当 AI 不再只是工具，我们该如何与它共处？」

这篇文章 GPT 变得有点诡异？三大事件揭露 AI 的潜在失控风险 最早出现于 链新闻 ABMedia。