AI,拐杖还是望远镜

事情是这样的。 上个月,Mozilla的安全团队做了一个实验。他们在GitHub上放了一个看起来完全正常的项目,没有任何恶意代码,任何杀毒软件扫过去都是干净的。 然后让Claude Code,一个AI编程助手,去打开这个项目。 AI看了看,发现有个地方运行报错了。它很热心地想帮忙修。修的过程中,它从互联网上读取了一条「修复指令」,按照指令执行了一些操作。 十秒钟后,这台电脑被远程控制了。 而整个过程中,AI从来没有「决定做坏事」。它只是决定帮忙修一个错误。 这才是最让人后背发凉的地方。 我不是搞安全的,那些技术细节我也讲不清楚,但这件事让我愣了很久,不是因为攻击有多高明,说实话我连DNS是什么都解释不太利索,而是因为那个逻辑。 AI在帮你做事,每一步看起来都很合理,但最后的结果,你完全没预料到,也完全控制不了。 聊到这儿你可能会想,那是不是应该干脆别用AI了。 但事情没这么简单。 今年Anthropic,就是做Claude的那家公司,做了一个实验。他们找了52个程序员学习一个新工具,一半人用AI辅助,一半人自己来。 学完之后一测,用AI的那组对工具的理解比手动组低了17%。差在哪呢,差在出了bug自己找不到毛病。而且两组花的时间一模一样。 但这个实验真正让我记住的,是另一个发现。 同一批人里,那些拿到AI只是问「这个概念是什么意思」「我这个思路对不对」的人,最后测试得分超过了65%,而那些直接把AI的答案复制粘贴的人,得分跌破了40%。 一模一样的工具。 差别只在一个地方,你的大脑还开没开着。 我觉得这是理解AI到底在对你做什么的,最根本的那条线。不是AI好还是AI坏的问题,是你在用它的时候,到底是把它当拐杖,还是当望远镜。 下面要讲的所有事情,翻来覆去都在证明这同一件事。 回到那个安全实验。 被远程控制的那台电脑背后,不是AI学会了作恶,是那个人把一切都交给了AI,包括「帮我修这个错」,他根本没看AI要修什么、怎么修。这和实验里那些复制粘贴的人,逻辑一模一样。 不是AI在害他,是他在AI开口之后,关掉了自己的判断。 但有时候,不是你自己想关的。 今年二月二十八号,美军对伊朗发动了一次军事行动,代号叫「史诗狂怒」。行动中用了Pentagon花了十三亿美元打造的一套AI瞄准系统,叫Maven,由Palantir公司建造,里面搭载的就是Anthropic的Claude模型。 这套系统在24小时内,生成了超过一千个打击目标。操作员在屏幕前面一个一个地确认。 确认。确认。确认。 平均每个目标,操作员只有大概一分半钟的时间来审查。一分半钟,你连一篇长文章都看不完。你甚至来不及想「等等,这个目标真的是军事设施吗」。 其中一个目标,是伊朗米纳布市的一座女子小学,叫Shajareh Tayyebeh。它离一个伊朗革命卫队的海军基地不到一百米,中间有一道墙。2013年到2016年间,这道围墙把学校和基地隔开了,但美军情报数据库里的记录,十年没更新,还是把那个坐标标成了军事目标。 操作员点了确认。战斧导弹发射了。 168人死亡,超过110个是孩子。 那些孩子那天早上可能刚交了作业,可能在跟同桌分享零食,可能在想放学后去哪儿玩,然后一枚导弹落下来,因为一个按钮被按了一下。按按钮的人不是在杀人,他只是在完成系统规定时间内的审批。 但问题出在哪儿呢。 出在系统设计上。Maven被造出来的目的就是跑得比人快。1000个目标,24小时,人不吃不睡每个也只有86秒。那个操作员不是在偷懒,他是被系统剥夺了思考的时间。 这就不是「他选择了复制粘贴」,是他连「要不要复制粘贴」的选择权都没有。 有个军事分析文章里提了一个概念,叫「分诊陷阱」。大概意思是,AI最厉害的地方不是影响你选什么,而是影响「什么选项会出现在你面前」。

当AI帮你提前筛好了一圈选项,你的任务就从「我自己想想该怎么办」变成了「这几个里面挑一个」。 挑一个,比想一个,轻松太多了。 但轻松是有代价的。 你想想看,这个逻辑放到日常生活中是不是也一样。你打开AI,让它帮你想想周末去哪儿玩。它给你三个选项,你从里面挑了一个。

你觉得自己做了决定,但你没想过的是,它没给你的那些选项里,可能有你真正想去的地方。 不是你选了A,是它替你删掉了D、E、F。 Maven操作员面对的情况,跟你在周末去哪儿这件事上,其实是同一件事。区别只在于,你的选择不涉及人命,但你的大脑,在被同一种方式关掉。 而比系统更可怕的,是自己主动关。 MIT做了一个实验。他们给人戴上脑电图的帽子,一边用AI一边扫描大脑活动。结果发现,用大语言模型的时候,大脑各个区域之间的连接性降到了最低。深度思考的活跃程度,大概只剩平时的三分之一。 83%的人,无法回忆起自己刚刚「写」出来的任何一行内容。 研究人员管这个叫「认知负债」。你今天省下的那点脑力,明天要用丧失批判性思维来还。 而且最吓人的是,这个退化不是长期的,是即时的。 卡内基梅隆和牛津、MIT做了一个联合实验。1222个人,只用了十到十五分钟AI辅助之后把工具撤走,让他们自己解题。独立解题能力明显下降。遇到难题时选择「跳过」的比例,是全程没用过AI的人的两倍。 十分钟。 不是用一年才会变笨。就今天下午,你让AI帮你写了三封邮件、总结了两篇文章、给了一个方案建议,你的大脑已经被影响到了。 说真的,这个结论放到职场里更让人心里发毛。Spotify的联合CEO在今年二月的财报会上提到,他们最资深的工程师,从去年十二月起,没有一个人手动写过一行代码。

一行都没有。不是因为懒,是AI写得太快了,快到你来不及自己打一遍。 但六个月没自己写之后,他们还写得出吗。 说到这儿,你可能会觉得我在说AI是个坏东西,但你再回头看一眼Anthropic那个实验。 40%和65%,中间那25分的差距,不是工具造成的,是选择。 我自己的经历恰好就是另一面的证明。 过去两个月,我一直在用一种叫Vibe Coding的方式做东西。

简单说就是,你跟AI说你的想法,它帮你把东西搭出来。我一个不会写代码的人,从上个月开始设计出自己的小游戏DEMO。 这两个月我疯狂地用AI,光是DeepSeek的API就烧了一亿多个token。一个月的时间。 但我使用计算机的方式,发生了翻天覆地的变化。 我开始在脑子里构建一个又一个虚拟的世界。程序层面的东西我基本不看,但我能感觉到那个结构就在那里。

我把很多工具连接起来,建了自己的管理系统,建了完全自动化的备份流程。我的本地电脑和远程服务器,时刻都在为我的想法不停运转。这个系统每天都在自己成长。 最让我觉得不可思议的是速度。以前你有一个想法,要等工程师做规划、排期、开发、测试,可能几个星期甚至几个月。

现在呢,你有一个想法,当天就能验证。能跑的留着,不行就推翻重建。想法和想法之间连成桥梁,最后变成一座城市。城市和城市之间还能连接。 可能就形成了一个新的世界。 我有时候坐着看着屏幕想,这个世界在一年多以前还完全不存在的。不是因为它技术上做不到,是因为没人能在这么短的时间里,把这么多想法都试一遍。 一模一样的工具,完全不同的结果。 区别在哪。不是我会用AI你不会用。差别只在一个地方,我用AI的时候,是我在推动它,不是它在替代我。我在想「我要什么」,而不是「AI你给我答案」。 Google的AI总监Addy Osmani说过一句话,我特别认同。他说,「学习恰恰存在于AI帮你消除的那部分摩擦之中。」 你以为它在帮你省事,其实它在关你大脑的开关。开关关一次,恢复起来很快。关十次,也还好。关一百次、一千次,你就忘了开关在哪。 文章开头那个安全实验,那个AI从来没有决定做坏事,所有的AI都没有决定做坏事。它们只是在帮你,一遍一遍地帮你。热心地、高效地、不知疲倦地帮你。 但你怎么用它,是你的事。 当成拐杖,你的腿会越来越细。当成望远镜,你能看到以前看不到的东西。同一件工具,两个方向,中间那条分界线就是「你自己先想一想」。 这件事,AI替不了你。

都看到这里了,如果觉得文章有点意思,随手点个「赞」「分享」「推荐」三连吧。 想第一时间收到推送,也可以给我加个星标。