Agent、机器人与制药，谁先被GPT-6 Astra改写？ - 比分查询

回顾九月，人工智能领域接连爆出重大消息。

9月4日，OpenAI推出了GPT-6 Astra。这份发布报告完全没有提及机器人的通用模型，但随后它直接跃居机器人评测排行榜首位，甚至导致一批机器人基准测试失效。有人半开玩笑地说：机器人领域期盼已久的“GPT时刻”，竟然来自GPT本身。

Meta Muse为每位用户配备了一台云端电脑，仅两周就登顶美区App Store榜首；竞争对手Instinct在一个月内估值从25亿美元飙升至100亿美元。个人Agent领域掀起了新一轮烧钱争夺用户的竞争，但它们能够访问的网页，却正在一个接一个地被封锁。

在AI for Science方面，Claude仅用21小时就发现了一种结构类似于CRISPR的新酶系统ART。AI界对此感到兴奋，因为AI开始参与科学发现，而生物学界的反应则相对冷静，大家希望在实验室验证后再做判断。这种反差为何会出现？

当模型进化到普通人难以察觉其进步时，研究者们的感受又是怎样的？本期《硅谷101》，我们邀请了三位分别深耕Agent、机器人和AI制药领域的研究者——Pokee.ai创始人兼CEO朱哲清、破壳机器人创始人及清华大学交叉信息研究院助理教授许华哲、华盛顿大学计算机学院助理教授王晟，一起深入探讨三件事：个人Agent的商业化瓶颈在哪？机器人如何被像Astra这样的底层模型所影响？AI制药的真正障碍是什么？

以下是本次对话的精选内容：

前沿科学家视角：GPT-6 Astra进化了什么？

泓君： Astra发布后，你们有没有使用过这个产品？或者说，我们回顾网上的演示，哪个demo最让你惊艳？

许华哲： 因为我是做机器人的，我们测试了Astra在机器人任务上的很多能力。第一个感受是它的适应力非常强。比如给它一个特定的机器人本体，让它执行相关任务，它很快就能察觉到这个机器人的运动速度或运动空间，比如它撞到桌子后会说：“这个桌子挺高的，我是不是该把手抬得更高一点？” 这实际上是把思维链这种反思过程的能力，转化成了实际动作的能力，这是过去很多机器人模型和大模型所不具备的。

另一个是它自我更新和升级的能力。因为它具备这种反思，它可以反复做同一件事，并且每次都做得更好。网上大家也看到过，有人让Astra操作机器人机械臂画金门大桥，第一次画得比较差，但画完后它会思考如何改进，经过几次迭代，就能画得非常逼真。

我们还测试了很多其他任务，比如插花，这是一个经典的机器人任务。我们给它增加了难度，花茎被劈开两半，有些分叉。这时它知道因为分叉了，所以要捏住分叉处，把它捏窄一些再塞进去。这样的能力其实相当惊艳。

泓君： 它实际上已经理解了一些物理世界操作的规则。

许华哲： 我觉得本质上还是理解3D，因为它可以从三维尺寸层面做出一些理解，但这种理解确实已经能帮助完成很多非动态的物理世界操作任务了。

泓君： 我看到网上还有一些有趣的demo，他们用Astra快速生成3D视频，渲染效果也很好。

许华哲： 这是Astra在机器人领域另一个令人震惊的能力。给它几张图片，它就能快速生成仿真环境。学术圈可能称之为Real-to-Sim。过去这需要拍摄大量视频和照片，以及很多人工标定和修改。但现在，你给Astra一个指令，它就能快速复现整个实验室或办公室环境。有了这样的仿真，你可以训练你的机器人，从而在仿真层面实现提升。

朱哲清： 我们是做模型公司的。Astra发布时，非常强调它在后训练、模型开发等方面的迭代能力。实际测试下来，并没有那么惊艳，但它在长程任务和迭代方面，确实比之前几版模型有更稳定的提升。与原有模型相比，它对上下文和已完成任务的认知更稳定，幻觉情况也减少了。所以从我们的体验来看，还是比较好的。

但可能有几个问题：速度相对较慢，这可能与当前使用量高有关。同时，在更长的任务上，比如让它运行一整晚，幻觉仍然会发生。所以它并没有从根本上解决，但总体提升了不少。

我有朋友测试了一些前端和设计任务。在前端的审美和认知方面，我觉得提升很大。可能是在训练时对设计和审美方向进行了特殊训练。

泓君： Bill，从模型对行业影响的角度看，这次Astra的发布，与当年Opus 4.6、4.7在编码能力上的进化相比，它是一个重要的节点吗？

朱哲清： 单纯从编码能力看，可能不算一个巨大的节点。从4.5到4.6，当时的感受几乎是范式转变。以前只能依赖它做短程编码、修改几个文件或做简单小项目，但到4.6之后，工具调用几乎不出错，长程编码任务也能自主进行。

而现在Astra 只是能完成更长程的任务，幻觉更低，审美更好。但它并没有解决以前完全无法解决的问题。

王晟： 我觉得这是一个重要的节点。我们现在已经从前面的Claude等系列模型，切换到了GPT-6 Astra来执行内部生物医学任务。我主要做AI for Science，核心是AI在生物医学领域的应用。

我们使用Astra有两个特别好的地方：一个是Computer Use，另一个是长程任务。

在Computer Use方面，我们用它来操作生物医学领域多年前编写的软件。这些软件在领域内是默认要使用的，但它们非常难用，界面设计不好，术语也多，对跨领域的人来说使用成本很高。

但Astra的Computer Use功能，可以直接根据简单的提示，操作得很好。我甚至可以向它学习如何使用这些软件，因为生物医学领域很多人对AI工具的接受度较低。Astra可能把这些软件在网上对应的教程、用户日志、反馈等，全部以文字形式学习了进去，所以它真的理解如何使用这些软件。

另一方面是长程任务。我们生物医学领域的任务比较复杂，有时会持续8到24小时，Astra做得比较好。它比其他模型慢一些，但让我很放心，说明它可能更深思熟虑。

我们现在通常切换使用：白天用反馈较快的模型，到了准备让模型运行一整晚时，就用Astra来设计一个长程的pipeline或prompt。这也是它在AI for Science领域比较值得信赖的一点。

泓君： 我没想到Computer Use功能在AI for Science领域能帮到大家这么多。

王晟： Astra在发布时做了两个生物医学demo，其中一个就是Computer Use。这个demo在我们圈子里出圈了，大家发现可以直接用Astra来操作生物医学工具。它当时操作的一个工具叫MultiQC，是一个常用的网页工具。我们开始用这个功能后，发现它比想象中好用得多。其实Computer Use这个功能之前的模型也具备，只是大家没有开始真正思考如何把它融入科研pipeline中。

Computer Use回春：但商业化卡在了身份验证

泓君： Bill，你能用一句话解释什么是Computer Use吗？

朱哲清： Computer Use是通过模型对视觉的理解，来决定agent下一步要在屏幕上点击哪里或输入什么文字，以完成一系列任务。当它能串联几十个动作时，就可以实现人类想要达到的最终目的。

泓君： 也就是说，它与API的区别是，不需要提供接口或密码，它像人一样直接操作和使用电脑。

朱哲清： 它看到的是人类看到的屏幕、UI和所有视觉及可交互的界面。它通过人类可用的电脑输入输出设备来完成这些任务。

泓君： 我觉得Computer Use之前好像也有，为什么Astra的发布又把它带火了？

朱哲清： 感觉Computer Use现在比之前更火了。以前大家觉得所有工具都会开放API和agent访问接口，很多APP或系统都在做原生智能体的设置。

但最近，无论是Instinct还是Meta Muse，背后都接了浏览器。有一个大问题是，很多第三方APP，比如Amazon或一些购物、旅行APP，它们其实不愿意开放API。

我觉得这又回到了Manus的情况。Manus最初做了Browser Use，后来很多其他公司也跟进，但后来大家发现这不太高效。大家又回到了编码和API调用。现在有些东西避不开，又回到了Computer Use，所以我觉得最终可能是一种混合状态。

我有一个有趣的看法。因为我们目前专注于相对较小的模型，比如我们发布的模型大约30B参数，可以在端侧和私有算力上运行。比如我有一台小的AI盒子或AI PC，就可以运行这个模型。

如果未来Browser Use发生在你自己的机器上，而不是云端，那就会改变它可能带来的瓶颈。 因为现在的远程Browser Use都是通过商用机器，最多找像Bright Data或IP代理，假装是消费者用户来绕过IP验证。像Amazon、Expedia这些网站通常会说，如果是商用IP，就不让进。

泓君： 商家会屏蔽一些AI机器人，不希望它们接入。

朱哲清： 奢侈品网站很早以前就会全部屏蔽。如果你用的是自己家的网络，即你自己的IP，就不会被屏蔽。所以这可能是未来一个破局的趋势，而且可能推动很多APP厂商改变他们的Browser Use机制，即浏览器沙箱可能在本地发生，而不是在云端。

泓君： 你这个观察很有意思。最近非常火的一个toC消费级应用是Meta Muse，它定位为个人AI助手，相当于给每个人做了一台云端的虚拟机，数据存储在云端。根据你的理论，它实际上还是商用IP。如果未来商业化，很可能会被商家卡住IP。

朱哲清： Meta Muse从背后的虚拟机设置来看，与Manus很像。它也主打Browser Use，因为很多使用场景与旅行和购物有关，在这些用例中，无法通过API调用完成任务，基本都得靠浏览器。当时Manus走了完全相同的路，结果被全部屏蔽了。所以Manus后期与Genspark很像，都主打白领工作那一套。

你看Claude Code、Claude Cowork、ChatGPT Work，最后都往白领工作效率方向偏移。核心原因是，很多东西一开始能做，但很快就被巨头们全部屏蔽了。

泓君： 比如亚马逊现在就把Meta Muse屏蔽了。如果有更多网站加入，它能访问的网页和操作的东西就越少。

朱哲清： 但它不可能屏蔽你电脑上的IP，否则你自己也上不了亚马逊了。所以这可能是一个破局的机会。但我怀疑这事会反复拉扯。在C端的agent，目前可能还不是特别成熟。因为做Browser Use对模型需求很高，很难在短期内拉出现象级的体量。

泓君： 那你会看好像Meta Muse这样的长期发展吗？

朱哲清： 我觉得这波消费者最终会落到软硬件结合的状态。我认为Meta如果能将可穿戴设备做大，可能有机会。 为什么我觉得最后要落到软硬件结合，是因为云端不能代表用户本身，这也是浏览器完全屏蔽它们的原因。一旦换了云端的虚拟机，它无法验证这个人就是用户本人。

我认为用户的ID或使用agent的用户身份本身，会是这一波toC的关键。 如果商家能确认这个agent代表的是这个人进行的操作，很多商家可能愿意做这件事。

但现在如果用云端的虚拟机或浏览器，它可能无法验证这一点，它会觉得流量入口被剥夺了。比如我有一个用户，他本来就要访问我，现在通过agent还是访问我，对我来说可能没问题。但如果原本一个用户，现在搞了20个agent，这些agent的消费能力与原来一样，还不停地比价、刷流量，把我的流量全弄乱了，对我来说就得不偿失了。

所以我觉得软硬件结合可能是一个机会。如果硬件本身属于用户，它就可以直接确认这个agent就是用户，代表其行为，我就愿意开放访问权限。

泓君： 大家在toB的工作流中会用xAI的Grok Bot吗？

朱哲清： 我身边用Grok Bot的人更多是在尝鲜，因为它相对更主动一些。但用Codex或Claude Code，其实都能解决这些问题。真正把它接进工作流的，可能相对少一些。我身边很多在B端，比如法律、医疗领域工作的人，现在还纠结于如何逃出Microsoft Copilot的泥潭。 甚至不能自由使用Codex和Claude Code，更别说用到Grok Bot这个级别了。所以我觉得整个行业现在分化非常大，走在前面的人什么都能随便用，走在后面的人还在泥潭里挣扎。

Benchmark失灵：模型进步的方向，真的对吗？

泓君： 我最近与前沿模型的研究员聊，听到一个很有意思的观点。他们认为现在在toC和消费级agent上，token使用量花不了多少钱。现在真正最烧钱的地方，是OpenAI、Anthropic、DeepMind这几家公司竞争的核心领域——AI for Science。 那些未被解决、未被定义的科学问题，比如解数学题，或者跑像王教授这样的生物实验，非常烧token，而且是内部消耗量最大的方向。

比如，OpenAI解纳维-斯托克斯方程这个问题，它内部调用了一个更强的模型，用了大约1万个子agent，发了约270万条信息，消耗了约1300亿输出token。第三方按零售价计算，这部分消耗大约在2200万美元。

因为现在整个模型的进化，对普通人的感知已经不大了。但对前沿科学家来说，他们对模型能力的提升感知非常大。

朱哲清： 这里想问许教授和王教授。我自己主要做后训练，专注于小模型，因为我们想做本地私有化模型。我们能看到的，这个层次的模型在我们优化后，与前沿模型的差距越来越小。

从AI for Science或机器人角度看，前沿模型在每一代迭代中，你们觉得有多大提升？

比如从Opus 4.5到4.6，对比4.8到Fable，或5.6到Astra，这个差距可比吗？

王晟： 我的观点是，在生物医学领域，AI for Science能力确实有很大提升。但这个提升主要来自它的编码能力、查文献和做长程任务的能力，而不是对生物医学知识能力的提升。 有些benchmark专门测生物医学知识层面，Astra并没有提升。

我们现在实际使用时，很难使用Astra、Opus或Fable，因为它们对生物医学任务防范越来越严，都会拒绝回答，这是非常严重的问题。 所以我们内部用Kimi K3或Muse Spark 1.3。当要用Astra时，都要用一些特殊方式告诉它，这不是危险任务，只是设计一个benchmark等。所以实际大模型的使用体验，随着能力增强，其实是越来越差的。

还有一个点，Bill说得很有道理。我也认可，在各种定义明确的AI for Science benchmark上，小模型确实可以与大模型差距越来越小。但我个人觉得这些benchmark本身定义得不好，所以大家追赶的方向，包括大模型进步的方向，都可能不是完全正确的。

这些benchmark定义时，大家会定义更容易让AI模型去做的，比如有明确的生物数据集，要预测一个明确的问题，这与我们真正做的制药发现差距非常大。本质上，这些生物医学benchmark就是一个Kaggle式的数据科学比赛，所以它退化成了机器学习工程问题。Astra在编码能力上的提升，就会在benchmark上有很大进步。

许华哲： 从机器人角度看，Astra是一个飞跃式的提升。过去无论是Opus 4.5、4.6，还是到Fable的变化，都没有Astra这次给机器人带来的变化大。因为过去所有升级，在机器人测试上几乎没有太好表现，定性上没有变化。

但Astra现在带来的变化是整个定性有变化，很多机器人benchmark失效了。 像RoboDojo，大家相对认可的机器人尤其是仿真的benchmark，Astra都成了第一名。无论它用了哪种数据，它带来的能力都是飞跃式的升级。

但关于刚才说的小模型和大模型问题，我倒是觉得，长期来说我们一定需要一个小的、与Astra能力相当的模型。原因是机器人任务有时间要求，需要及时响应和高动态任务。比如抖毛巾，Astra做不了，因为它太慢了。它知道要快动，但只能写代码来做，如果让它直接输出动作，它做不到。在这种情况下，我们一定需要一个快决策的模型。只不过我们需要把现有Astra的CoT、推理能力以及3D理解加进去。

机器人的GPT时刻，还差什么？

泓君： 所以你觉得未来机器人的方向会变成大模型做规划、小模型负责实施控制的分层架构吗？

许华哲： 分层架构大家一直都比较认同，只不过分层的这一刀切在哪？ 怎么分层是大家一直辩论的。比如原来普遍认为VLM是做任务规划层，规划到“打开冰箱门，拿出西红柿和鸡蛋”等，底下的小模型或具身模型执行具体操作。

但Astra这次最大的变化是，它现在能做低层次的动作控制。相当于它给你的指令变成了“把手往右伸两厘米”或“把手放在冰箱门把手上”，如果没抓住，它会说“再往前靠一靠”。所以它相当于把这个层往下压了。

原来是边界清晰的，但现在它说能力很强，除了慢，可以往下压一点。底下就更像是一个反射式的提线木偶。肯定有声音说，是不是未来上层模型可以无限往下压，压到最后变成一个完全端到端的VLM，Astra直接控制所有事情。

我个人观点是，这不太合理。第一是速度，网上看到的Astra做控制都要16倍速或24倍速才能看。第二，我觉得现在的Astra对物理还是缺乏理解，尤其是人类称为直觉或直觉物理学的部分。

我随手碰一个物体，如果有水可能会洒，如果是玻璃可能会碎。Astra经过很多语言推理可能能理解，但如果希望它做任务时立刻有这种理解，效果可能还不够好。这个地方可能还是需要世界模型或快速模型来做一些直觉式反应。

泓君： 你刚才提到它速度慢，是因为模型太大吗？

许华哲： 模型大肯定是一个原因，另一个是它的CoT很长。虽然它是加密的CoT，给出来的CoT应该是假的，我理解，但内部CoT非常长。所以它做每一步决策时，思考非常冗余。尤其是面对简单任务时，我们观察到它对复杂和简单任务的思考时长基本相似。这意味着复杂任务它很聪明，但简单任务上就成了额外开销，使它看起来很笨。

泓君： 许教授，我知道你们公司有一个demo是用筷子夹小球。用你们自己的模型做，与用Astra做，有什么区别？

许华哲： 用我们自己的模型，首先时间上快很多；其次，在抓取时是连续不断地尝试，过程中没有太多逻辑思考，抓一次失败后可以换个角度再试。

但如果是Astra，它每做一步后都要分析原因，然后给自己指令并做相应调整。这个过程看起来更像人类思考，但会导致很缓慢；其次，它有时会陷入僵局，无法理解为什么会发生，或者一旦分析出错，就无法进一步推进。

还有一个我们看到的点，如果去抓取桌面上的物体并旋转，Astra做得相对弱一些，但它能做，需要反复尝试如何旋转。这种能力目前还有一定短板。

泓君： 现在机器人公司分很多种，比如做大脑的，包括Sim-to-