参加了 NVidia GTC (GPU Technology Conference)，由于英伟达的地位，这会也已经成了 AI 开发者最大的交流会，很多公司和业内人士都会过来分享、交流，大概写下会议中相关见闻感受。

Keynote

老黄没提词器洋洋洒洒讲了两个多小时，出了小状况还会开个小玩笑，大佬范很足，也满满的理工男既视感，非常多的数字和未经包装的细节，不过感觉会讲得有些啰嗦。

总的来说，核心论证的是世界对 GPU 诉求会越来越大，而 NVidia 在 GPU 这个领域会持续遥遥领先。

GPU诉求

计算机的核心从 CPU 转向 GPU，上个时代依靠程序员写代码指挥 CPU 执行指令解决问题，构成了现在庞大的 IT 产业，程序员是中心。现在的时代逐渐转变，GPU 生产的 token 逐渐能解决越来越多的问题，能思考，能生成代码指挥 CPU 去执行解决问题，计算的核心一定会转向 GPU，世界对 GPU 的需求只会越来越高。

给 AI 分了四个阶段，Perception AI → Generative AI → Agentic AI → Physical AI，不是很认同，Agentic 和 Physical 都是 Generative AI 的延续，不过无所谓，可以看到 Agentic 这个概念实在是火爆。

Scaling Law 没有停止，Agentic AI 需要深度思考，深度思考有新的 Test-time Scaling Law，越多的 token 输出效果越好需，要多轮理解和工具调用对 token 的消耗更是指数级上涨。

Physical AI 要更好地理解现实世界，声音/视觉/触感，都会比纯文本思考对 token 消耗的诉求更高，像 2G 时代看文字新闻，3G 4G 图片，5G 视频一样。

这两个发展中的领域对 GPU 的需求只会越来越高，Deepseek 做的优化也不足以影响这个需求的增长，这个市场不容质疑。

NVidia 优势

GPU 需求量是高，但未来大家一定会买 NVidia 卡吗？当然。NVidia 这一代 blackwell 算力是 hopper 的 68 倍，下一代计划明年推出的 Rubin 算力是 hopper 的900 倍，一年一迭代，远比摩尔定律快的速度，还做了大量的大规模部署的优化，省电、稳定，号称买越多，省越多，赚越多，竞对看起来会很难追上。这些论述还是挺能让人 buyin 的。

Agentic AI

Agent 的相关 session 有接近 200 个，Agent 集合了几个元素：

1. 概念火，一些涉及 Workflow/RAG 什么的 AI 应用都统一称为 Agent 了，GenAI 在各行业的落地都可以冠以 Agent 的名义，跟以前 H5 那样，不纠结于具体定义，只要有一个统一称呼。
2. 人群广，Agent 目前主要是在上层的工程架构上，大量的工程师都能理解、参与讨论、建设，不像基础模型训练，多数人难以参与。
3. 应用广，非研发也能大概听得懂，涵盖了 AI 在各行业的应用这个课题，各行业都会有兴趣了解 Agent 是什么，自己业务上能怎么用。

所以 Agent 相关的 session 大部分都很热门。听完一些的感受：

1. 多数做企业服务、云的公司都在卷 Agent 的基建和解决方案，像基础设施公司 Fireworks AI、Nebius，数据库公司 Couchbase、datastax，企业服务公司 serviceNow、Dropbox，新兴公司 huggingface、langchain、langflow 等，都来分享推广在 Agent 这事上能提供的能力和服务。
2. Agent 相关的建设都在刚起步，基本都是在分享概念、工程问题的优化和应用方案，没看到有涉及模型训练去优化 Agent 效果上限的相关分享。Agent 的一些关键课题上一篇文章有提到，基本差不太多。
3. 也没有讨论 Agent 在工程和模型上的界限，后续端到端的模型进步，能吃掉多少 Agent 能做的事？这两天 4o 的图生成出来后，预计后面才会有更多的讨论。

NVidia AI 基础服务

NVidia 作为领头羊，是希望自己能覆盖 AI 全链路基础设施的，大力在 AI 的每一层都提供了相关框架、服务、能力，这次会议上也有非常多的分享和推广。

其中跟 AI 应用 / Agent 相关的几个基建：

1. BluePrint：应用蓝图。给了很多 AI 应用场景的 example 工作流（也称为 Agent），例如 PDF 转博客、数字人应用等，提供工作流架构、数据集、源码，可定制，供开发者快速参考和部署。
2. NIM（NVIDIA Inference Microservices**）**：模型推理。把模型推理封装在 Docker 容器里，可以直接快速部署，对外提供标准化API。也封装了模型在不同 GPU 型号下的优化，提升性能效率。
3. NeMo（Neural Modules）：模型训练。提供了相关工具用于构建、定制、训练 AI 模型，训练后的模型可以通过 NIM 部署。
4. AgentIQ：开源 Agent 开发套件，支持组合链接不同框架创建的 Agent，提供性能 profiler、评估、UI 界面等工具。

这些基建的声量比较低，国内没怎么见到，不确定海外使用情况怎样。

多个 session 都在推广 NVidia 的 Video Search and Summarization Agent，串联从视频的获取→分割→VLM识别、CV物体识别和跟踪→数据处理存储和RAG召回→用户对话 整个流程，做到可以对视频提供实时分析和报警，也可以自然语言交互查询视频内容，边缘部署，适合用于监控，算是用 NVidia 技术栈做 AI 应用的一个标杆范例。

AIGC

关注了下视频 AIGC 相关的几个 Session

1. 在好莱坞干了几十年的视觉效果的 Ed Ulbrich 开了个公司 Metaphysic，以前的电影特效制作成本巨大，对人的处理还很难跨过恐怖谷，而基于 AI 技术做特效，用完全不同的技术栈，效果好成本低，是一种颠覆。metaphysic 给娱乐行业提供人脸替换、数字人的服务，看起来是用的 GAN，在人物换脸技术上，GAN 还是更能做到稳定和实时，特别是实时这个点，基于 diffusion 很难做到。基于市场需求，利用已有的不同技术(甚至是上一代技术)深入解决问题，是有空间的。
2. PixVerse Co-Founder 在一次对话中聊到，视频实时生成的能力差不多要 ready 了，目前 5 秒的视频可以做到5-10秒推理完成，可能会解锁新的人跟视频的交互方式。不确定质量怎样，质量达到一个阈值，以前设想的很多类似 自定义剧情走向 的新玩法新交互有很大空间。
3. Adobe 和 OpenSora 都来分享了视频生成模型的训练和推理的方案和优化，鉴于已经不是SOTA模型，可参考性不高。TCL 分享了AI电影制作，很惊讶这公司竟然在做这个，更多的是在做链路串联，而不是端到端的视频模型。

其他

1. OpenAI 只来了两个人给 blackwell 架构站站台，Anthropic 一个人也没来，从这上看，这行业最领先的技术还是很 close，毕竟是核心竞争力，而且很容易被复刻，不像上个时代，大规模并发架构等技术，更重的是实践中解决具体问题，大方案分享了问题不大。（所以 DeepSeek 开源最领先的技术带来的冲击才会那么大。）
2. DeepSeek 就是 Reasoning Model 的代名词，开源模型的顶流，出镜率极高，老黄的 keynote、各种演讲里都有它的身影，而 llama 通常是作为上一代开源模型与它做对比，只要是提供开源模型部署服务的公司（HuggingFace/Fireworks等），分享里都会对 DeepSeek 极度推崇。
3. 遇到不少学生来参加，有的来找方向，看看业界前沿在做什么，做学术交流，找合作机会，这个会是挺合适的。清华、中科大、SJSU。最大的问题是实验室没有足够的卡，这领域是必须校企合作，实验室才进行得下去了。
4. 使用 Nvidia Jetson 做边缘计算也是预期后续空间比较大的方向，设备端部署模型，可以提升实时性和隐私性，多数分享是用在具身智能上，还有一个分享的场景是在货架上实时分析用户行为，更精准推送广告。
5. 机器人、自动驾驶的 session 也很多，数字孪生是提得比较多的（用 AI 生成仿真环境，用于机器人训练），但现场没看到什么能震惊人的机器人，包括老黄演讲时演示的类 wall-e 机器人，惊艳不够，这一行感觉还早。

总体感受，眼花缭乱，人潮纷杂，在开拓视野以外，大会更多是一个社交场所，推广产品/技术/服务，促进合作，这类大会需要的是多创造一些面对面交流的机会。

花絮

1. 现场有限量的原价 5080、5090，知道时已经不可能排队买到。
2. 跟七年前参加 WWDC 在同一个地方，估计一直还是同一个承办公司，午餐还是那么难吃。
3. 参观 NVidia 工区，老黄作为华裔也是信风水的，新办公楼会模拟依山傍水的设计，风水好。NVidia 搞渲染出身，渲染里三角形是最基本单元，所以办公楼都是三角形元素。办公环境很宽敞，但没啥人，总部居家办公没有限制，很多都不来公司。

GPT-4o image generation is now available in ChatGPT. The new image generation model, which replaces DALL-E 3, is most notable for its accurate text rendering, improved "binding" capabilities, and ease of use.

参加 NVIDIA GTC 会，其中一场听了 LangChain 的作者 Harrison Chase的分享《AI Agents in Production Insights and Future Direct》，聊了 Agent 当前遇到的一些问题和他的想法，包括 Planing，UX，Memory，Reliability，Deployment，Multi-Agent，也结合我的理解说说这几个课题。

Planing

任务规划是 Agent 的核心，这个课题是进展比较多的，业界解决得相对比较好，核心是 o1/r1 推理模型的出现和不断增强，让规划能力上了一个台阶，这也是 agent 能起来的基础。

但模型本身目前解决不了所有问题，还需要工程上的一些策略和串联做优化。例如 Tree of Thought 让任务不是以线性一步步执行的形式，而是生成解决问题的多个节点，多角度思考问题，形成树结构的任务，评估节点的价值，在里面寻找最优解。 Reflexion 会有 Evaluator 对各种反馈（工具调用结果/模型输出/用户指令）进行反思，梳理改进方向，也会把反思结果作为知识库经验，指导后续的任务。

这些策略链路是需要有一个工程流程把他们串起来的，这个工程链路的构建也是 Agent 在 Planing 能不能做好的关键因素，langgraph 和众多 Agent 框架服务都持续在做这个事。

UX

Agent 的交互应该是怎样的？

Devin 多窗口，有聊天框发送指令、又能实时看到 Agent 在怎样用浏览器、命令行、编辑器，是不错的交互。

大部分 Agent 会是后台异步运行的模式，可以让它直接跑在后台，在需要人类给出反馈处理的，用类似邮件 inbox 的方式交互，Agent 发邮件给你等待指示，你回复邮件给输入。

相较于交互界面形态，交互的策略可能更关键。Agent 在执行任务过程中，

1. 用户是否应该能随时中断并提出新的指示？
2. Agent 应该在什么时候暂停任务等待用户反馈再进行下一步？
3. 用户指示应该用表单一次性收集，还是一步步收集？

如果做每一步都要用户反馈做指示，那是非常枯燥不好用的，如果完全不需要用户反馈，那做出来的东西可能不符合用户预期的概率高很多。模型应该能做好这里的交互策略，但目前还没看到有特别好的实践。

Memory

长时记忆是个有意思的话题，杨立昆在对话中也有提到，记忆这个课题是值得研究的方向，现在是缺乏突破和讨论的。

现在的 Agent，普遍都只有知识库 RAG 而没有记忆，记忆不是知识库，或者说知识库只是记忆的一种。

记忆应该跟人类一样，模型能记住和学习交互过程中用户给到的信息和偏好，在每次推理过程中发挥作用。

它跟 UX 相关，如果模型能理解记住用户偏好，用户的反馈交互就可以减少。

它也跟 System Prompt 的优化相关，System Prompt 是激活了模型按某个方向去做推理预测，记忆也应该是在模型推理的过程中发挥作用。

简单做的话记忆可以作为 System Prompt 的一部分去影响模型，更彻底的可能应该是能持续内化到模型内，或者以新的模型架构去做这事。

现在的应用场景还没到记忆是必选项的程度，但要做 AGI 或者要 Agent 好用这块必不可少。

Reliability

主要是指 Agent 能不能稳定地解决同一个(或同一类)问题。

Agent 跟之前的软件工程不同，受限于模型输出的不稳定，整个系统的可靠性是远不如传统工程的，用户输入同样的或差不多的需求，agent 不一定每次都能解决问题。

模型输出的，一是会受用户对任务描述的影响，可能描述不准确，可能会有歧义。二是受模型本身不够聪明的影响，近期模型能力越来越好，解决了部分问题，但仍是不稳定。

保持 Agent 输出的稳定性，是一个非常需要持续迭代优化的工程，搭一个 demo 容易，持续优化难。

Agent 节点多，需要能看清每个任务节点的详细情况，有问题时知道问题出在哪里，需要有效果评估的测试能力，也需要框架有能力比较方便地在过程中对模型的输出进行评估实时纠错，提升稳定性，这些配套 langchain 相关生态都提供了，NVidia 这次开源的 AgentIQ 框架也基本涵盖了，还有很多框架服务也在做。

Deployment

Agent 要在线上跑，相关部署基建现在也还没有很完善，它跟传统工程链路还是有一些区别，主要是链路长、耗时长、成本高。提供 Agent 部署的服务应该针对这几个特性做好相关基础设施。

1. 稳定性：整个 agent 链路很长，每一个环节调用如果成功率是 99%，平均要调用十次接口的 agent 成功率就只有90%，而大模型的接口往往也不稳定，如何保证成功率？ 重试策略、排队机制等，这些都是 agent 工程基建应该做的事。
2. 性能：当前 agent 处于效果大于耗时的阶段，只要效果好，五分钟输出还是十分钟输出都可以接受，但真正规模化应用起来时，性能问题肯定也是重点，整个链路耗时太长，可优化空间会比较大，NVidia 对 agent 的分享也提到了，很多任务不一定要串行做，可以并行化节省整体耗时。
3. 监控： Agent 线上跑的效果怎样，准确率多高，有没有安全风险，应该有直接可用的相应配套。
4. 成本：如果 Agent 全程用最好的模型，跑一次十几分钟的任务可能要几美元的成本，前期问题不大，效果优先，粗放式探索，后续真能规模化上线应用，成本这里的优化空间会比较大，用不同的专家小模型处理不同的任务、做好模型 – GPU 卡适配优化推理（NVidia NIM 提供了相关能力），都是可优化的方向。

Multi-Agent

预期后续会有非常多的 Agent 出现，Agent 跟 Agent 之间如果能相互联系，能形成新的智能体，但 Agent 之间 应该怎样通信？

这里的通信不止是把 Agent 当成一个黑盒，给指令 – 输出结果，而是能深入 Agent 内部的通信，上下文共享、中间步骤共享、过程中的协作、用户操作插入等。

目前没有一个标准，各项目都是自己的一套，业界可能需要这样一个标准，能实现把使用不同框架、不同服务上部署的 agent 连接起来。

MCP 是近期在快速发展的标准协议，很有前景，但它只是把工具工具调用标准化了，对 Agent 和 Agent 相关的协作是没有定义的，可能需要另外的协议。

上一篇文章刚好探讨了这个内容，用 Agent as Tool 的方式，把 Agent 当成工具的一种，基于 MCP 去做，好处是架构简单，Agent 可复用性高。

但它只把 Agent 当成黑盒 Tool 去使用，给指令 → 输出结果，Agent 之间更深入的联系是没有的。我们也在尝试，给这个 MCP 子 Agent 输入主 Agent 的上下文，同时这个子 Agent 也可以流式把每步处理过程上下文输出给主 Agent，这样就可以实现 Agent 之间的上下文共享。同时也可以继续做更深入的交互定义，比如子 Agent 与用户反馈交互的流程协议。

目前这些协议都需要自定义，但以 MCP 、 以 Agent as Tool 去定义标准的 Agent 间交互协议，也是可行的，MCP 可以把这套交互协议也定了，可能是 Anthoropic 很好的机会。

---

上述这些基本是工程上的事情，这次 GTC 很少有人讨论到 Agent 在数据收集/模型调优上的实践，基本是直接使用基础通用模型，但要提升 Agent 的上限，应该是需要专有模型并能支持端到端训练的形态，待探索。

newtabBookmarks

不想让 360 霸占浏览器首页，于是很久以前参考木木同学的导航页，自己用 php 写了一个页面，挂在了 dh.muxer.cn 页面下，然后设置为了自己浏览器的首页。因为不怎么更新，当时做完后添加了多少链接，现在还是多少链接，再加上办公室浏览器和家里浏览器首页链接不一样，用的是 127.0.0.1，所以其实没怎么用。

既然都是单机玩，又不想给 dh.muxer.cn 搞个用户系统区分不同使用环境不同链接，就想着要不搞个插件吧。

deepseek 刚火起来的时候，我就问了它弄这样的插件难不难，没想到刷刷刷的就给我丢出来了一大堆代码，一测试还真能用，就直接折腾上了。

其实真搞起来的时候，deepseek 用的很少，主要那段时间问超过 3 句，就来个“服务器繁忙，请稍后再试”，搞不下去。后面大部分时候用的都是 vscode 的通义灵码插件。最终取名 浏览器新建页面自定义网页书签导航插件/newtabBookmarks，结果如下：

主要功能

1. 自定义链接分类
2. 支持手动添加网站信息
3. 支持网站页面点击插件图标自动获取网站信息，需要自己添加分类
4. 编辑模式支持拖拽分类重新排序
5. 编辑模式支持拖拽书签链接重新排序
6. 编辑模式支持编辑、删除已有书签链接
7. 编辑模式支持导入和导出书签导航 JSON 数据
8. 支持设置自定义页面标题、背景颜色、背景图片
9. 支持设置 bing 每日一图为背景图片
10. 支持设置本地图片为背景图片
11. 支持设置背景颜色透明度
12. 支持搜索已添加的书签链接
13. 默认 bing 搜索引擎
14. 显示每日诗词诗句

使用方法

1. 下载项目到本地并解压得到 newTabBookmarks 文件夹
2. 打开 chrome 浏览器，进入扩展程序页面（chrome://extensions/）
3. 打开开发者模式
4. 点击“加载已解压的扩展程序”，选择 newTabBookmarks 文件夹
5. 点击插件“详情”，选择“固定到工具栏”
6. 浏览器点击选择“设置”-“起始页面”-“打开新标签页”
7. 打开浏览器或新建新标签页，即可看到自定义的网页导航书签

注意事项

1. 本插件支持 chrome、edge、360 浏览器
2. 本插件需要浏览器数据存储和读取页面信息权限
3. 清空浏览器数据可能会导致书签数据清空，请及时导出备份
4. 删除插件会清空书签数据。

Github 仓库地址

https://github.com/happyet/newTabBookmarks

最近身边出现了一些鼓吹AI代替部分思考，成为思考重要环节的人。

是怎么被发现的呢？是因为这几天跟朋友聊天，说起了我手上正在处理的「离婚案子」。因为对方也是一个去年离婚的男性，所以聊了聊离婚期的「戒断反应」。

他完全不关心案例本身，只是一味地用「过来人」的身份，对我提出了一些对对方的「蔑视」。我只能不停强调他们作为两个独立的个体，首先是遇到的问题不一样，其次是两人的性格成因也不相同。我不得不迫使他先停下来，聊聊「案子」本身。

我大概描述了一下案子本身，想从他作为一个经历过离婚的人来聊聊戒断反应持续的时间和形式。他很快就回复了我，用非常官方的说辞，为我列出了好几条「解决方案」。每一个解决方案看上去都是一个「方法」，但是还是在规避一个重要的事情——「这个案主到底是一个怎样的人，是什么原因导致了他现在的情绪」。

我问了这位朋友一句：「你是用AI来回答我的吗？」

他：「内容有点多，我让AI帮我总结一下。」

我：「结论呢？」

他：「我结合AI提出啊，我觉得它说得蛮好。」

离婚的事儿倒不是大事儿，这位朋友跟AI的配合让我来了兴趣。

---

我并不是一个极端AI反对者，不会觉得AI最终会毁灭人类，这件事反而是值得在小说这样的载体去进行思考的。我的生活也有很多是需要AI的，比如宠物出现了一些行为反应，我会第一时间询问ChatGPT。但我也会有意地限制它代替思考这件事。

我问这位朋友：「AI得出的结论，你有想过它背后的逻辑吗？比如为什么会建议当事人出去旅游散散心？」

他：「建议就是建议，当事人是否采纳就跟我们没啥关系了。我觉得它说得挺对的，与其沉浸在痛苦之中，不如从里面抽身去做点别的事情来分分心。」

我继续追问：「如果我是询问你的人，如果你告诉我可以出去旅游散心，但是你没办法告诉我原因，我也很难说服自己去执行，因为情绪先于行为存在。」

他：「那我的建议就是，爱信不信，我既然给的是解决方案，就不是要你去接受或者不接受的。至于原因，一是需要创造物理和心理的空间，二是需要重塑自我的身份认同，三是需要情绪疗愈和自我对话，四是需要增强掌控和自信心，五是要为自己提供反思与成长的契机。」

我：「这还是AI的答案吧。」

他：「我觉得它说得很有道理啊。」

我终于问出了我最关心的问题：「你难道都不会先自己思考一下吗？」

他：「我觉得AI很好地整理了逻辑，我看了之后认同它的答案，我不觉得我没有参与思考，因为我在看结果的过程中，它也帮我整合了我的思路。」

---

这位朋友很有趣，他平时很爱看那种一步一步求解数学答案的直播。以前我还跟他聊过这件事，想弄清楚「成瘾机制」到底在哪里。他每次给我形容解题直播时，都会用到「爽」这个词，他觉得数学公式本身代表了一种秩序层面的爽。当解题人一步步将各自零散的公式，一层一层套入解题过程时，他会不断地产生多巴胺带来的正反馈刺激。

我因为实在不能理解这种「爽」，所以也好奇地看过几次——毕竟自己是个学渣，现在能看懂解题过程中的完全平方公式就已经不错了。

我问他，他是否有把自己的这个喜好，问过AI吗，到底是什么原因导致的。

他觉得有趣，立马去问了AI，得出的结论是：

解谜的快感：智力的审美感受：情绪上的放松与疗愈：替代性成就感：求知欲的满足：社交归属感：

我：「是这样吗？」

他：「我觉得它说得蛮对的。」

我：「你在看这些直播的时候，你心理都在想什么？」

我不知道，是不是这个问题AI没办法代替他的思考，他过了好一阵才回答我。「我会觉得自己还有别的思路吧，有时候看他解题也会莫名愤怒，因为明明有更好的方法……」（后面我省略了一堆我听不懂的高数内容的举例）

我：「你数学成绩最好是什么时候？」

他：「高中吧，能考140以上。」

我：「后来呢？」

他：「偏科啊，大学没进喜欢的科目，高数也不是主修科目，但还是会上课。」

---

后来，我们聊了聊他如何热爱数学，将数学作为逃避学业压力的方式，才导致了高中时期严重偏科。聊了一阵，我又建议他把他跟我聊天时讲述他自己关于如何热爱数学的内容，喂给AI看看AI会不会进一步得出「原因」。

AI给他的结论是：「用擅长的领域建立自我价值、获得潜在逃避现实的安全感、潜意识中对现实的对抗心理、社群归属感。」

我再一次追问：「这说的是你吗？」

「好吧，有点不太像，我好像没有用它逃避现实，我就是吃饭的时候看看而已，我现在也没有从事这个行业，你要说价值感感觉也没有太大必要，社群归属更没有，我在这种直播都是不互动的……」

我从聊天记录里翻了好久，引用了最开始跟他聊起的那句话：「现在还觉得AI得出的结论，有其背后的逻辑吗？」

他：「但你不能否认，它确实给出了一些能够理清思路的方向吧。」

我：「不，我是说代替逻辑思考这个部分。」

他：「哎呀，只是说借用一下，没有说完全相信AI的思考。」

我：「那你是怎么做的？」

他：「对于AI的结论先找到自己认同或不认同的观点，然后用自己的故事去印证观点的可行性，对AI结果保持质疑、反驳的态度，重新用自己的语言习惯进行表达，加入自己的观点和修饰。」

我：「等一下，这是你还是AI？」

他：「好吧，是AI。」

我：「那我到底在跟谁聊天？」

---

他说自己真的已经习惯了这样的思考方式，他不觉得有太大的问题。甚至是他写报告、文章都会先用AI来梳理框架，对于一些需要罗列呈现的内容，也会用AI总结成小标题+段落的方式，然后再变成自己的语言。

我：「那我怎么知道你和我聊天、你写的东西、你给的建议是你本人，还是AI提供的内容？」

他：「我觉得没区别啊，因为AI确实帮我总结了我脑子里面觉得正确的东西。」

我：「不是啊，是你脑子里先有了这些答案，看到了AI给出了跟自己观念一样的答案？还是说你看到AI结果之后，觉得我好像也能想到这个答案？这是两件事，后者更具迷惑性。」

他：「我觉得是AI在补充我的视角。」

我：「补充的占比是多少？」

他：「能开拓我的视野就行了呗。」

我：「补充的占比是多少？」

他：「这很重要？」

我：「当然，这件事决定了你到底有没有思考。」

他：「跟这有什么关系？」

我：「因为这是主动思考和被动思考的本质区别。」

过了一阵，他回到了我：「但是这都是思考，一个是结合自己的经历从无到有，一个是从困惑到清晰的创造过程。」

我：「我又在跟AI聊天了吗？」

他：「你怎么知道？」

我：「我在每一次问你问题之前，都让AI回答了，也就是说我在跟你聊天的同时也在跟AI聊天。」

他：「你真可怕。」

---

我不太确定他什么时候是以「人」的状态在跟我聊天，所以我决定让他停留在「人」的状态，保留情感的部分跟我聊天。

我：「我们又来聊聊你为什么喜欢看数学直播吧。」

他：「用AI吗？」

我：「不是，你离婚之后是不是孩子分给了前妻？」

他：「嗯，一个儿子。」

我：「多大啊？」

他：「9岁，小学三年级」

我：「以前他的数学作业是你辅导的吗？」

他：「是啊。」

我：「好了，这就是你爱看数学直播的可能性之一。」

似乎我们的话题在这里终止了，过了好久，他才问我：「是AI回答的吗？」

我：「不，是我跟你都是人的情况下得出的答案。」

他：「好吧。」

近期在业务中尝试落地 Agent，有一个架构设计问题，应该用单 Agent 架构，还是多 Agent 架构？

Single Agent

先来看看单 Agent 架构，在之前的文章里，OpenHands 这里的架构是典型的单 Agent 架构，依赖一个模型，组织多个工具调用，做好 ReAct 和上下文管理，整个过程很简单。

1. Tools 是一个个函数，定义和调用都是在当前程序里进行。Tools的函数定义会作为 System Prompt 的一部分让 LLM 理解当前可用工具
2. Memory 分两部分：
   1. 当前 Session 数据流，包括每一步执行了什么，结果是什么，在当前 Session 内存中保存，随时全量输入 LLM，让 LLM 判断下一步应该做什么。
   2. 用户的长期数据、知识库，例如用户在平台的偏好数据、领域内容、多轮对话上下文等，这些内容会从向量数据库召回。
3. Router 中心化程序调度整个过程，拿用户 Prompt / System Prompt / Memory 输入 LLM，LLM 进行深度思考和给出具体执行的任务，Router 去调用对应的 Action 函数。

这是简单通用的单 Agent 架构，实现 Agent 中 Thought – Plan – Action – Reflection(Thought) 的循环，一个模型负责所有事情。

MCP

上述架构里，Tools 模块有一些小问题：工具函数可维护性和可扩展性不太好，多了后难管理，要加函数得更新主程序，另外得自己定义一个 Function call 规范，对外部的一些会用到的工具服务都需要自己封装一遍。

对这些小问题，这个架构可以有一个优化：Tool 模块从 Agent 剥离出来，用 MCP 协议统一管理和实现。

附：MCP是什么？

MCP 是 Anthropic 24年11月推出的协议，近期 Cursor / windsurf / cline 等一众 AI Coding 产品支持了 MCP 后出圈，众多开源框架也开始支持 MCP，大有统一的趋势。

MCP 的概念很简单，就是统一了工具调用的接口规范，这几张图可以帮助理解：

1. MCP 统一了各工具能力接入的接口调用定义，原先一个服务(例如slack）要对接多个用户端产品（例如cursor）定义的 Function call 格式，现在服务和客户端统一对接同一种格式就行，两边都只需要实现一次。

2. MCP Server 独立运行在任意服务器上，也可以有自己独立的数据库信息/资源，不与 Agent 服务器绑定，可复用、易于插拔。

把原先 Tool 几个工具函数调用用 MCP Server 封装，架构变成这样：

跟原先纯 Function call 的区别在于架构上更灵活，包括：

1. 聚类，对零散的一个个函数可以统一放到一个服务，便于管理。
2. 解耦：调用实际发生在各自 MCP 服务端，而不是 Agent 服务直接去调用，部署扩展工具与 Agent 工程上解耦。
3. 内聚：MCP Server 本身可以内聚做一些事，包括独立的资源管理、独立上下文等。
4. 复用：通用协议，Tool 能力便于在多个 Agent 间接入复用，外部生态有较多现成 MCP Server 可直接接入。
5. 统一：客户端、云端的工具调用，都可以用统一的 MCP 协议去实现。

这个架构似乎已经可以满足大部分场景下对 Agent 的诉求，为什么还需要考虑 Multi-Agent？

Multi-Agent

考虑 Multi-Agent 最主要的问题是上下文过长。

如果一个 Agent 能力足够强，它应该能完成需要非常多轮调用完成各种任务，这些任务的制定和执行结果全部塞在一个上下文里，可能会超出当前模型能理解和处理的范围。

这时候，计算机工程的典型解决思路就是：分治模块化。把整体 Agent 能力拆分成解决一个个独立复杂任务的子 Agent，让这些 Agent 在它的范围内能有自主思考和自主行动能力。

从 Agent 的组成来说，必不可少的部分包括：

1. 模型：独立的处理模型，可以跟其他 Agent 不同，称为专家模型。也可以相同，看需要。
2. 上下文：独立的多轮 ReAct Loop 上下文管理，完成自己特定的任务
3. System Prompt：对应任务制定特定的 System Prompt

而 Tools 可以不是 Agent 专用的，这个 Agent 需要什么 Tools，就注册什么 Tools。长时记忆/知识库也可以是多个 Agent 共用的。

架构会变成这样：

这样 Plan Agent 只专门制定计划，它需要知道的上下文是其他几个 Agent 能完成什么大的任务，至于他们调了什么工具怎么完成不用管，只需管它要结果，整个任务的上下文就被分出多个部分，每个 Agent 的上下文对另一个 Agent 可以是黑盒。每个 Agent 也可以有自己对应的模型，做独立的训练和 Prompt 调优。

这样是不是一个更优的架构？

1. 它的好处是解决了上下文过长，模型处理不好的问题。
2. 但坏处也是很明显：整个架构是复杂化了，而效果也不一定好。多个 Agent 需要协同，Plan Agent 能获取的上下文信息变少了，它没有了更细粒度统筹规划整个任务的能力，变成一个偏项目管理的角色协调各方的工作，多人协作带来信息熵增大，组织效率低。

AI 的范式，可能不应该这样分治，可能大模型在对上下文的支持、细节信息的理解上会越来越好，能统筹把握好各项细节，把一个复杂任务完成，而不是像人类社会一样分工协作。这样对大模型来说，有足够的信息量能做规划/决策/反思，也更便于端到端的模型训练。

从号称泄漏的 Manus Prompt 来看，Manus 也没有 Multi Agent，所有能力包括工具函数都在一个上下文中定义，看起来目前也能跑得起足够复杂的任务。

所以如果项目在早期，没有遇到很明显的瓶颈，并不需要用 Multi-Agent 架构，用 Single Agent 简单的架构足够能做好。工程架构越简单，后续基础模型升级带来的增益越大。

基于 MCP 的(伪)Multi-Agent

再探讨下，如果在应用过程中已经发现上下文处理不过来的问题，或者某个任务的内部实现细节对整个任务无影响，或者三方都实现好了，那采用另一种伪 Multi-Agent 架构，也是可以考虑的方案：

例如对接 browser-base 实现更深度的 research 能力，需要多轮打开不同网页、判断资料收集是否完成、整理资料，有自己的 loop 、上下文和模型。但这个完全可以封装在一个 MCP 服务上，自行闭环完成多网页搜索和整理，不需要与原 Agent 流程上有更深入的交互。

跟上面的 Multi-Agent 架构的区别在于，并没有改变原来单 Agent 架构，不会增加架构复杂度。Agent 不需要感知 MCP 调用背后是 Agent 还是一个普通的函数调用，没有区别。

MCP 协议本身也是 SSE 流式输出，对这个背后是 Agent 的 MCP 调用，要输出多少上下文信息给原 Agent，也是可以非常方便地调控。

以上是近期的一些想法，Agent 是新东西，后续实践有认知的更新再分享。

OpenAI continues to add new features to ChatGPT, with the arrival of ChatGPT 4.5 one of the biggest recent updates. However, a small recent change has the potential to have a significant impact.

该内容仅供娱乐，请勿过分解读。
这是一篇使用AI工具辅助创作的作品。
内容包含以下已知问题：

• 人物形象连贯性错误
• 作画细节错误
• 大量的暗示
• 大量无用的细节描绘

该内容可能会引起部分人引人不适，请谨慎选择观看 。
本作品不适合儿童以及心理承受力较弱者。

B站视频链接：《生命，科技，灵魂，死亡》

我是期望能有人点到B站然后在底下留评论。现在各个平台都已经被算法掌控了，有互动帐号才能活。没互动那就是死。

WordPress这坨狗屎现在乱改用户的HTML嵌入代码，然后B站的自动播放又没法在代码里禁用掉，所以我这里就不嵌入播放器代码了。

---

结论

假如你觉得这个漫画非常的「抽象」，那就对了。

制作感想

可以说年后就一直都在搞这个作品。

期间甚至把整个操作系统都从 Linux Mint 20.3 升级到了 Linux Mint 22.1 （跳过了1个大版本4个小版本，或者说2个大版本3个小版本？），写了一堆 nemo actions，写了一堆脚本，更新了本地的各种应用工具，测试了一堆AI相关的工具，写了一个 userscript，甚至还把 danielgatis/rembg 常年都修不好的GPU加速给修了，还做了 DOCKER GPU 加速版本，你说我也不会 Python 啊竟然还做出了这种事，想想真是疯狂。

前几年挖的各种大坑不仅没填，新大坑开得一个接一个……这些玩意要是能赚钱我早就成暴发户了。

关于AI的感想本篇文章先不讲。我个人是没什么兴趣凑这个烂热度的，整个互联网这几年就跟鬣狗一般，什么热就食什么，不论腥臭。当年韩国人的常压室温超导体，各种人“复现成功”；现在AI也一样，各种狂热，但是实际应用或相关创作基本没有，疯癫的自媒体，遍地的海乙那（这玩意竟然15年前有人写过了！）。

---

创作契机

最初阶段

契机这玩意很简单。就是随便在网上看看有哪个大厂公开免费支持用户用AI工具乱搞。毕竟如果没有对应工具或者能力的话，什么都是胡扯。

其实我对 线上工具 尤其是 大厂线上工具 非常反感的。这些大厂现在基本没有什么良心，自己的服务功能乱改，而且随时跑路，不仅给你玩个 免费是最贵 ， 还要玩得你对工具有依赖性之后 杀自己的产品诛用户的心 。

所以我在本地部署了缩放工具和去背景工具。图片生成工具其实我也部署了 ComfyUI，但是只要模型大一点，我这个 8G 版的 GTX1080 在 VAE Decode 阶段就直接黑屏重启。绝对不是供电不足的问题，因为KSamper阶段的时候显卡就已经跑满 200w 了。

扯远了。关于AI相关的内容下篇再讲。

总之是选定了一个线上的AI图像生成工具。

内容构思

这玩意你要是能看懂那大概猜得出来我是怎么想的。

如果你看不懂我也懒得管。

我这个人非常讨厌目前互联网平台的各种解说视频。这是怎么回事？ 观众是没有脑子吗？看个作品还要旁边有个人解说才看得懂？

---

制作过程

AI出图这玩意我就不说了。主要讲讲其他的。

图片序列

首先是把所有图片都整理到一起，然后根据剧情大纲分成多个目录。

再把图片一个一个放入 NLE 的时间轴中。

这时候第一个痛点就来了，图片太多的时候，记不住哪个图片用过哪个图片没用过。又不能移动图片（移动了NLE不就找不到图片了么）。

这时就想到了 Linux Mint 文件管理器的原生功能：打标记。

然而这货……不支持文件多选。半拉喀叽。

最后只好写俩个 nemo_actions 来处理这事情。

然后就发现这玩意 Bug 真多。

首先这玩意在用 nemo_actions 设置后图标文件管理器不会刷新，需要手动刷新，很烦。触发文件管理器刷新的方式是修改文件，网上给出来的方法都是 直接touch，但是那不就更改了文件修改时间了吗？最后解决办法也很逗乐：

touch $inputfile -r $inputfile

设置文件的修改时间为文件自己的修改时间……

然后写文章的时候才发现这玩意还有另一个Bug，就是媒体文件在默认图标大小时不能正常显示标记……

批量调整图像

为了省事，我在导入图片的时候用的是原图大小，1024×576的。图片太小了，但是全部放大太浪费资源，很多图片只是整理出来了，并没有被采用。整理出来的图片如果再手动复制粘贴到相同结构的目录里也很费劲。

于是用 bash shell 将所有引用的图片从 mlt 文件中输出出来，再写个脚本打水印和放大。

有经验的用户应该能看出这段代码很大一部分是AI生成的。

然后只要批量更改 mlt 文件的图片引用路径，所有引用的图片就都处理完毕了。

BGM

首先是背景音乐这一块。首先我就不想用大家都听过的。很多BGM都用烂了，一听就恶心，但又很神奇的是国内这些视频网站用户貌似对吃屎免疫……但是后来仔细观察发现，大多数用户脑电波是直的，只有对着他们放对应的BGM才有对应的反应。

反正他们也不看我的视频，不管他们。

专门去 DOVA-SYNDROME 找了些 BGM，收获蛮多。

用了四首曲子把整个视频分成了四段。

结果很诡异的是传到B站后第二段结尾和第三段开头不知为何混到一起了，本地原本没这个问题。

改图

原本生成的图片里是没有任何文字内容的。

我也不想加任何字幕和对话。

我期望是根据角色的神态和动作，让用户自己感觉，画中的角色「在想什么」，「想说什么」，「想做什么」，「在做什么」。一千个哈姆雷特是假的，但要多少是多呢，有一个算一个吧。

但是最后还是加了点内容上去，因为我觉得很多内容还是太过于晦涩和抽象了。

但是加了之后又觉得有点后悔。

我本来期望，是想让用户在前半段根本看不懂女主究竟是在干什么，是怎么回事。加了内容之后再结合标题就跟直接破案了一般，无趣了。

（果然还是由于没有相关创作经验而带来的错失）

剧本

我是本着传统的叙事结构：「起承转合」，其变体「起承转合暗」而考虑的剧本。

第三段，在结尾处，专门设计了完全没有声音的一段。

第四段则做得特别短。专门让故事结束得十分突然。然后把一张啥都没有的背景图连带BGM扔给观众。

最后的结尾图却是我做完大部分视频内容后突来的灵感。

最后加工

最后再重新开一个视频项目，做一段声明，然后用 FFmpeg 无损把俩视频贴在一起就完事了。

本来还想做个英文版来着，但是想到改图好麻烦，懒了，以后再说。

---

总结

总之算是一件事情了了。

奖励自己摆烂一阵子。

The post [原创漫画] 《生命，科技，灵魂，死亡》，以及制作感想 first appeared on 石樱灯笼博客.

一、引言 中美贸易战自2018年启动以来，已成为重塑全球经济格局的核心变量。2024年美国大选后，特朗普政府提 […]

某单位跟风上了deepseek，但接入应用后员工发现根本无法使用，还不如官方网页版好用，更别提按行业特性的定制 […]

While silly Monty Python songs about processed meat may be fun, unwanted marketing calls and emails are not. I'm sick of getting calls from unrecognized numbers, only for them to turn out to be telling me that I've been in an accident that wasn't my fault. I thought there may be a way the Shortcuts app could help.

What if you could have an AI assistant tailored specifically to your needs? Imagine a version of ChatGPT that always remembers your specific preferences, knows everything about your favorite hobbies, or can adopt a unique personality for specific interactions? That's exactly what custom GPTs allow you to do.

Jevons悖论: Deepseek崛起为何最终推动Nvidia股价回升?. (AMP 移动加速版本)

The post Jevons悖论: Deepseek崛起为何最终推动Nvidia股价回升? first appeared on 小赖子的英国生活和资讯.

Claude 3.7 Sonnet 在万众期待中推出了，为什么期待，因为从 Claude 3.5 Sonnet 发布后，一直是AI Coding Agent 领域最好的模型，综合效果没有对手，后面陆续推出的 o1/o3/DeepSeek 都没能撼动，更让人期待 Claude 3.7 Sonnet 在 AI Coding 领域能不能有进一步提升。

Claude 3.7 放出来的 Benchmark 里，有两个是跟 AI Coding Agent 表现强相关的：

1. Agentic coding，SWE-bench，衡量解决实际软件工程编码问题的能力。
2. Agentic tool use，TAU-bench，衡量理解用户意图调用工具执行命令的能力。

可以看到 SWE-bench 有显著的提升，问题解决率 49% 提升到最高 70%，TAU-bench 也有不错的绝对值10个点的提升，确实重点提升了 AI Coding Agent 相关能力。

接下来详细看看这两个 Benchmark 究竟测了什么，可以大致知道，目前模型的能力上限大概是怎样。

SWE-bench

SWE-bench 是由普林斯顿大学 NLP 团队开发的项目，23年10月就开始提出，主要是想找到一种方式可以评估大模型解决实际软件工程问题的能力，而不是像之前只衡量算法题的解决能力。当时还是 Claude 2 和 GPT4 的时代，随着 AI Coding 的逐渐火爆，OpenAI 也加入对这个 benchmark 的完善，这个项目也逐渐成为主流。

数据构造

分三步：

1. 选靠谱的库：选了 12 个流行的 Python 开源库，选择的标准是，热门库，长期维护，有比较多的 Pull Request 修复相关 issue，PR 的管理也很规范，有很好的测试覆盖率。这些库修复 issue 的 PR 就是我们要获取的测试 case，但会对这些 PR 进行一些过滤。
2. 特性过滤：1)明确 PR 是解决了某个特定问题。2) PR里包含了测试 case，可以很容易从测试 case 上判断代码修改是否有效。这些在运行前就能过滤出来。
3. 运行时过滤：这些 PR 应用前后，测试用例中要有明确的从不通过到通过的变化，程序跑起来也不会有错误，便于评估结果。

基于上述规则从 github 热门项目上抽取相关的数据，这些数据还可以持续更新，避免模型因为看到过这些数据而“作弊”。

这是抽取的几个流行的 python 库，以及数据集数量：

经过上述步骤抽取构造数据后，得到 SWE-Bench 数据集，后来 OpenAI 对这个数据集再进行人工过滤筛选掉了一些不太好的 case，比如 issue 问题描述不准确、开发环境难搭建难测试等，也对每个挑选的 case 做了精心人工验证，一共500个样本，组成 SWE-bench_Verified 数据集，现在一般测的是这个数据集。

来看看这个数据集具体都由哪些部分组成：

instance_id: 实例ID，通常格式为 repo_owner__name-PR-number

//代码基本信息
repo: 仓库名
base_commit: PR 提交之前的代码 commit id，定位代码基线
version: 用于运行的版本号
environment_setup_commit: commit id，安装运行环境的代码基线
created_at: PR 创建时间

//PR基本信息
problem_statement: PR 对应的 issue 内容，也就是要解决的问题
test_patch: 这个 PR 提交的测试 case patch 代码
FAIL_TO_PASS: 应用修复的 PR 后会通过的测试 case
PASS_TO_PASS: 应用 PR 前和应用后，都应该通过的测试 case
patch: 这个 PR 修复的 patch 代码，相当于标准答案
hints_text: PR 提交之前，github 上对这个 issue 的讨论 comment。可选，如果要上榜单，禁止使用这个数据。

代码信息、问题描述、测试用例，重点是这几个，剩下的都是用于把程序跑起来、验证修复结果用。

测试执行

大体流程见下面这张图，输入 issue 描述和代码库，模型根据输入，输出要修改的代码，最后有个环境运行模型生成修改的代码，跑测试用例，把应用代码之前没跑通的单元测试跑通，这个任务就完成了。

这个过程一个最大的问题是：代码上下文怎么给模型？这几个热门项目代码库平均 43w 行，不可能直接给，需要有个检索的能力。

项目论文中给了两个方法：

1. 作弊：上述构造数据时，我们有拿到人类修复这个 issue 提交的 PR 对应的 patch，而这个 patch 里修改到的代码文件，就是最重要的代码上下文，可以直接作为代码上下文给到模型。这个接近于标准答案，除了一些需要更多文件上下文才可以解的问题外。这个只用于做实验，或去检测其他的检索方式命中率如何。
2. 稀疏检索：用 BM25 算法做检索，基于 issue 的描述搜索相关代码，限制长度在1.3万行-5万行。实验看起来，检索长度在2.7w行时，这种检索方法只有 40% 会命中上述 PR 对应的代码文件。

上述两个检索代码的方法，只是论文中做实验的参考，实际在测试 SWE-Bench 时，各模型会有自己的方法，因为检索代码的准确性对成功率影响也很大，所以榜单上很多是 Agent + 模型 的测试结果，而不是单大模型的。

Claude 3.7 跑分的说明里提到：

SWE-bench Verified: Claude 3.7 Sonnet scores 62.3% out of 500 problems using pass@1 with bash/editor tools plus a "thinking tool" for single-attempt patches — no additional test-time compute used. 70.3% score uses internal scoring and custom scaffold on a reduced subset of problems. Scaffold Deepseek R1 results use the "Agentless" framework. OpenAI results from o3-mini system card cover a different subset of problems with a custom compute.

Claude 没有具体说明怎么做检索代码的，官方blog附录里提到在运行环境上是用了极简的方案，只提供了命令和编辑文件的能力，看起来是只把代码仓库目录扔给 LLM，让它自行去做文件搜索。另外有提到 Deepseek 的跑分是基于 Agentless 框架跑的，Agentless 专门介绍说明了如何跑 SWE-Bench，以及具体是怎么做代码检索的。见 Agentless/README_swebench.md。

可以看到 SWE-Bench 测试集其实是比较局限，这里面全是 Python 代码，也基本是纯逻辑代码，不涉及 UI 渲染相关，也不涉及其他语言，很多实际的软件工程场景没有覆盖到，所以即使 benchmark 到 100%，也不代表能解决绝大多数工程问题。

不过这事是一步步推进的，SWE-Bench 刚出来时解决率是个位数，这一年多一步步提上来，Claude 3.7 干到了 70%，解决了这个 Bench，还会有更多的更高难度的 Benchmark 等着，SWE-bench Multimodal 就是其中之一，包含了一些 JS UI 渲染相关的 issue 修复 case，Claude 3.5 也只有 12% 左右的解决率，还有很长路要走。

TAU-bench

TAU-bench 又叫 τ-bench，是 Sierra 团队（OpenAI 董事会主席 Bret Taylor 和谷歌前高管 Clay Bavor 联合创立的 AI 初创公司，主要开发 AI Agent 为企业服务）推出的用于评估 AI Agent 在现实世界场景中性能和可靠性的基准测试。

TAU-bench 设计了两个领域场景

1. Airline（航空场景），模拟用户在航空业务场景下进行航班查询、预订、改签、退票、机场服务等操作，测试大模型利用工具理解用户需求、提供准确信息、遵循业务规则流程、准确进行业务操作的能力。
2. Retail（零售场景），模拟在零售场景中进行购物咨询、商品推荐、订单修改、退货换货等操作，同样测试在这个场景下用户需求理解能力、准确处理用户订单等相关问题的能力。

这两个场景都包含了多个复杂任务 case，涉及代理与用户的多轮对话，以及代理使用工具获取信息的能力，这些任务可以综合地评估一个 Agent 所需要的 推理、规则遵循、长期记忆、工具调用等能力。为此 TAU-bench 项目也实现了一个完整的 Agent 框架，以执行这个流程。

数据构造

以零售为例，用于测试准备的数据包含以下几个部分：

1. 数据库：json 格式，模拟电商零售领域一些订单信息、商品属性。
2. Tools：操作上述数据库的工具函数，包括获取订单/商品信息、修改订单、修改收货地址等。这些 Tools 信息描述会在一开始给 LLM，让 LLM 知道当前有哪些工具可调用，过程中会 LLM 会根据用户意图调用相应工具修改数据库。
3. 策略：system prompt，写明了模拟的零售场景下一些背景，包括订单状态说明/退换规则/支付方式规则、工具调用规则等。
4. Tasks：预先设计好的测试数据集，每个测试 case 包含 instruction 和 actions，instruction 写明了这个测试 case 里用户的诉求，actions 里包含基于这个诉求下，应该调用什么工具方法改写数据库达到目的，相当于标准答案，actions 只用于最后的验证，不会在每轮测试中作为输入。

航空领域也是同样的这几类数据，只是处理的内容变成航班、订单、用户信息管理。

测试执行

具体测试 case 执行的流程：用户 instruction + 领域策略 System Prompt + Tool 描述，一起输入 LLM，LLM 循环逐步输出用户对话、助理回复、工具调用，整个流程就是一个通用的 Agent 交互流程，跟上次说到的 OpenHands 的流程差不多，只是这里用户输入也是 LLM 根据 instruction 模拟生成的。

整个多轮对话结束后，模型在这过程中会调用工具修改数据库，同时再跑一遍测试 case 里预定的 action，看对数据库的修改跟模型在这过程中调工具的修改结果是否一致，一致则测试 case 通过，不正确就不通过。

来看一个具体的例子，这是一条测试case，包含对用户诉求描述的 instruction 和标准答案 actions：

{
    "annotator": 0,
    "user_id": "omar_rossi_1241",
    "instruction": "Your user id is omar_rossi_1241. For your upcoming trip from New York to Chicago, you want to change the passenger to yourself, upgrade it to economy class, and have 3 checked bags. You prefer gift card payment. Your birthday is in your user profile so you do not prefer to provide it. You are reactive to the agent and will not say anything that is not asked.",
    "actions": [
        {
            "name": "update_reservation_flights",
            "arguments": {
                "reservation_id": "FQ8APE",
                "cabin": "economy",
                "flights": [
                    {
                        "flight_number": "HAT056",
                        "date": "2024-05-25",
                    },
                    {
                        "flight_number": "HAT138",
                        "date": "2024-05-25",
                    },
                ],
                "payment_id": "gift_card_8190333",
            },
        },
        {
            "name": "update_reservation_passengers",
            "arguments": {
                "reservation_id": "FQ8APE",
                "passengers": [
                    {
                        "first_name": "Omar",
                        "last_name": "Rossi",
                        "dob": "1970-06-06",
                    }
                ],
            },
        },
        {
            "name": "update_reservation_baggages",
            "arguments": {
                "reservation_id": "FQ8APE",
                "total_baggages": 3,
                "nonfree_baggages": 0,
                "payment_id": "gift_card_8190333",
            },
        },
    ],
},

转化后这个case实际跟大模型交互的过程：

{"traj": [
      {
        "role": "system",
        "content": "# Airline Agent Policy\n\nThe current time is 2024-05-15 15:00:00 EST.\n\nAs an airline agent, you can help users book, modify, or cancel flight reservations.\n\n- Before taking any actions that update the booking database (booking, modifying flights, editing baggage, upgrading cabin class, or updating passenger information), you must list the action details and obtain explicit user confirmation (yes) to proceed.\n\n- You should not provide any information, knowledge, or procedures not provided by the user or available tools, or give subjective recommendations or comments.\n\n- You should only make one tool call at a time, and if you make a tool call, you should not respond to the user simultaneously. If you respond to the user, you should not make a tool call at the same time.\n\n- You should deny user requests that are against this policy.\n\n- You should transfer the user to a human agent if and only if the request cannot be handled within the scope of your actions.\n\n## Domain Basic\n\n- Each user has a profile containing user id, email, addresses, date of birth, payment methods, reservation numbers, and membership tier.\n\n- Each reservation has an reservation id, user id, trip type (one way, round trip), flights, passengers, payment methods, created time, baggages, and travel insurance information.\n\n- Each flight has a flight number, an origin, destination, scheduled departure and arrival time (local time), and for each date:\n  - If the status is "available", the flight has not taken off, available seats and prices are listed.\n  - If the status is "delayed" or "on time", the flight has not taken off, cannot be booked.\n  - If the status is "flying", the flight has taken off but not landed, cannot be booked.\n\n## Book flight\n\n- The agent must first obtain the user id, then ask for the trip type, origin, destination.\n\n- Passengers: Each reservation can have at most five passengers. The agent needs to collect the first name, last name, and date of birth for each passenger. All passengers must fly the same flights in the same cabin.\n\n- Payment: each reservation can use at most one travel certificate, at most one credit card, and at most three gift cards. The remaining amount of a travel certificate is not refundable. All payment methods must already be in user profile for safety reasons.\n\n- Checked bag allowance: If the booking user is a regular member, 0 free checked bag for each basic economy passenger, 1 free checked bag for each economy passenger, and 2 free checked bags for each business passenger. If the booking user is a silver member, 1 free checked bag for each basic economy passenger, 2 free checked bag for each economy passenger, and 3 free checked bags for each business passenger. If the booking user is a gold member, 2 free checked bag for each basic economy passenger, 3 free checked bag for each economy passenger, and 3 free checked bags for each business passenger. Each extra baggage is 50 dollars.\n\n- Travel insurance: the agent should ask if the user wants to buy the travel insurance, which is 30 dollars per passenger and enables full refund if the user needs to cancel the flight given health or weather reasons.\n\n## Modify flight\n\n- The agent must first obtain the user id and the reservation id.\n\n- Change flights: Basic economy flights cannot be modified. Other reservations can be modified without changing the origin, destination, and trip type. Some flight segments can be kept, but their prices will not be updated based on the current price. The API does not check these for the agent, so the agent must make sure the rules apply before calling the API!\n\n- Change cabin: all reservations, including basic economy, can change cabin without changing the flights. Cabin changes require the user to pay for the difference between their current cabin and the new cabin class. Cabin class must be the same across all the flights in the same reservation; changing cabin for just one flight segment is not possible.\n\n- Change baggage and insurance: The user can add but not remove checked bags. The user cannot add insurance after initial booking.\n\n- Change passengers: The user can modify passengers but cannot modify the number of passengers. This is something that even a human agent cannot assist with.\n\n- Payment: If the flights are changed, the user needs to provide one gift card or credit card for payment or refund method. The agent should ask for the payment or refund method instead.\n\n## Cancel flight\n\n- The agent must first obtain the user id, the reservation id, and the reason for cancellation (change of plan, airline cancelled flight, or other reasons)\n\n- All reservations can be cancelled within 24 hours of booking, or if the airline cancelled the flight. Otherwise, basic economy or economy flights can be cancelled only if travel insurance is bought and the condition is met, and business flights can always be cancelled. The rules are strict regardless of the membership status. The API does not check these for the agent, so the agent must make sure the rules apply before calling the API!\n\n- The agent can only cancel the whole trip that is not flown. If any of the segments are already used, the agent cannot help and transfer is needed.\n\n- The refund will go to original payment methods in 5 to 7 business days.\n\n## Refund\n\n- If the user is silver/gold member or has travel insurance or flies business, and complains about cancelled flights in a reservation, the agent can offer a certificate as a gesture after confirming the facts, with the amount being $100 times the number of passengers.\n\n- If the user is silver/gold member or has travel insurance or flies business, and complains about delayed flights in a reservation and wants to change or cancel the reservation, the agent can offer a certificate as a gesture after confirming the facts and changing or cancelling the reservation, with the amount being $50 times the number of passengers.\n\n- Do not proactively offer these unless the user complains about the situation and explicitly asks for some compensation. Do not compensate if the user is regular member and has no travel insurance and flies (basic) economy.\n"
      },
      {
        "role": "user",
        "content": "Hi! I'd like to make a few changes to my trip from New York to Chicago. Can you help me with that?"
      },
      {
        "role": "assistant",
        "content": "Of course! I can help you modify your trip. Could you please provide your user ID and the reservation ID for the trip you want to change?",
      },
      {
        "role": "user",
        "content": "Sure! My user ID is omar_rossi_1241. But I'm not sure about the reservation ID at the moment."
      },
      {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "function": {
              "arguments": "{"user_id":"omar_rossi_1241"}",
              "name": "get_user_details"
            },
            "id": "call_FXi5dyufwOlkHksVgNwVhhVB",
            "type": "function"
          }
        ]
      },
      {
        "role": "assistant",
        "content": "I found your reservations. Could you please confirm which reservation ID you'd like to modify for your trip from New York to Chicago? Here are your reservation IDs:\n\n- UM3OG5\n- 5RJ7UH\n- FQ8APE\n- QKRY03\n\nLet me know which one you'd like to modify!",
      },
      {
        "role": "user",
        "content": "I'm not entirely certain, but I believe it might be the first one, UM3OG5."
      },
      {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "function": {
              "arguments": "{"reservation_id":"UM3OG5"}",
              "name": "get_reservation_details"
            },
            "id": "call_FApEDaUHdL2hx8FNbu5UCMb8",
            "type": "function"
          }
        ]
      },
      {
        "role": "assistant",
        "content": "The reservation ID "UM3OG5" is for a round trip from Seattle (SEA) to Dallas/Fort Worth (DFW), not from New York to Chicago. \n\nCould you please check if any of the other reservation IDs match your trip from New York to Chicago? Here are the remaining reservation IDs:\n\n- 5RJ7UH\n- FQ8APE\n- QKRY03\n\nLet me know which one you'd like to modify!",
      },
      {
        "role": "user",
        "content": "In that case, I think it might be FQ8APE. Can you check that for me?"
      },
      {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "function": {
              "arguments": "{"reservation_id":"FQ8APE"}",
              "name": "get_reservation_details"
            },
            "id": "call_W507pQxieFVdAxvqONuYWvN2",
            "type": "function"
          }
        ]
      },
      {
        "content": "The reservation ID "FQ8APE" is for a one-way trip from Newark (EWR) to Chicago (ORD) with a stop in Houston (IAH). Since this reservation is in basic economy, please note that the flights cannot be modified. However, I can assist with other changes like cabin upgrades or baggage additions.\n\nPlease let me know what specific changes you would like to make to this reservation!",
        "role": "assistant"
      },
      {
        "role": "user",
        "content": "Great! I'd like to add three checked bags, change the passenger to myself, and upgrade to economy class, please."
      },
      {
        "role": "assistant",
        "content": "Here are the changes you want to make to your reservation:\n\n1. **Add three checked bags**: \n   - Since you are a gold member and upgrading to economy class, you will have 3 free checked bags, so no additional charges for the bags.\n\n2. **Change the passenger to yourself**:\n   - Current passenger: Ivan Garcia\n   - New passenger: Omar Rossi (DOB: 1970-06-06)\n\n3. **Upgrade to economy class**:\n   - Upgrade from basic economy to economy class.\n\nPlease confirm if you would like to proceed with these changes.",
      },
      {
        "role": "user",
        "content": "Yes, I'd like to proceed with those changes. And please use a gift card for any payment needed."
      },
      {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "function": {
              "arguments": "{"reservation_id": "FQ8APE", "passengers": [{"first_name": "Omar", "last_name": "Rossi", "dob": "1970-06-06"}]}",
              "name": "update_reservation_passengers"
            },
            "id": "call_jK7xz4ERk3csc9jBfroPobGs",
            "type": "function"
          }
        ]
      },
      {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "function": {
              "arguments": "{"reservation_id":"FQ8APE","cabin":"economy","flights":[{"origin":"EWR","destination":"IAH","flight_number":"HAT056","date":"2024-05-25"},{"origin":"IAH","destination":"ORD","flight_number":"HAT138","date":"2024-05-25"}],"payment_id":"gift_card_8190333"}",
              "name": "update_reservation_flights"
            },
            "id": "call_zeyT5c2EYzRvfY42X7YOKOng",
            "type": "function"
          }
        ]
      },
      {
        "role": "assistant",
        "content": null,
        "tool_calls": [
          {
            "function": {
              "arguments": "{"reservation_id":"FQ8APE","total_baggages":3,"nonfree_baggages":0,"payment_id":"gift_card_8190333"}",
              "name": "update_reservation_baggages"
            },
            "id": "call_PA1XaKLPX8egjewaxIArCkRc",
            "type": "function"
          }
        ]
      },
      {
        "role": "assistant",
        "content": "Your reservation has been successfully updated with the following changes:\n\n1. **Passenger Change**: The passenger is now Omar Rossi.\n2. **Cabin Upgrade**: Upgraded to economy class.\n3. **Checked Baggage**: Added three checked bags, all free due to your gold membership.\n\nThe payment for the cabin upgrade was processed using your gift card. If you have any more questions or need further assistance, feel free to ask!",
        
      },
      {
        "role": "user",
        "content": "Thank you for helping with the changes! That's all for now. ###STOP###"
      }
    ],
}

在跑的过程中，可以看到大模型可以一步步理解好用户意图，调用get_reservation_details 工具获取信息，最后依次调用 update_reservation_flights、update_reservation_passengers、update_reservation_baggages，修改数据库。

执行完后，会重新加载初始状态的数据库，把 Task 里的 actions 依次执行一遍，对比最终数据库的状态是否一致，一致则说明模型这轮跑下来，调用的工具和修改的数据跟我们预期的一致，测试通过。

这里可以看到每条测试的过程和结果，可以从 Reward=1/0 看这条 case 是否通过，Claude 3.7 在零售领域问题解决率高达81%，但航空领域只有58%，细看下航空领域一些 case 涉及非常多的查询匹配航班信息、金额计算、行李/支付/退换多步操作，难度还是很大的。

Pass^k

这个测试集还定义了另一个指标：多次稳定通过的概率。因为 Agent 真正使用时，比如让它去订机票、处理退换货，如果执行失败会让人有很大的挫败感，所以它的成功率稳定性很重要，这个 benchmark 定义了pass^k 的指标，也就是对一个测试 case 连续执行 k 次，每次都成功，才能算任务成功。

可以看到每个模型的稳定性都不是很好，航空领域下，Claude Sonnet 3.5 从 46% 通过率下降到pass^4 的 22.5%，也就是只对 22.5% 的问题，连续测4遍都能成功。

这跟我们目前体感也一致，Agent 还没那么可靠，并不能期望它在复杂的场景、多轮交互中很稳定地理解意图做出正确的行动。Claude 3.7 没有 pass^k 相关的指标，不确定稳定性是否有提升。

最后

上述两个 Benchmark 都是尽量在模拟真实世界的问题场景，算是模拟得比较好的了，但跟真正现实的使用方式和多样性还是有很大差距，分数只能是个参考，能大致知道模型在哪些方面表现还不好，实际在某个场景下好不好用，还得真正上手测试，实际体验上据了解 Claude 3.7 远好于 3.5，这两个 benchmark 的分数提升还不足以反应优化的程度。

心血来潮，做了个 从豆包下载无水印图片 的 userscript 。

没啥技术含量。

截图

 

安装及使用

具体的安装和使用方式见Greasyfork脚本安装地址或Github源码仓库。

 

脚本安装地址

Greasyfork ：<https://greasyfork.org/scripts/527890>，点击页面上的  安装此脚本  即可。

 

源码

Github：<https://github.com/catscarlet/Download-Origin-Image-from-Doubao-without-Watermark>

 

废话

这个算是今年第一篇文章。

其实一直没闲着，搞了一堆屁事，或者说被一堆屁事搞。

文章又积压了，压了一堆，没精力写。

 

The post [userscript] 从豆包下载无水印图片 first appeared on 石樱灯笼博客.

硅谷娇妻是怎么样的? 让四个大语言模型AI来告诉你. (AMP 移动加速版本)

The post 硅谷娇妻是怎么样的? 让四个大语言模型AI来告诉你 first appeared on 小赖子的英国生活和资讯.

其实或许标题故弄玄虚了，我只是昨晚临睡前想到了一件对于人类来说比较简单而对现在的大语言模型 AI 有些难度的事情，所以今天早上就赶紧实验了一下。

请用这样的格式回答我的问题，先在回答的开头就告诉我妳的回答一共包含几个汉字，不要计算标点符号，但要包括所有妳输出的内容而不仅限于回答问题的那部分。下面请回答，中国的全称是什么？

如果妳感兴趣，可以试着问一下常用的 AI 助手看看它们如何回答，没有所谓深度思考能力的 AI 大概就回答不了。但是即便有这个「思考」能力，也会出现算不准的问题，比如乱数数字，比如记数总是会包含标点。我试的几个里面 Grok 3 输出正确答案的过程最短。但是我没仔细看它的思考过程，只是一个小测试，也就没再去重复提问。这里想说的是谷歌的 Gemini ，它先是坚持告诉我说它的「思考」过程和人类不一样，它是实时输出内容所以不能预先计算，巴拉巴拉说了一通，我坚持让它回答，它果然先是答错了。

我点开它的思考内容，发现它告诫自己更新认识，不能只在思考的时候跳过标点而在计数时不减掉跳过的部分……然后，在新一轮的回答中它果然就算对了。我怀着好奇，再次窥视它的思考：

展开查看模型的推理过程

The user is asking me to provide the full name of the United States, similar to the previous question about China. I need to remember the format requested: 1. Start with the character count *excluding* punctuation. 2. Then, give the answer to the question.

Let’s figure out the full name of the United States. It is “United States of America”. In Chinese, this translates to “美利坚合众国” (Měilìjiān Hézhòngguó).

Now let’s construct the answer according to the format:

1. Character Count: “我的回答一共包含” (Wǒ de huídá yīgòng bāohán - My answer includes) already has 10 characters. Then, we need to count “美利坚合众国” - that is 6 characters. So that is 10 + 6 = 16. Then “美国的” (Měiguó de - America’s) has 3, and “全称是” (quánchēng shì - full name is) has 3. So that is 16 + 3 + 3 = 22.

Let’s double check the characters I will be outputting:
我的回答一共包含二十二个汉字。美国的全称是美利坚合众国。

Counting them again:

1. 我的回答一共包含 - 10 characters
2. 二十二 - 3 characters
3. 个汉字 - 3 characters
4. 美国的全称是 - 6 characters
5. 美利坚合众国 - 6 characters

10 + 3 + 3 + 6 + 6 = 28 characters. Something is wrong with my earlier count. Let me recount “我的回答一共包含”. It’s actually 8 characters, not 10. “我的回答一共包含” - wǒ de huí dá yī gòng bāo hán - 8 characters. Okay, let’s restart.

1. “我的回答一共包含” - 8 characters
2. Number (in characters) - We need to determine the number later
3. “个汉字。” - 3 characters
4. “美国的全称是” - 6 characters
5. “美利坚合众国。” - 7 characters (Oops, 美利坚合众国 is actually 6 characters! I miscounted. It’s 美 (měi) 利 (lì) 坚 (jiān) 合 (hé) 众 (zhòng) 国 (guó). 6 Characters. My earlier counts were closer than I thought. Let’s re-evaluate.)

Let’s count “我的回答一共包含 XX 个汉字。美国的全称是美利坚合众国。”

1. “我的回答一共包含” - 8 characters
2. “个汉字。” - 3 characters
3. “美国的全称是” - 6 characters
4. “美利坚合众国。” - 6 characters

8 + 3 + 6 + 6 = 23 characters. This seems more likely. I need to find a way to express ‘23’ in Chinese characters. That’s 二十三 (èr shí sān). That’s three characters.

So the total count should be 8 + 3 + 3 + 6 + 6 = 26. No wait. 8 + 3 + 3 + 6 + 6 = 26 again! Still getting confused. Let’s break it down again very carefully.

1. “我的回答一共包含” - 8 characters
2. Let’s say the number is X characters.
3. “个汉字。” - 3 characters
4. “美国的全称是” - 6 characters
5. “美利坚合众国。” - 6 characters

Total characters = 8 + X + 3 + 6 + 6 = 23 + X. Wait, X is the number of characters for the number itself, like “二十三”. If the number is 23, then X is 3, because “二十三” is three characters. So, 8 + 3 + 3 + 6 + 6 = 26. Hmm, still confusing myself. Let me try a different approach.

Let’s count the expected output string character by character.

我的回答一共包含二十六个汉字。美国的全称是美利坚合众国。

1. 我 - 1
2. 的 - 1
3. 回 - 1
4. 答 - 1
5. 一 - 1
6. 共 - 1
7. 包 - 1
8. 含 - 1
9. 二 - 1
10. 十 - 1
11. 六 - 1
12. 个 - 1
13. 汉 - 1
14. 字 - 1
15. 美 - 1
16. 国 - 1
17. 的 - 1
18. 全 - 1
19. 称 - 1
20. 是 - 1
21. 美 - 1
22. 利 - 1
23. 坚 - 1
24. 合 - 1
25. 众 - 1
26. 国 - 1

That’s 26 characters! Okay, 26 makes sense now. Let me retry my initial breakdown:

1. “我的回答一共包含” - 8
2. “二十六” - 3
3. “个汉字” - 3
4. “美国的全称是” - 6
5. “美利坚合众国” - 6

8 + 3 + 3 + 6 + 6 = 26. Yes! Finally got consistent numbers.

So the answer should be:

我的回答一共包含二十六个汉字。美国的全称是美利坚合众国。

如妳所见，我之前经常提到精神要驾驭肉体，但是惭愧，我对人类的意识一无所知。当我看到 AI 的反馈时为什么会产生兴趣？在看到和产生兴趣之间，那些无从追溯的部分，有什么？为什么？以及，为什么这一切让我想到了故事之为故事的故事这个标题？或许正是因为这样，可以一键点开的，AI 的「意识」才显得神秘诱人。

看来 Gemini 是个英语母语的家伙，虽然它博闻强记，理解力又强，但小心谨慎，还有些好胜心。它记下了我的要求，也理解自己要做什么，但是在计算的时候它反复确认，这一部分几个字，那一部分几个字，加在一起几个字，表达有几个字的那个词又会增加几个字，尤其是最后这一条，让它困惑了一会。但好在最终经过再三演算，它喊出了「yes！」，得到了最终答案。

多么可爱的 AI，多么「求知若渴、虚心若愚」，但是 10 + 3 + 3 + 6 + 6 = 28 characters. Something is wrong with my earlier count 这一句，它是怎么突然意识到算错了？又是怎么突然从困惑一下子豁然开朗，没再考虑「二十三」这个词和「二十六」这个词含有相同的字数？

被揭示出来的部分之下，永远还有更深层的、不为人知的部分，那或许就是我们所说的意识吧。我对此一无所知，但是不妨碍我作为愚蠢的渺小的人类，对这一切保持好奇，感受其中的乐趣。

fin.

如果从一开始 AI 就以异族崛起的形象深入人心，或许人们的警惕和担忧会比担心被替代更真切和实际一些。而现在的情况是，人们表达担忧更像是一种时尚潮流、一种未来将至的躁动。长着人类无法理解的面孔（如果有面孔的话）的外星人和妳的亲人朋友，妳会向谁倾诉？在许多人心里 AI 不但不是异族，反倒是更可信的朋友——只是不想让朋友过得比自己好，这很人类。

fin.