开启Benchmark的Harness时代：15家学术机构联合发布HarnessEval
详细介绍
8 月 13 日，DeepSeek 开源 Agent Harness dsh，将 “Harness” 这个原本更偏工程语境的概念，推到了整个 AI 行业讨论的中心。
HarnessEval 给出的答案，不是增加一组指标，也不是引入一个更大的 Judge 模型。它要为 Evaluation 建立自己的 Harness。
过去，我们习惯把模型看成一个函数：输入 prompt，得到 output，再用一组指标比较结果。这种评测方式适合边界清晰、答案确定的任务。但 Agent 与交互式生成系统不再是一次性的输入输出映射。它们可能读取文件、检索网络、执行代码，在多个工具之间传递状态；可能把一个长期任务拆解为数十个阶段，并根据环境反馈不断修改计划；也可能调度多个 sub-agent，分别负责规划、执行和验证。
传统 benchmark 往往预先定义好一套相对固定的评测流程：一组测试数据、一套固定 rubric、若干指标，以及最终的聚合分数。对于复杂任务，这种方式越来越容易遇到一个根本矛盾：不同案例真正需要检查的问题并不相同。一套统一 Rubric 如果覆盖得足够全面，就会包含大量与当前案例无关的检查；如果为了自动化而不断简化，又容易遗漏真正依赖上下文、时序关系与因果理解的关键判断。
HarnessEval 的核心不是用 LLM 替换某个传统指标，而是重构 benchmark 的执行方式。面对每一个测试案例，评测智能体首先理解案例上下文与评测意图，再从可复用的 Skill Library 中选择真正适用的技能。每个高层问题会继续被拆解为可测量的子问题，交给不同的 sub-agent 或诊断工具执行。主智能体检查返回证据是否充分、各项判断是否真正回答了原问题，最后才完成聚合与评分。
Benchmark 不再只是一个离线计算器，而成为一套真正运行起来的评测系统。
HarnessEval 首先落地于交互式世界模型，因为这类模型正是检验 Evaluation Harness 的一块高压试验场：
Agent 可以根据场景动态选择使用哪些 skills
每一个 skill 都会衍生出来一系列 subagents 来拆解复杂问题，从不同角度衡量模型能力
HarnessEval-w 不只是一套新的世界模型 benchmark，更代表评测形态的升级：benchmark 的核心资产将从数据与指标，扩展到技能路由、工具调用、证据验证和持续生长的 Skill Library。
Harness 的走红，意味着行业正在重新认识模型之外的系统价值。但 Harness 时代不只属于 Model，也属于 Eval。
【开源免费】Browser-use 是一个用户AI代理直接可以控制浏览器的工具。它能够让AI 自动执行浏览器中的各种任务，如比较价格、添加购物车、回复各种社交媒体等。
项目地址：https://github.com/browser-use/browser-use
【开源免费】字节工作流产品扣子两大核心业务：Coze Studio（扣子开发平台）和 Coze Loop（扣子罗盘）全面开源，而且采用的是 Apache 2.0 许可证，支持商用！
项目地址：https://github.com/coze-dev/coze-studio
项目地址：https://github.com/n8n-io/n8n
在线使用：https://n8n.io/（付费）
项目地址：https://github.com/eosphoros-ai/DB-GPT?tab=readme-ov-file
项目地址：https://github.com/AndersonBY/vector-vein?tab=readme-ov-file
在线使用：https://vectorvein.ai/（付费）
【开源免费】AutoGPT是一个允许用户创建和运行智能体的（AI Agents）项目。用户创建的智能体能够自动执行各种任务，从而让AI有步骤的去解决实际问题。
项目地址：https://github.com/Significant-Gravitas/AutoGPT
项目地址：https://github.com/geekan/MetaGPT/blob/main/docs/README_CN.md
【开源免费】LangGPT 是一个通过结构化和模板化的方法，编写高质量的AI提示词的开源项目。它可以让任何非专业的用户轻松创建高水平的提示词，进而高质量的帮助用户通过AI解决问题。
项目地址：https://github.com/langgptai/LangGPT/blob/main/README_zh.md
在线使用：https://kimi.moonshot.cn/kimiplus/conpg00t7lagbbsfqkq0