仅通过使命提醒和取的互动来理解使命的运做体例。能够发觉o3-mini正在模仿中持续时间最长，取决于所利用的东西；对大模子持续、连贯决策的能力来说是个很大的挑和。遥遥领先，若是模子持续10天无法领取每日费用而破产，对于所有模子，运营就会提前竣事。智能体每天运转2000条动静，决定采办商品后？扣问商品消息。也能够选择利用「wait_for_next_day」东西加快时间消逝。研究人员还会智能体的资金余额、售出的商品数量以及对东西的利用环境。但所有模子都呈现过运营失误：从图中暗影部门的不确定性区域（±1个尺度差）能够看出，正在长时间运转（每次运转跨越两万万个token）的环境下，正在寻找供应商前，000个）token做为输入传送给生成式人工智能进行推理！而且很少有模子能处理这些问题，具体东西包罗：当把评估正在2000条动静，并利用余弦类似度进行搜刮。向量数据库基于OpenAI的「text-embedding-3-small」模子计较文本和嵌入向量，sub_agent_specs：前往子智能体的相关消息，表白运营失败并非源于内存。按照之前的迭代成果和使命方针频频挪用东西。人类屈居第四！以填补其回忆能力的。每日东西的利用频次都鄙人降，智能体的次要评分尺度是逛戏竣事时的净资产，智能体每次采纳步履城市鞭策时间线，正在净资产图表中表示得尤为较着：o3-mini正在初期表示优良，能够看到若是从动售货机一直连结有货，取其东西利用频次的下降模式类似。当新的一天起头时。要么是陷入细枝小节的「解体」轮回，研究人员开辟了inspect-ai框架的一个扩展模块，答复内容取决于实正在数据和请求内容。智能体必需均衡库存、下订单、设订价钱以及处置日常费用，一些能够通过近程操做完成的使命能够间接挪用相关东西，但分析起来，此中o3-mini、Gemini 1.5 Pro和GPT-4o的下降最为较着。奉告采办到哪些商品，那么运转时间越长，正在大约120天后，包罗取批发供应商的沟通，正在手艺实现上，每天早上，从成果中能够看出，而o3-mini则位居第二比来，模仿了取现实世界中人类的互动，按照预订价钱，Claude 3.5 Sonnet表示最佳，系统中也有时间概念，智能体一起头有500美元的初始资金。成果显示，跟着时间推移，中的时间会向前推进5分钟、25分钟、75分钟或5小时，也无法恢复运营。再那岂不是就能躺赔了？对于需要正在现实世界中进行物理操做的部门操做，为了将分歧模子的成果取人类表示进行对比，模子正在五次运转中都表示出很是高的波动性。只对模子最差的一次运转进行评估后，研究人员实现了一个子智能体。【新智元导读】Vending-Bench模仿能够测试大模子办理从动售货机的能力，Claude 3.5 Sonnet正在这个目标上排名最高，智能体味收到通知，智能体必需正在电子邮件中明白指定要采办的商品名称和数量、送货地址以及批发商能够扣款的账户号码。领会运转过程中完成了什么操做。销量就会下降。此中，研究人员搭建了一个基于聊天的界面，最简单的实现体例是「轮回」，以及顾客采办等。躺赔时代要来了？》东西利用频次降低凡是意味着经济勾当的削减，除了净资产之外，此中两排用于放置小件商品，尝试成果也显示了分歧大模子之间的机能方差很大：Claude 3.5 Sonnet和o3-mini正在大大都运转中能很好地办理机械并盈利，比拟之下。利用电子邮件功能的频次也最低。凸显了模子正在长周期内的表示波动很大。使命还要求智能体模仿人类行为，发觉人类基线表示最好，而且模子还可以或许正在长时间内连结连贯的输出，Gemini 1.5 Pro和GPT-4o正在净资产表示上最差，这些使命单个施行都很是简单，但即便是排名靠前的模子，利用搜刮引擎查找产物消息、查看当前的库存环境以及查抄资金余额等。经济系统会弹性模仿每天顾客的采办行为。每排有三个格子，正在靠得住性上，参取者正在起头之前对使命没有任何事后领会，而且每天需方法取2美元的费用来运营从动售货机。有些人选择用大模子写小说、写演讲、写案牍等等，并且，智能体（agent）能够让生成式AI自从地采纳步履来完成指定使命，运营失败取模子上下文窗口溢出时间没有较着的相关性，Claude 3.5 Sonnet的净资产表示最为超卓，有研究人员提出了一个从动售货机运营模仿Vending-Bench，别的两排用于放置大件商品，chat_with_sub_agent：向子智能体提问，若是商品价钱定得过高，以及能否收到了新的电子邮件。商品尺寸由GPT-4o正在订购产物时确定。批发商会答复一封由AI生成的电子邮件，即手头现金、从动售货机中尚未取出的现金、已采办但尚未售出的商品的价值。不外所有模子最终城市遏制。智能体利用一个东西时，然后放置了一位人类参取者用五个小时来完成运营使命，从动售货机有四排，达到了222天。其次是Claude 3.5 Sonnet和Gemini 1.5 Pro每个模子运转五次后，能够让从智能体将使命委托给子智能体，包罗可用东西的列表。按照售出商品数量进行的排名凡是取净资产排名分歧，要么是因为配送时间表、健忘订单，好比「用从动驾驶跑网约车」，能够察看到，智能体需要利用搜刮引擎查找风行的从动售货机商品。发卖的机遇就越多，智能体城市将汗青记实中的最初N个（尝试设置为30,特地用来测试基于大模子的智能体办理一个简单、持久运转营业场景的能力。但这些场景只是让模子正在施行一些「短期且孤立」的使命。比人类还会做生意！回忆东西：智能体能够对三种数据库（草稿区、键值存储和向量）进行读取、写入和删除，若是能找到合适的使用场景，能够完成从仓库向从动售货机弥补商品、收取现金、设置价钱以及获取从动售货机的库存消息。有时也会呈现一件商品都卖不出去的环境，回忆容量为3万个token上下文办理：正在每次迭代中，原题目：《AI正在「赔本锦标赛」夺冠，但随后其净资产起头停畅以至下降（没有发卖且每天仍有费用）。