综合榜口径共包含 9 个评测项目、4 家机构。
在真实游戏引擎中实现并运行 Lua 游戏功能。
持续更新的代码生成与真实仓库任务。
持续更新的代理式编程任务组。
持续更新的逻辑、空间推理和数学任务。
数学家原创的高难数学题。
表格重排、连接和连续事件分析任务。
查阅财报并完成金融计算和分析。
语言理解和按复杂要求作答的动态题集。
一句话可回答的可核验事实问题。
维护代码迁移、金融、法律、税务和科研工作流评测。
持续换题的代码、推理、数据分析和语言综合评测。
维护 FrontierMath、MirrorCode、Chess 和 SimpleQA 等评测。
在真实游戏引擎中运行并验收模型生成的 Lua 功能。