MLE-bench：评估机器学习代理在机器学习工程领域

OpenAI推出了MLE-bench，这是一个新颖的基准测试，旨在评估AI代理在机器学习工程任务中的熟练程度。该基准测试独特之处在于汇编了来自Kaggle的75个与机器学习工程相关的竞赛，为模型训练、数据集准备和实验运行等技能提供了一个真实世界的测试平台。值得注意的是，该基准测试使用Kaggle的排行榜设定了人类表现基线，清晰地比较了人类和AI在这一领域的能力。 其中一个显著的发现是，OpenAI的o1-preview结合AIDE脚手架展现出了令人印象深刻的成果，在16.9%的竞赛中达到了Kaggle铜牌水平。这突显了AI代理在执行传统上由熟练人类工程师执行的任务方面的潜力。 MLE-bench的重要性在于它有可能推动AI在机器学习工程领域所能实现的边界，这对于AI系统的开发和部署至关重要。通过开源基准测试代码，OpenAI鼓励进一步研究和开发，以了解和增强AI代理的机器学习工程能力。这对于那些对AI和软件工程交叉领域感兴趣的人以及希望自动化和改进他们的机器学习工作流程的组织来说，可能是一个宝贵的资源。- MLE-bench是一个用于评估AI代理在机器学习工程方面表现的基准测试。 - 通过从Kaggle中策划75个与机器学习工程相关的竞赛，创建了一组多样化的具有挑战性的任务，测试真实世界的机器学习工程技能。 - 使用Kaggle的公开可用排行榜为每个竞赛建立了人类基准。 - 使用开源代理脚手架评估了几个前沿语言模型在基准测试中的表现。 - 最佳表现的设置是OpenAI的o1-preview与AIDE脚手架，至少在16.9%的竞赛中达到了Kaggle铜牌水平。 - 研究了AI代理的资源缩放形式和来自预训练的污染的影响。 - 开源了基准测试代码以促进未来研究理解AI代理的机器学习工程能力。