CodeJudge-Eval：大型语言模型在编码理解中能成为好的判断吗？

一个新颖的基准测试，CodeJudge-Eval（CJ-Eval），旨在从评判的角度测试大型语言模型（LLMs）的代码理解能力，而不是代码生成能力。这一点很重要，因为它填补了传统基准测试中的一个空白，传统测试往往无法全面评估模型评估代码正确性的能力，包括发现各种错误类型和编译问题。研究结果显示，即使是最先进的LLMs在这项任务上也面临困难，这表明当前模型在代码理解方面可能没有之前认为的那么熟练。这一基准测试可能会改变开发人员和研究人员对LLMs真正代码理解能力的兴趣，并挑战LLMs已经接近掌握与代码相关任务的观念。如果您对AI在代码评估中的局限性和潜力感兴趣，这篇论文可能值得一读。- 最近的大型语言模型（LLMs）通过语言到代码的基准测试展示了令人印象深刻的代码生成能力。 - CodeJudge-Eval（CJ-Eval）是一个新颖的基准测试，旨在从代码判断的角度评估LLMs的代码理解能力。 - CJ-Eval挑战模型确定提供的代码解决方案的正确性，涵盖各种错误类型和编译问题。 - CJ-Eval通过多样化的问题和细粒度的评判系统解决了传统基准测试的局限性，包括可能的解决方案记忆化。 - 在CJ-Eval上评估了12个知名的LLMs，结果显示即使是最先进的模型也面临困难。 - 该基准测试深入探索模型代码理解能力。 - 基准测试可在\url{https://github.com/CodeLLM-Research/CodeJudge-Eval}上找到。