专治大模型不懂行：浙大团队CatCoder解决AI编程水土不服难题

近日，浙江大学副教授胡星和团队开发出一款名为 CatCoder 的 AI 框架，它能够读懂一个完整的软件项目，生成准确、可用的代码。在 Java 任务上，它在代码编译通过率和测试通过率上，比业内表现突出的代表之一 RepoCoder 最高提升了 14.44% 和 17.35%。

同时，它拥有很强的通用性。该团队使用不同大小和不同类型的 AI 模型对其进行测试，发现它能够提升所有被测模型的性能。

图 | 胡星（来源：胡星）

胡星告诉 DeepTech：“我们考虑到不同公司或团队使用的编程语言各异，因此选择了两种语言进行验证：应用广泛的 Java 和较新但日益重要的 Rust。我们发现，即使对于 Rust 这种相对低资源（使用人群和训练数据较少）的语言，我们的方法也能生成高质量的代码。”

此外，尤其是对于那些比较小的模型，提醒效果更是尤为明显，能够帮助小模型弥补和大模型之间的差距。同时，它就好比给 AI 配置了一个超级助理，这位助理不仅懂得编程语法，而且熟悉所在项目的所有规定，比如哪些类可以调用、该怎么使用函数，这样一来就能写出既不会“迷路”也不会“犯错”的代码。

胡星还表示：“我们的方法是可插拔的松耦合设计，不需要对大模型本身进行训练。这意味着它可以灵活地与任何大模型或程序分析技术组合，适应日新月异的大模型发展，避免了重复训练的高成本。

其次，它精准解决了工业界的实际痛点——大模型通常不理解企业内部的私有代码库和业务逻辑。通过引入本地上下文，我们的方法能让大模型“读懂”当前代码库，生成更高质量、更领域相关的代码。”

（来源：https://arxiv.org/pdf/2406.03283）

解决代码世界的寻路难题

在使用 AI 写代码时，此前人们所遇到的难题是：当你正在参与开发一个大型游戏，代码分散在成百上千个文件里。假如你需要添加“计算一个角色的跳跃轨迹”的新功能。

对于此前的 AI，即使经过了大量训练可能也只知道物理公式，它并不知道在你这个特定项目中，“角色”这个对象应该如何创建、它的坐标属性叫什么名字、或者“跳跃”这个动作应该调用哪个现成的函数。

CatCoder 的创新之处在于给 AI 提供了两件关键工具：第一个工具是相似代码雷达，能够在相似项目里寻找功能或结构相似的代码作为范例；第二个工具是类型关系地图，它能自动分析并告诉 AI，在当前的代码环境中，有哪些类、接口、函数和属性是可以直接使用的。

这就好比你要在一个巨大的图书馆里找资料，CatCoder 不仅可以帮你找到基本主题类似的书籍也就是相关的代码，还可以直接给你一张图书馆的楼层索引和书籍关联图也就是类型上下文，从而让你生成的代码更加准确和专业。

（来源：https://arxiv.org/pdf/2406.03283）

助力我国发展底层基础软件和工业软件

在使用 CatCoder 的时候，主要分为三大步。

第一步是搜集线索也就是检索相关代码。CatCoder 首先会把整个项目所有的源代码文件智能地切割成小块。然后，它会根据你需要实现的功能描述，启动两种搜索引擎。第一种是关键词搜索，就像传统搜索引擎一样，可以匹配函数名和变量名等关键词。第二种是语义搜索，其能理解代码的含义，找到功能上相似的片段。然后，CatCoder 会把两种搜索结果综合起来，最初最相关的几个代码片段作为参考范例。

第二步是绘制地图也就是提取类型上下文。这是 CatCoder 的独门绝技。对于像 Java、Rust 这类静态类型语言，CatCoder 会启动一个静态分析器。这个分析器可以绘制出项目中所有类和接口之间的依赖关系图。比如，假如你的新函数属于“角色”类，那么分析器就能找出“角色”类能够调用的所有方法，以及它关联的其他类，并把它们的使用说明书整理出来。这张“地图”的存在确保 AI 不会调用一个不存在的函数。

第三步是生成代码。CatCoder 会将前两步搜集到的参考范例和类型地图打包，连带你的任务描述一起形成一个超级详细的提示，提交给背后的 AI 模型。AI 在这样充分的上下文提示下，就能像一位熟悉项目的开发者一样，生出既符合语法、又能完美融入现有项目、甚至能够通过测试的代码。

（来源：https://arxiv.org/pdf/2406.03283）

胡星总结称：“由于我们的研究覆盖了 Rust，而 Rust 多用于开发系统软件，这对于我国发展底层基础软件和工业软件具有积极意义，能帮助更快地生成高质量的代码。”

图 | CatCoder logo（来源：胡星）

基于此成果，她有两个后续计划：一是进一步探索“低资源”编程语言的代码生成，即针对那些大模型训练数据覆盖不足的语言（如 Ruby、Julia），提升其代码生成质量；二是研究“大小模型协同”的代码生成，让强大但昂贵的大模型指导轻量级小模型，使后者能在计算资源有限的实验室或中小企业中部署，提供优质的代码生成服务。

参考资料：

相关论文 https://arxiv.org/pdf/2406.03283

运营/排版：何晨龙