[论文阅读] 人工智能 + 软件工程 | CodableLLM：让代码数据集生成自动化，架起源代码与反编译代码的桥梁

CodableLLM：让代码数据集生成自动化，架起源代码与反编译代码的桥梁

论文：CodableLLM: Automating Decompiled and Source Code Mapping for LLM Dataset Generation

研究背景：代码数据集生成的“老大难”问题

在人工智能席卷各个领域的今天，大语言模型（LLMs）在代码理解和生成方面的表现越来越亮眼。但这些模型的“成长”离不开大量高质量的数据集，就像人需要优质的食物才能健康成长一样。

在代码领域，能同时包含源代码和其反编译版本的数据集尤为珍贵。这类数据集能让模型学习到高级代码和低级表示之间的复杂关系，这对于逆向工程、漏洞检测、代码转换等任务至关重要。

然而，生成这样的数据集可不是件容易事。想象一下，你需要把一堆编译后的二进制文件“反编译”成类似源代码的形式，再从原始源代码中找到对应的部分，一一对应起来，还要处理数据重复、质量控制、许可证等一堆麻烦事，整个过程既复杂又耗时。

就拿现有的一些工具来说，有的工具擅长解析源代码，却搞不定反编译代码的对齐；有的大型代码数据集规模很大，但偏偏缺少源代码和反编译代码的对应关系；还有的反编译工具虽然好用，却没法大规模自动生成数据集。这就导致研究者们在开发相关LLM时，常常面临“巧妇难为无米之炊”的困境。

主要作者及单位信息

• Dylan Manuel，Paul Rad，来自美国得克萨斯大学圣安东尼奥分校计算机科学系

创新点：CodableLLM的独特之处

1. 首个专注此领域的开源框架：CodableLLM是第一个专门用于自动化反编译代码与源代码映射，进而生成LLM数据集的开源框架。
2. 可扩展性强：它有着可扩展的架构，用户可以为默认不支持的语言定义自定义的解析和函数提取逻辑。
3. 一站式自动化流程：整合了从源代码函数提取、二进制反编译、函数映射到数据集导出的全流程，无需人工过多干预。
4. 支持并行处理：采用Prefect框架进行工作流编排，能并行处理各个阶段的任务，大幅提升效率。
5. 灵活适配多种工具：可以和现有的反编译器、解析器集成，用户还能根据需求配置其他工具。
   

研究方法和思路、实验方法

整体思路

CodableLLM采用模块化、可扩展的框架设计，核心是构建一个多阶段的处理流程，实现从输入代码仓库到输出结构化数据集的自动化转换。

具体步骤拆解

1. 输入处理：接受本地代码仓库或远程GitHub仓库作为输入。
2. 源代码函数提取：利用Tree-Sitter工具，通过遍历抽象语法树（AST），从源代码中提取函数及相关元数据（如函数名、参数、函数体等）；对于Tree-Sitter不支持的语言，用户可以自定义提取器。
3. 二进制反编译与解析：集成Ghidra工具对二进制文件进行反编译，得到类似C语言的代码，再从中提取函数信息并存储元数据。
4. 函数映射：通过比较函数名，并结合文件名一致性、命名空间结构等启发式方法，将源代码函数和反编译函数进行匹配对齐；对于符号名模糊或缺失的情况，提供部分匹配或排除机制。
5. 数据集导出：将对齐后的函数对以CSV、JSON等结构化格式导出，方便用于LLM训练。
   

实验方法

1. 实验对象：选择真实世界的C语言网络库libhv项目作为主要实验对象，还对React、Django等多个开源项目进行了测试。
2. 实验设置：在高性能Linux服务器和本地Windows机器上分别进行实验，配置了特定的CPU、内存、Python版本、Ghidra版本等环境。
3. 评估指标：测量提取时间、反编译时间、映射时间、数据集导出时间和整体流程时间，并与单线程的 naive 方法进行对比。

主要贡献

1. 降低数据集生成门槛：自动化的流程大大减少了生成高质量代码数据集所需的人力和时间成本，让研究者能更轻松地获取训练数据。
2. 推动相关LLM发展：生成的数据集能帮助LLM更好地学习源代码和反编译代码之间的关系，促进代码理解、逆向工程等地方LLM的发展。
3. 提升效率：相比单线程方法，反编译时间大幅缩短（从514.52秒减少到55.93秒，近10倍提升），让大规模数据集生成成为可能。
4. 促进研究标准化：提供了开源、可复现的 pipeline，为相关研究建立了一致的基准，方便不同方法之间的比较。
5. 助力网络安全领域：在恶意软件分析、漏洞检测等方面有潜在应用，能帮助识别良性和恶意代码之间的相似性。

一段话总结

CodableLLM 是一个开源的 Python 框架，旨在自动化生成高质量数据集，实现反编译二进制文件与原始源代码函数的映射，支持多种编程语言，集成现有反编译器和解析器，通过模块化架构、并行处理等提升效率，其生成的数据集可用于训练代码相关的大型语言模型（LLMs），在反工程、软件安全等地方有重要应用。

思维导图

详细总结

1. 基本介绍

   • 名称与类型：CodableLLM 是一个 Python 框架，用于自动化创建和管理数据集，实现反编译函数与对应源代码函数的映射。
   • 开发者与机构：由德克萨斯大学圣安东尼奥分校计算机科学系的 Dylan Manuel 和 Paul Rad 等人开发。
   • 核心目标：解决生成高质量代码理解和生成数据集的挑战，特别是实现反编译二进制文件与原始源代码的对齐，促进能理解和生成多抽象层次代码的 LLM 开发。

2. 相关工作与动机

   • 现有工具局限：
     • 函数提取和解析工具（如Tree-sitter、SrcML）主要用于静态代码分析，而非自动化数据集管理或源与反编译表示对齐。
     • 现有代码数据集（如CodeSearchNet、The Pile - Code等）存在偏差、重复等问题，且未涉及源代码与反编译表示的对齐。
     • 二进制反编译和分析工具（如Ghidra、Hex-Rays IDA Pro）缺乏大规模数据集提取自动化功能，无法系统对齐反编译代码与原始源代码。
   • 开发动机：现有工具在自动化从二进制反编译到源代码函数对齐的大规模数据集生成流程中存在缺口，CodableLLM 旨在填补这一缺口。

3. 设计与实现

   • 系统概述：采用模块化、可扩展架构，通过多阶段流程工作，接受本地或远程 GitHub 仓库作为输入，提取源代码和反编译二进制文件的函数，通过符号名称对齐，并以适合 LLM 训练的结构化格式导出结果，支持用户配置多种参数。
   • 函数提取流程：使用 Tree-Sitter 进行源代码函数提取，支持多种编程语言，对于不支持的语言，用户可实现自定义提取器。
   • 二进制反编译与解析：与 Ghidra 集成进行二进制反编译，用户可指定二进制文件等信息，框架自动执行反编译任务并解析结果提取函数信息，还支持配置其他反编译器。
   • 源-反编译函数映射：基于符号名称进行对齐，通过可配置的启发式方法验证对应关系，对符号名称混淆或不可用的情况提供部分匹配或排除机制。
   • 数据集导出与格式：默认以 CSV 格式导出对齐的函数对，包含多种字段，使用 pandas DataFrame 构建数据集，支持导出为多种格式。
   • 并行性：版本 1.1.0 采用 Prefect 框架协调和并行化数据集生成流程的每个阶段，提升效率和可扩展性。
   • 可扩展性与用户定制：用户可定义自定义构建命令、提取器、反编译器等，通过子类化现有组件并注册到框架实现。

4. 实验与评估

   • 实验设置：
     • 在高性能 Linux 服务器和本地 Windows 机器上进行，使用 libhv 项目等，配置特定的硬件、软件环境。
   • 评估指标：包括提取时间、反编译时间、映射时间、数据集导出时间和整体流程时间。
   • 结果：
     • 相比 naive 单线程方法，反编译时间从 514.52 秒减少到 55.93 秒，提升近 10 倍。
     • 不同项目在不同模式下的执行时间不同，如 React 在并发模式下为 1 分 24 秒，Django 为 1 分 22 秒等。

5. 优势与局限

   • 优势：
     • 提供全自动流程生成对齐源代码和反编译函数的结构化数据集。
     • 可扩展架构，支持自定义提取器和反编译器。
     • 利用并行性加速数据集生成，效率高。
     • 生成的数据集格式标准，易于集成到下游机器学习工作流。
   • 局限：
     • 依赖符号映射，处理剥离二进制文件有挑战。
     • 主要依赖 Ghidra 作为反编译器，在多线程环境中可能结果不一致。
     • 处理极大仓库可能引入内存开销。

6. 应用与未来工作

   • 应用：降低二进制到源代码函数恢复等研究的入门门槛，促进反编译相关研究的可重复性和标准化，在网络安全（如恶意软件分析、漏洞研究）等地方有应用。
   • 未来工作：引入高级映射启发式方法、支持多反编译器、探索可扩展性和性能优化、开发可视化工具。

关键问题

1. 问题：CodableLLM 相比现有工具和数据集有哪些独特优势？
   答案：CodableLLM 是首个专门用于自动化反编译与源代码映射以生成 LLM 数据集的开源框架，具有可扩展架构，支持用户为默认不支持的语言定义自定义解析和函数提取逻辑，能实现自动化的源到反编译映射，集成可配置的构建系统，且支持多语言和多种数据集导出格式，这些是现有工具和数据集所不具备的综合优势。

2. 问题：CodableLLM 的数据集生成流程是怎样的？
   答案：其流程为：首先加载用户提取器和反编译器，克隆并构建目标仓库；然后并行从源代码文件中提取函数，同时并行反编译指定二进制文件并提取函数；接着使用映射器的启发式匹配逻辑将反编译函数与源代码函数进行映射；最后将对齐的函数对导出为指定格式（如 CSV 或 JSON）的数据集。

3. 问题：CodableLLM 在处理不同类型的二进制文件时存在哪些挑战，未来如何改进？
   答案：挑战主要在于处理剥离的二进制文件时，由于函数名可能被移除，依赖符号的映射机制难以直接对齐；且依赖 Ghidra 反编译器，在多线程环境中可能有并发错误。未来将引入高级映射启发式方法（如结构相似性检测、机器学习方法），添加对 Binary Ninja、Radare2 等其他反编译器的支持，以提升处理能力和灵活性。

总结

CodableLLM是一个极具价值的开源框架，它创新性地实现了反编译代码与源代码的自动化映射，为LLM训练提供了高质量的数据集。

其模块化、可扩展的架构，以及并行处理能力，让数据集生成效率大幅提升。实验结果也证明了它的有效性，相比传统方法优势明显。

虽然它在处理符号被剥离的二进制文件、依赖特定反编译器等方面还存在局限，但未来通过引入更高级的映射方法、支持更多反编译器等改进，潜力巨大。

总体而言，CodableLLM为代码领域的LLM研究和应用搭建了重要的基石，在逆向工程、软件安全等地方将发挥重要作用。

解决的主要问题或主要成果

• 解决了源代码与反编译代码难以自动对齐，导致相关高质量数据集生成困难的问题。
• 实现了从代码仓库到结构化数据集的全流程自动化处理。
• 显著提升了数据集生成效率，相比单线程方法在反编译等关键步骤上有近10倍的速度提升。
• 提供了标准化、可扩展的框架，方便研究者使用和扩展，促进了相关领域的研究进展。