CTF逆向工程入门：从Mysterious题目学习加密算法分析

1. 题目背景与逆向分析入门

最近在攻防世界刷题时遇到一道名为"Mysterious"的逆向题目，作为刚入门逆向工程的新手，这道题给了我很好的学习机会。这类CTF逆向题通常考察对程序行为的分析能力、反汇编代码的阅读能力以及调试技巧的掌握程度。

逆向工程就像侦探破案，我们需要通过程序的蛛丝马迹来还原它的真实意图。这道题目的特别之处在于它使用了多种混淆手段，需要我们层层剥开才能看到核心逻辑。

2. 初步分析与工具准备

2.1 文件基本信息检查

首先使用file命令查看文件类型：

file mysterious

输出显示这是一个32位ELF可执行文件，没有进行strip处理（保留了符号表），这对我们分析是个好消息。

再用checksec检查安全机制：

checksec --file=mysterious

发现只开启了NX保护（堆栈不可执行），没有canary和PIE保护，这意味着我们可以更自由地进行调试和漏洞利用。

2.2 静态分析工具链

我准备了以下工具进行分析：

• IDA Pro：用于静态反汇编和伪代码生成
• Ghidra：作为IDA的补充，有时能生成更好的伪代码
• GDB with pwndbg：用于动态调试
• strings：快速查看字符串信息
• ltrace/strace：跟踪库函数和系统调用

3. 程序行为分析与反编译

3.1 运行程序观察行为

直接运行程序：

./mysterious

程序提示输入密码，随便输入后显示"Wrong!"。这说明程序需要正确的输入才能继续执行。

3.2 字符串分析

使用strings查看可打印字符串：

strings mysterious

发现几个关键字符串：

• "Enter the password: "
• "Wrong!"
• "Correct! The flag is: %s"
• 一些看起来像加密函数的名称（如"xor_transform"）

3.3 IDA静态分析

在IDA中打开文件，定位到main函数。伪代码显示主要逻辑流程：

1. 打印提示信息
2. 读取用户输入
3. 对输入进行处理（调用多个转换函数）
4. 与内置的某个值比较
5. 根据比较结果输出正确或错误信息

关键函数包括：

• input_validation：检查输入长度和格式
• phase1_transform：第一层变换
• phase2_encrypt：第二层加密
• final_check：最终校验

4. 动态调试与算法分析

4.1 使用GDB设置断点

在关键函数处设置断点：

gdb ./mysterious b *main b *phase1_transform b *phase2_encrypt b *final_check

4.2 跟踪数据处理流程

通过单步执行和观察寄存器/内存变化，发现：

1. 输入被限制为16个字符
2. phase1_transform对输入进行逐字节异或操作
3. phase2_encrypt使用了一个置换表进行字节替换
4. final_check将结果与内存中的固定值比较

4.3 逆向加密算法

通过分析phase1_transform函数：

for (int i = 0; i < 16; ++i) { input[i] ^= 0x55; }

这是一个简单的逐字节异或加密，密钥是0x55。

phase2_encrypt更复杂一些，使用了256字节的S盒进行替换：

unsigned char sbox[256] = {0x12, 0x34, ...}; // 省略具体值 for (int i = 0; i < 16; ++i) { input[i] = sbox[input[i]]; }

5. 破解思路与实现

5.1 提取关键数据

从内存中提取最终比较的目标值：

gdb ./mysterious x/16bx &final_value

得到16字节的十六进制值：0x23, 0x45, 0x67, ..., 0xEF

5.2 逆向算法步骤

要得到正确输入，需要：

1. 逆向S盒替换（创建逆S盒）
2. 逆向异或操作（再次异或0x55）

编写Python脚本实现逆向过程：

# 从二进制文件中提取的S盒 sbox = [0x12, 0x34, ...] # 实际值需要从程序中dump # 创建逆S盒 inv_sbox = [0]*256 for i, val in enumerate(sbox): inv_sbox[val] = i # 目标值 target = [0x23, 0x45, ..., 0xEF] # 逆向计算 password = [] for byte in target: # 逆向S盒 byte = inv_sbox[byte] # 逆向异或 byte ^= 0x55 password.append(byte) print("Password:", bytes(password))

5.3 验证结果

将脚本输出的字符串作为输入运行程序：

./mysterious Enter the password: [生成的密码]

成功显示："Correct! The flag is: flag{reverse_success}"

6. 经验总结与技巧分享

6.1 逆向工程通用流程

1. 信息收集：文件类型、保护机制、字符串
2. 静态分析：反汇编、伪代码、函数识别
3. 动态调试：验证假设、跟踪数据流
4. 算法还原：识别加密/校验逻辑
5. 编写破解：实现逆向算法

6.2 常见问题解决技巧

1. 遇到反调试：

• 使用LD_PRELOAD hook检测函数
• 修改程序二进制patch检测代码
• 使用qemu-user静态运行

2. 算法复杂难以理解：

• 关注输入输出变化
• 查找常量数组（如S盒）
• 识别常见算法特征（如AES的MixColumns）

3. 动态分析时数据被修改：

• 在内存访问处设置硬件断点
• 使用watchpoint监控关键变量
• 记录内存快照进行对比

6.3 工具使用心得

1. IDA快速导航技巧：

• 使用Jump to xref快速查找函数调用
• 重命名变量和函数提高可读性
• 创建结构体解析复杂数据结构

2. GDB调试技巧：

• 使用hook-stop自动显示寄存器
• 结合Python脚本自动化分析
• 使用catch syscall跟踪系统调用

3. 交叉验证：

• 同时使用IDA和Ghidra对比分析
• 静态分析与动态调试互相验证
• 编写单元测试验证算法理解

7. 扩展思考与进阶方向

这道题目虽然解出来了，但还有很多可以深入的地方：

1. 自动化分析：

• 使用angr符号执行自动求解
• 编写IDA Python脚本自动识别算法
• 开发通用解密框架处理类似题目

2. 保护机制绕过：

• 如果增加了反调试如何应对
• 遇到代码混淆如何处理
• 多线程同步校验的破解方法

3. 密码学分析：

• 识别标准加密算法（AES, DES等）
• 分析自定义加密的弱点
• 侧信道攻击的可能性

逆向工程就像解谜游戏，每道题目都能带来新的收获。通过这道"Mysterious"的练习，我对加密算法识别、动态调试技巧有了更深的理解。建议新手可以从简单的题目开始，逐步挑战更复杂的保护机制，同时建立自己的工具库和分析流程。