Splunk Attack Data高级技巧：选择性拉取数据集节省90%存储空间

Splunk Attack Data高级技巧：选择性拉取数据集节省90%存储空间

【免费下载链接】attack_dataA repository of curated datasets from various attacks项目地址: https://gitcode.com/gh_mirrors/at/attack_data

GitHub 加速计划的 attack_data 项目是一个精心策划的攻击数据集仓库，包含各种攻击场景的日志和指标数据。对于 Splunk 用户来说，如何高效管理这些数据集、避免存储空间浪费是提升安全分析效率的关键问题。本文将介绍如何通过选择性拉取数据集的方法，帮助你节省高达90%的存储空间，同时保持分析能力不受影响。

为什么需要选择性拉取数据集？

随着网络威胁的不断演变，attack_data 项目中的数据集数量和体积都在持续增长。完整克隆整个仓库可能会占用数十GB的存储空间，这对于本地环境或资源有限的服务器来说是一个不小的负担。更重要的是，大多数用户通常只需要关注特定类型的攻击技术或威胁场景，完整拉取所有数据不仅浪费空间，还会降低数据处理和分析的效率。

图：Attack Data 项目标志，代表着全面的攻击数据集资源

认识 TOTAL-REPLAY 工具

TOTAL-REPLAY 是 Splunk Threat Research Team 开发的一款轻量级工具，它能够帮助用户根据 Splunk 安全内容的元数据（如检测名称、分析故事等）选择性地拉取和重放相关的攻击数据。这款工具的核心优势在于：

• 支持多种元数据输入：包括检测名称、MITRE ATT&CK 战术和技术ID、检测GUID以及分析故事
• 智能缓存机制：自动生成缓存的.yml文件，避免重复下载相同的数据集
• 灵活的本地数据路径参数：允许直接从缓存中重放数据，进一步节省带宽和存储空间

图：TOTAL-REPLAY 工具的命令行界面，展示了各种可用参数和使用示例

选择性拉取数据集的具体步骤

1. 安装和配置 TOTAL-REPLAY

首先，你需要克隆 attack_data 仓库和 Splunk Security Content 仓库：

git clone https://gitcode.com/gh_mirrors/at/attack_data git clone https://github.com/splunk/security_content

然后安装 Poetry 并配置项目环境：

curl -sSL https://install.python-poetry.org/ | python3 - cd attack_data/total_replay poetry shell poetry install

接下来，编辑配置文件total_replay/configuration/config.yml，设置 Security Content 和 attack_data 的路径：

settings: security_content_detection_path: ~/path/to/your/security_content/detections attack_data_dir_path: ~/path/to/your/attack_data

2. 根据检测名称拉取特定数据集

使用-n参数可以指定一个或多个检测名称，只拉取与这些检测相关的数据集。例如，如果你只关注与 7zip 相关的攻击和 UAC 绕过技术，可以执行：

python3 total_replay.py -n '7zip CommandLine To SMB Share Path, CMLUA Or CMSTPLUA UAC Bypass'

这种方式只会下载与这两个检测相关的数据集，避免拉取整个仓库的内容。

3. 使用 MITRE ATT&CK 技术ID筛选数据集

如果你关注特定的攻击技术，可以直接使用 MITRE ATT&CK 技术ID进行筛选。例如，要拉取与凭证访问（T1003）相关的所有数据集，可以创建一个包含以下内容的文本文件（如techniques.txt）：

#T1003 T1003.001 T1003.002 T1003.003

然后使用-fr参数进行贪婪重放：

python3 total_replay.py -fr techniques.txt

4. 利用本地缓存避免重复下载

TOTAL-REPLAY 会为每个下载的数据集生成缓存的.yml文件。你可以使用-ld参数指定本地数据路径，直接从缓存中重放数据，而无需再次下载：

python3 total_replay.py -n '7zip CommandLine To SMB Share Path' -ld ~/path/to/cached/data

这不仅节省了存储空间，还大大提高了数据重放的速度。

选择性拉取的最佳实践

1. 按分析场景组织数据集

根据你的分析需求，将相关的检测名称、技术ID和分析故事分组到不同的文本文件中。例如，可以创建ransomware.txt、credential_theft.txt等文件，每个文件包含对应场景的所有相关元数据。

2. 定期清理不需要的缓存

虽然缓存机制可以节省带宽，但长期积累的缓存文件仍然会占用存储空间。定期检查并清理不再需要的缓存文件，可以保持系统的高效运行。

3. 结合 Splunk 安全内容进行更新

随着 Splunk 安全内容的更新，新的检测规则和分析故事会不断出现。定期同步 Security Content 仓库，并根据新的检测需求调整你的选择性拉取策略，可以确保你的数据集始终保持最新。

总结

通过 TOTAL-REPLAY 工具的选择性拉取功能，Splunk 用户可以根据自身需求精准获取所需的攻击数据集，显著减少存储空间占用，同时提高数据分析的效率。这种方法不仅适用于资源有限的环境，也是一种良好的数据管理实践，能够帮助安全分析师更专注于关键威胁的检测和响应。

无论是针对特定攻击技术的深入研究，还是日常的安全监控工作，选择性拉取数据集都将成为你 Splunk 安全分析工具箱中的重要技巧。开始尝试这种方法，体验更高效、更经济的攻击数据分析流程吧！

【免费下载链接】attack_dataA repository of curated datasets from various attacks项目地址: https://gitcode.com/gh_mirrors/at/attack_data