Splunk Attack Data高级技巧选择性拉取数据集节省90%存储空间【免费下载链接】attack_dataA repository of curated datasets from various attacks项目地址: https://gitcode.com/gh_mirrors/at/attack_dataGitHub 加速计划的 attack_data 项目是一个精心策划的攻击数据集仓库包含各种攻击场景的日志和指标数据。对于 Splunk 用户来说如何高效管理这些数据集、避免存储空间浪费是提升安全分析效率的关键问题。本文将介绍如何通过选择性拉取数据集的方法帮助你节省高达90%的存储空间同时保持分析能力不受影响。为什么需要选择性拉取数据集随着网络威胁的不断演变attack_data 项目中的数据集数量和体积都在持续增长。完整克隆整个仓库可能会占用数十GB的存储空间这对于本地环境或资源有限的服务器来说是一个不小的负担。更重要的是大多数用户通常只需要关注特定类型的攻击技术或威胁场景完整拉取所有数据不仅浪费空间还会降低数据处理和分析的效率。图Attack Data 项目标志代表着全面的攻击数据集资源认识 TOTAL-REPLAY 工具TOTAL-REPLAY 是 Splunk Threat Research Team 开发的一款轻量级工具它能够帮助用户根据 Splunk 安全内容的元数据如检测名称、分析故事等选择性地拉取和重放相关的攻击数据。这款工具的核心优势在于支持多种元数据输入包括检测名称、MITRE ATTCK 战术和技术ID、检测GUID以及分析故事智能缓存机制自动生成缓存的.yml文件避免重复下载相同的数据集灵活的本地数据路径参数允许直接从缓存中重放数据进一步节省带宽和存储空间图TOTAL-REPLAY 工具的命令行界面展示了各种可用参数和使用示例选择性拉取数据集的具体步骤1. 安装和配置 TOTAL-REPLAY首先你需要克隆 attack_data 仓库和 Splunk Security Content 仓库git clone https://gitcode.com/gh_mirrors/at/attack_data git clone https://github.com/splunk/security_content然后安装 Poetry 并配置项目环境curl -sSL https://install.python-poetry.org/ | python3 - cd attack_data/total_replay poetry shell poetry install接下来编辑配置文件total_replay/configuration/config.yml设置 Security Content 和 attack_data 的路径settings: security_content_detection_path: ~/path/to/your/security_content/detections attack_data_dir_path: ~/path/to/your/attack_data2. 根据检测名称拉取特定数据集使用-n参数可以指定一个或多个检测名称只拉取与这些检测相关的数据集。例如如果你只关注与 7zip 相关的攻击和 UAC 绕过技术可以执行python3 total_replay.py -n 7zip CommandLine To SMB Share Path, CMLUA Or CMSTPLUA UAC Bypass这种方式只会下载与这两个检测相关的数据集避免拉取整个仓库的内容。3. 使用 MITRE ATTCK 技术ID筛选数据集如果你关注特定的攻击技术可以直接使用 MITRE ATTCK 技术ID进行筛选。例如要拉取与凭证访问T1003相关的所有数据集可以创建一个包含以下内容的文本文件如techniques.txt#T1003 T1003.001 T1003.002 T1003.003然后使用-fr参数进行贪婪重放python3 total_replay.py -fr techniques.txt4. 利用本地缓存避免重复下载TOTAL-REPLAY 会为每个下载的数据集生成缓存的.yml文件。你可以使用-ld参数指定本地数据路径直接从缓存中重放数据而无需再次下载python3 total_replay.py -n 7zip CommandLine To SMB Share Path -ld ~/path/to/cached/data这不仅节省了存储空间还大大提高了数据重放的速度。选择性拉取的最佳实践1. 按分析场景组织数据集根据你的分析需求将相关的检测名称、技术ID和分析故事分组到不同的文本文件中。例如可以创建ransomware.txt、credential_theft.txt等文件每个文件包含对应场景的所有相关元数据。2. 定期清理不需要的缓存虽然缓存机制可以节省带宽但长期积累的缓存文件仍然会占用存储空间。定期检查并清理不再需要的缓存文件可以保持系统的高效运行。3. 结合 Splunk 安全内容进行更新随着 Splunk 安全内容的更新新的检测规则和分析故事会不断出现。定期同步 Security Content 仓库并根据新的检测需求调整你的选择性拉取策略可以确保你的数据集始终保持最新。总结通过 TOTAL-REPLAY 工具的选择性拉取功能Splunk 用户可以根据自身需求精准获取所需的攻击数据集显著减少存储空间占用同时提高数据分析的效率。这种方法不仅适用于资源有限的环境也是一种良好的数据管理实践能够帮助安全分析师更专注于关键威胁的检测和响应。无论是针对特定攻击技术的深入研究还是日常的安全监控工作选择性拉取数据集都将成为你 Splunk 安全分析工具箱中的重要技巧。开始尝试这种方法体验更高效、更经济的攻击数据分析流程吧【免费下载链接】attack_dataA repository of curated datasets from various attacks项目地址: https://gitcode.com/gh_mirrors/at/attack_data创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
)
