自建域名扫描工具domain-scanner实战指南

1. 项目概述：为什么需要自建域名扫描工具

在互联网基础设施管理中，域名扫描是每个运维工程师和安全研究员的基础技能。传统人工查询方式在面对批量域名检测时效率低下，而商业扫描工具往往价格昂贵且存在隐私风险。domain-scanner作为一款轻量级开源工具，完美解决了这个痛点——它不仅能实现自动化批量扫描，还能将数据完全掌控在自己手中。

我最初接触这个工具是在一次企业级安全审计项目中，当时需要检测2000+子域名的SSL证书状态和DNS解析情况。手动操作几乎不可能完成，而domain-scanner在配置好的服务器上仅用2小时就输出了完整报告。这种效率提升让我意识到：掌握自建扫描能力，是每个技术从业者的必备技能。

2. 环境准备与工具选型

2.1 服务器配置建议

实测表明，domain-scanner在2核4G配置的云服务器上即可流畅运行。对于扫描任务量级评估：

• 小型项目（<500域名）：1核2G足够
• 中型项目（500-5000域名）：建议2核4G
• 大型扫描（>5000域名）：需要4核8G及以上

特别注意：避免使用共享型虚拟主机，部分扫描功能需要root权限且对网络吞吐量要求较高。推荐选择按量付费的云服务器，扫描完成后可立即释放资源。

2.2 系统环境配置

以下是在Ubuntu 22.04 LTS上的最佳实践：

# 更新系统并安装依赖 sudo apt update && sudo apt upgrade -y sudo apt install -y git python3-pip build-essential libssl-dev # 安装Python虚拟环境 python3 -m pip install --user virtualenv python3 -m virtualenv ~/domain-scanner-env source ~/domain-scanner-env/bin/activate

3. domain-scanner深度解析与部署

3.1 工具架构揭秘

domain-scanner采用模块化设计，核心组件包括：

1. 扫描引擎：基于Python的异步IO框架
2. 插件系统：支持DNS枚举、HTTP探测、SSL检测等
3. 结果处理器：输出JSON/CSV格式报告

其工作流程如下图所示（伪代码表示）：

for domain in target_list: for plugin in enabled_plugins: result = plugin.scan(domain) save_result(result)

3.2 完整安装步骤

# 克隆仓库（国内用户建议使用镜像源） git clone https://github.com/domain-scanner/domain-scanner.git cd domain-scanner # 安装依赖 pip install -r requirements.txt # 测试安装 python scanner.py --version

典型安装问题排查：

1. 如遇SSL错误，尝试：

   sudo apt install --reinstall ca-certificates

2. 依赖冲突时建议：

   pip install --ignore-installed [包名]

4. 实战配置与高级技巧

4.1 基础扫描配置

创建config.ini配置文件：

[general] threads = 50 # 并发线程数 timeout = 10 # 超时秒数 [plugins] dns = true http = true ssl = true [output] format = json directory = ./results

启动扫描命令：

python scanner.py -c config.ini -t targets.txt

4.2 性能调优参数

通过实测得出的黄金配置比例：

• 线程数 = (CPU核心数 × 20) + 10
• 超时时间 = 平均响应时间 × 3
• 网络带宽占用建议控制在总带宽的70%以下

示例监控命令：

watch -n 1 "netstat -ant | grep ESTABLISHED | wc -l"

5. 安全防护与合规使用

5.1 扫描防护策略

为避免被目标封禁，建议：

1. 随机化User-Agent
2. 设置合理的请求间隔（--delay参数）
3. 使用代理池轮询（需自行搭建）

代理配置示例：

[proxy] enable = true list = proxy_list.txt rotate = 10 # 每10个请求切换代理

5.2 法律合规要点

重要红线：

• 禁止扫描非授权域名
• 控制扫描频率（建议<100请求/分钟/域名）
• 敏感数据加密存储

建议在扫描前添加法律声明：

#!/bin/bash echo "确认已获得扫描授权 (Y/N)" read confirm [ "$confirm" != "Y" ] && exit 1

6. 结果分析与可视化

6.1 数据处理技巧

使用jq工具处理JSON结果：

# 提取所有过期的SSL证书 jq '.[] | select(.ssl.valid == false)' results.json # 统计各状态码出现次数 jq '[.[].http.status_code] | group_by(.) | map({code: .[0], count: length})' results.json

6.2 可视化方案

推荐Grafana+Elasticsearch方案：

1. 使用logstash导入扫描结果
2. 配置仪表盘监控：
   • 证书过期时间分布
   • DNS记录类型统计
   • HTTP服务响应时间热力图

7. 企业级应用场景

7.1 资产发现与监控

自动化巡检方案：

1. 每日凌晨执行扫描
2. 对比昨日结果生成差异报告
3. 关键变更触发邮件告警

实现代码片段：

from difflib import unified_diff with open('today.json') as f1, open('yesterday.json') as f2: diff = unified_diff(f1.readlines(), f2.readlines()) if list(diff): send_alert_email()

7.2 安全审计流程

标准审计步骤：

1. 初扫：全量域名发现
2. 精扫：重点域名深度检测
3. 验证：人工复核关键漏洞
4. 报告：生成符合等保要求的文档

8. 进阶开发指南

8.1 插件开发实践

自定义插件模板：

from scanners import BaseScanner class MyScanner(BaseScanner): def scan(self, domain): # 实现扫描逻辑 return {'custom_data': 'example'} def required_ports(self): return [443] # 声明需要访问的端口

注册插件到config.ini：

[plugins] myplugin = true

8.2 分布式扩展方案

使用Redis实现任务队列：

import redis from rq import Queue q = Queue(connection=redis.Redis()) for domain in domains: q.enqueue(scan_task, domain)

性能对比数据：

9. 运维管理实践

9.1 日志监控方案

推荐日志配置：

[logging] level = INFO file = /var/log/domain-scanner.log max_size = 50 # MB backup_count = 5

关键日志监控指标：

• ERROR级别日志即时告警
• 扫描完成率低于95%触发检查
• 异常耗时操作记录（>30秒）

9.2 备份策略设计

采用3-2-1原则：

• 3份副本（本地+异地+冷备）
• 2种介质（SSD+磁带）
• 1份离线存储

自动化脚本示例：

#!/bin/bash tar czf scan_backup_$(date +%F).tar.gz results/ rclone copy scan_backup_*.tar.gz backup:bucket/

10. 真实案例复盘

某电商平台巡检中发现：

1. 子域名cdn.example.com的SSL证书将在7天后过期
2. 测试环境test.example.com暴露了目录列表
3. 历史遗留域名old.example.com解析到未知IP

处理流程：

1. 立即更新CDN证书（1小时完成）
2. 添加测试环境目录访问限制（15分钟）
3. 清理废弃域名DNS记录（30分钟）

事后优化：

• 建立自动化证书监控
• 实施测试环境访问白名单
• 季度级域名资产梳理

在持续运行domain-scanner三个月后，我们的运维团队成功将证书过期事故降为零，同时发现了17个未被监控的隐藏子域名。这套方案现在已成为我们基础设施监控体系中不可或缺的一环。