尧图网站建设 
SonarSearch安全与运维指南API限流、数据合规与高可用部署【免费下载链接】SonarSearchA rapid API for the Project Sonar dataset项目地址: https://gitcode.com/gh_mirrors/so/SonarSearchSonarSearch 安全与运维是自建子域名枚举与反向 DNS 查询服务时必须面对的三大课题。SonarSearch 是一个基于 Go 语言构建的极速 API 服务专门为 Rapid7 Project Sonar 数据集提供毫秒级查询能力让你轻松完成子域名枚举给定域名查询其全部子域名与反向 DNS 查询给定 IP 或 CIDR 网段查询对应域名。本文是一份面向运维新手与安全工程师的完整指南围绕API 限流、数据合规、高可用部署三条主线手把手教你安全、合规、稳定地运行自己的 SonarSearch 实例。一、先认识 SonarSearch四个组件各司其职在开始安全加固之前先快速了解 SonarSearch 的整体架构。整个项目由四个组件构成构建与安装方式非常简单组件作用对应模块sonar2crobat将 Project Sonar 原始数据集转换为 SonarSearch 内部格式cmd/sonar2crobatcrobat2index为域名、IP 生成快速查找索引cmd/crobat2index/main.gocrobat-server核心 API 服务器同时提供 REST 与 gRPC 两套接口cmd/crobat-server/main.gocrobat官方命令行客户端通过 gRPC 流式拉取结果cmd/crobat/main.goREST 服务默认监听1998 端口gRPC 服务默认监听1997 端口两者由 cmd/crobat-server/main.go 在一个进程内同时启动。REST 接口包含五个常用端点/subdomains/{domain}查询某个域名的全部子域名/tlds/{domain}查询某域名出现的所有顶级域/all/{domain}跨所有顶级域汇总结果/reverse/{ip}对单个 IP 做反向 DNS 查询/reverse/{ip}/{mask}对 CIDR 网段做反向 DNS 查询gRPC 接口则在 proto/crobat.proto 中定义了GetSubdomains、GetTLDs、ReverseDNS、ReverseDNSRange四个流式方法适合大批量查询能显著降低服务器负载。 记住一点官方公开实例已因数据源授权问题下线自建实例才是可靠的选择。二、为什么 SonarSearch 必须做安全加固这是很多人容易忽略的关键点SonarSearch 的 API 默认没有任何认证机制。项目文档中明确写着 No authentication is required意味着任何知道服务地址的人都能直接调用你的查询接口。这带来三重风险⚠️资源耗尽反向 DNS 查询可指定任意 CIDR 网段恶意请求可能瞬间拖垮服务器。⚠️数据被批量爬取子域名与 IP 对应关系属于敏感测绘数据容易被批量抓走。⚠️流量滥用无认证的开放接口容易被他人当作免费代理工具使用。此外查询处理采用固定的 worker 池见 pkg/search/domains.go 中的NewDomainPool默认只有 5 个 worker并且单条记录扫描有100ms 超时保护。当并发请求超过处理能力时大量请求会排队甚至超时。因此API 限流是 SonarSearch 自建部署的第一道安全防线。三、如何为 SonarSearch API 配置限流3.1 方案一Nginx 反向代理限流最推荐零代码改动Nginx 是目前最简单、最稳妥的限流方案。在 SonarSearch 前面加一层 Nginx通过limit_req模块控制请求速率。核心配置如下http { # 定义限流区域按 IP 维度每秒 10 个请求突发 20 个 limit_req_zone $binary_remote_addr zonesonar:10m rate10r/s; server { listen 80; # REST 接口代理到 SonarSearch 的 1998 端口 location / { limit_req zonesonar burst20 nodelay; proxy_pass http://127.0.0.1:1998; proxy_set_header Host $host; } } } 将rate10r/s按你的实际业务量调整。反向 DNS 的 CIDR 查询开销较大可以单独为/reverse/路径配置更严格的速率限制。3.2 方案二应用层限流适合需要精细化控制的场景如果希望限流逻辑内置于服务本身可以扩展 cmd/crobat-server/rest/server.go在NewRouter()中为路由挂载中间件。例如使用 Go 的golang.org/x/time/rate实现基于令牌桶的限流按用户 IP 或 API Key 分别计数超限时直接返回429 Too Many Requests。3.3 限流参数推荐表接口类型建议速率说明子域名查询/subdomains/20 QPS查询开销小可适当放宽反向 DNS/reverse/{ip}10 QPS单 IP 查询中等开销CIDR 查询/reverse/{ip}/{mask}2 QPS网段越大开销越高务必收紧gRPC 流式接口按连接数限制建议配合连接数上限四、SonarSearch 数据合规要点4.1 数据集本身的合规风险SonarSearch 的数据来源是 Rapid7 的 Project Sonar 数据集。这是一个必须重视的合规事实Rapid7 已撤销该数据集的公开访问权限且数据许可条款也发生了变更官方托管的 omnisint API 因此下线。这意味着❌ 不能继续使用历史遗留的公开下载渠道获取数据集。✅ 必须通过合法授权渠道获取 Project Sonar 数据例如与 Rapid7 签订数据使用协议。✅ 自行部署时应留存数据来源与授权证明以备合规审计。4.2 数据使用合规 checklist子域名、IP 与域名对应关系属于网络测绘类数据在部分司法辖区受个人信息与网络安全法规约束。建议遵循以下清单确认数据集的授权许可范围禁止转售或对外提供原始数据下载仅向经过认证的内部用户开放 API避免公开暴露在服务条款中明确数据用途限制禁止用于未授权扫描或攻击行为定期评估数据合规风险关注 Project Sonar 数据政策变化记录查询日志便于发生问题时追溯数据流向⚠️ 合规是安全运维的地基即使技术上限流做得再完美数据来源不合法也可能带来法律风险。五、SonarSearch 高可用部署实战5.1 部署前硬件规划SonarSearch 对资源有明确要求至少需要 150~200GB 磁盘空间存放数据集与索引文件。内存需求取决于索引后端的选择索引后端内存需求索引加载速度查询速度适用场景Redis约 20GB RAM快快高并发、海量查询Postgres2~4GB 左右慢较慢低内存、查询量适中 如果预期查询量极大选 Redis追求低成本与低内存占用选 Postgres。项目目前对 Postgres 的支持标记为 experimental生产环境建议先用 Redis 验证稳定性。5.2 快速搭建步骤第一步编译安装工具git clone https://gitcode.com/gh_mirrors/so/SonarSearch cd SonarSearch make make install第二步启动 Postgres 容器如选 Postgres 作为索引后端docker run --name sonarsearch_postgres --expose 5432 -p 5432:5432 \ -v /var/lib/sonar_search:/var/lib/postgresql/data \ -e POSTGRES_PASSWORDpostgres -d postgres第三步创建索引表psql -U postgres -h 127.0.0.1 -d postgres -c CREATE TABLE crobat_index (id serial PRIMARY KEY, key text, value text)第四步转换并排序数据集gunzip fdns_a.json.gz | sonar2crobat -i - -o crobat_unsorted sort -k1,1 -k2,2 -t, crobat_unsorted_domains crobat_sorted_domains sort -k1,1 -t, -n crobat_unsorted_reverse crobat_sorted_reverse第五步生成并导入索引crobat2index -i crobat_sorted_domains -f domain -backend postgres | \ psql -U postgres -h 127.0.0.1 -d postgres -c COPY crobat_index(key, value) from stdin (Delimiter ,) crobat2index -i crobat_sorted_reverse -f reverse -backend postgres | \ psql -U postgres -h 127.0.0.1 -d postgres -c COPY crobat_index(key, value) from stdin (Delimiter ,)第六步启动服务器CROBAT_POSTGRES_URLpostgres://postgres:postgreslocalhost:5432/postgres \ CROBAT_CACHE_BACKENDpostgres \ CROBAT_DOMAIN_FILE/path/to/crobat_sorted_domains \ CROBAT_REVERSE_FILE/path/to/crobat_sorted_reverse \ crobat-server建议把环境变量写入独立的配置文件再source便于统一管理。配置项通过viper读取前缀为CROBAT见 cmd/crobat-server/main.go。5.3 多实例水平扩展与负载均衡SonarSearch 的服务器本身不持有索引数据查询时通过 Redis/Postgres 获取文件偏移量再直接扫描数据集文件见 pkg/search/reverse.go 的NewReverseSearch。这种索引在后端、文件只读的设计让服务器天然无状态非常适合水平扩展将数据集文件同步到多台服务器如共享存储或 rsync每台服务器都运行crobat-server前端用 Nginx 做负载均衡将请求分发到多个实例upstream sonar_backend { server 10.0.0.1:1998; server 10.0.0.2:1998; server 10.0.0.3:1998; } server { listen 80; location / { proxy_pass http://sonar_backend; } }5.4 监控、日志与故障排查部署完成后务必建立基本监控。以下是常见故障速查表症状可能原因排查建议查询返回超时数据集文件被并发扫描、IO 瓶颈查看日志中的TIMEOUT ON提示增加 worker 数gRPC 连接失败1997 端口未开放或防火墙拦截检查端口监听状态索引找不到Redis 中 key 缺失或未正确导入检查crobat2index导入是否成功数据全部为空数据集过期或文件路径错误核对CROBAT_DOMAIN_FILE/CROBAT_REVERSE_FILE配置日志方面查询超时信息会直接输出到服务器 stdout格式为TIMEOUT ON {query}建议接入日志收集系统集中告警。监控重点指标包括QPS、查询耗时、worker 队列长度、磁盘 IO 与内存占用。六、安全运维三件事缺一不可回顾全文SonarSearch 的自建运维可以浓缩为三句话限流先行用 Nginx 或应用层中间件为 API 加装限流守住资源不被恶意请求耗尽。合规为基通过合法渠道获取 Project Sonar 数据集明确数据用途边界留存授权证明。高可用兜底合理选择 Redis/Postgres 索引后端利用无状态架构水平扩展配合监控日志保障服务稳定。SonarSearch 本身是一款设计精良的高性能工具但安全与运维能力才是它能否长期稳定服务的关键。按照本文的指南完成加固后你就可以放心地把它投入生产环境享受毫秒级子域名枚举与反向 DNS 查询带来的效率提升。【免费下载链接】SonarSearchA rapid API for the Project Sonar dataset项目地址: https://gitcode.com/gh_mirrors/so/SonarSearch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 SonarSearch安全与运维指南：API限流、数据合规与高可用部署
SonarSearch安全与运维指南API限流、数据合规与高可用部署【免费下载链接】SonarSearchA rapid API for the Project Sonar dataset项目地址: https://gitcode.com/gh_mirrors/so/SonarSearchSonarSearch 安全与运维是自建子域名枚举与反向 DNS 查询服务时必须面对的三大课题。SonarSearch 是一个基于 Go 语言构建的极速 API 服务专门为 Rapid7 Project Sonar 数据集提供毫秒级查询能力让你轻松完成子域名枚举给定域名查询其全部子域名与反向 DNS 查询给定 IP 或 CIDR 网段查询对应域名。本文是一份面向运维新手与安全工程师的完整指南围绕API 限流、数据合规、高可用部署三条主线手把手教你安全、合规、稳定地运行自己的 SonarSearch 实例。一、先认识 SonarSearch四个组件各司其职在开始安全加固之前先快速了解 SonarSearch 的整体架构。整个项目由四个组件构成构建与安装方式非常简单组件作用对应模块sonar2crobat将 Project Sonar 原始数据集转换为 SonarSearch 内部格式cmd/sonar2crobatcrobat2index为域名、IP 生成快速查找索引cmd/crobat2index/main.gocrobat-server核心 API 服务器同时提供 REST 与 gRPC 两套接口cmd/crobat-server/main.gocrobat官方命令行客户端通过 gRPC 流式拉取结果cmd/crobat/main.goREST 服务默认监听1998 端口gRPC 服务默认监听1997 端口两者由 cmd/crobat-server/main.go 在一个进程内同时启动。REST 接口包含五个常用端点/subdomains/{domain}查询某个域名的全部子域名/tlds/{domain}查询某域名出现的所有顶级域/all/{domain}跨所有顶级域汇总结果/reverse/{ip}对单个 IP 做反向 DNS 查询/reverse/{ip}/{mask}对 CIDR 网段做反向 DNS 查询gRPC 接口则在 proto/crobat.proto 中定义了GetSubdomains、GetTLDs、ReverseDNS、ReverseDNSRange四个流式方法适合大批量查询能显著降低服务器负载。 记住一点官方公开实例已因数据源授权问题下线自建实例才是可靠的选择。二、为什么 SonarSearch 必须做安全加固这是很多人容易忽略的关键点SonarSearch 的 API 默认没有任何认证机制。项目文档中明确写着 No authentication is required意味着任何知道服务地址的人都能直接调用你的查询接口。这带来三重风险⚠️资源耗尽反向 DNS 查询可指定任意 CIDR 网段恶意请求可能瞬间拖垮服务器。⚠️数据被批量爬取子域名与 IP 对应关系属于敏感测绘数据容易被批量抓走。⚠️流量滥用无认证的开放接口容易被他人当作免费代理工具使用。此外查询处理采用固定的 worker 池见 pkg/search/domains.go 中的NewDomainPool默认只有 5 个 worker并且单条记录扫描有100ms 超时保护。当并发请求超过处理能力时大量请求会排队甚至超时。因此API 限流是 SonarSearch 自建部署的第一道安全防线。三、如何为 SonarSearch API 配置限流3.1 方案一Nginx 反向代理限流最推荐零代码改动Nginx 是目前最简单、最稳妥的限流方案。在 SonarSearch 前面加一层 Nginx通过limit_req模块控制请求速率。核心配置如下http { # 定义限流区域按 IP 维度每秒 10 个请求突发 20 个 limit_req_zone $binary_remote_addr zonesonar:10m rate10r/s; server { listen 80; # REST 接口代理到 SonarSearch 的 1998 端口 location / { limit_req zonesonar burst20 nodelay; proxy_pass http://127.0.0.1:1998; proxy_set_header Host $host; } } } 将rate10r/s按你的实际业务量调整。反向 DNS 的 CIDR 查询开销较大可以单独为/reverse/路径配置更严格的速率限制。3.2 方案二应用层限流适合需要精细化控制的场景如果希望限流逻辑内置于服务本身可以扩展 cmd/crobat-server/rest/server.go在NewRouter()中为路由挂载中间件。例如使用 Go 的golang.org/x/time/rate实现基于令牌桶的限流按用户 IP 或 API Key 分别计数超限时直接返回429 Too Many Requests。3.3 限流参数推荐表接口类型建议速率说明子域名查询/subdomains/20 QPS查询开销小可适当放宽反向 DNS/reverse/{ip}10 QPS单 IP 查询中等开销CIDR 查询/reverse/{ip}/{mask}2 QPS网段越大开销越高务必收紧gRPC 流式接口按连接数限制建议配合连接数上限四、SonarSearch 数据合规要点4.1 数据集本身的合规风险SonarSearch 的数据来源是 Rapid7 的 Project Sonar 数据集。这是一个必须重视的合规事实Rapid7 已撤销该数据集的公开访问权限且数据许可条款也发生了变更官方托管的 omnisint API 因此下线。这意味着❌ 不能继续使用历史遗留的公开下载渠道获取数据集。✅ 必须通过合法授权渠道获取 Project Sonar 数据例如与 Rapid7 签订数据使用协议。✅ 自行部署时应留存数据来源与授权证明以备合规审计。4.2 数据使用合规 checklist子域名、IP 与域名对应关系属于网络测绘类数据在部分司法辖区受个人信息与网络安全法规约束。建议遵循以下清单确认数据集的授权许可范围禁止转售或对外提供原始数据下载仅向经过认证的内部用户开放 API避免公开暴露在服务条款中明确数据用途限制禁止用于未授权扫描或攻击行为定期评估数据合规风险关注 Project Sonar 数据政策变化记录查询日志便于发生问题时追溯数据流向⚠️ 合规是安全运维的地基即使技术上限流做得再完美数据来源不合法也可能带来法律风险。五、SonarSearch 高可用部署实战5.1 部署前硬件规划SonarSearch 对资源有明确要求至少需要 150~200GB 磁盘空间存放数据集与索引文件。内存需求取决于索引后端的选择索引后端内存需求索引加载速度查询速度适用场景Redis约 20GB RAM快快高并发、海量查询Postgres2~4GB 左右慢较慢低内存、查询量适中 如果预期查询量极大选 Redis追求低成本与低内存占用选 Postgres。项目目前对 Postgres 的支持标记为 experimental生产环境建议先用 Redis 验证稳定性。5.2 快速搭建步骤第一步编译安装工具git clone https://gitcode.com/gh_mirrors/so/SonarSearch cd SonarSearch make make install第二步启动 Postgres 容器如选 Postgres 作为索引后端docker run --name sonarsearch_postgres --expose 5432 -p 5432:5432 \ -v /var/lib/sonar_search:/var/lib/postgresql/data \ -e POSTGRES_PASSWORDpostgres -d postgres第三步创建索引表psql -U postgres -h 127.0.0.1 -d postgres -c CREATE TABLE crobat_index (id serial PRIMARY KEY, key text, value text)第四步转换并排序数据集gunzip fdns_a.json.gz | sonar2crobat -i - -o crobat_unsorted sort -k1,1 -k2,2 -t, crobat_unsorted_domains crobat_sorted_domains sort -k1,1 -t, -n crobat_unsorted_reverse crobat_sorted_reverse第五步生成并导入索引crobat2index -i crobat_sorted_domains -f domain -backend postgres | \ psql -U postgres -h 127.0.0.1 -d postgres -c COPY crobat_index(key, value) from stdin (Delimiter ,) crobat2index -i crobat_sorted_reverse -f reverse -backend postgres | \ psql -U postgres -h 127.0.0.1 -d postgres -c COPY crobat_index(key, value) from stdin (Delimiter ,)第六步启动服务器CROBAT_POSTGRES_URLpostgres://postgres:postgreslocalhost:5432/postgres \ CROBAT_CACHE_BACKENDpostgres \ CROBAT_DOMAIN_FILE/path/to/crobat_sorted_domains \ CROBAT_REVERSE_FILE/path/to/crobat_sorted_reverse \ crobat-server建议把环境变量写入独立的配置文件再source便于统一管理。配置项通过viper读取前缀为CROBAT见 cmd/crobat-server/main.go。5.3 多实例水平扩展与负载均衡SonarSearch 的服务器本身不持有索引数据查询时通过 Redis/Postgres 获取文件偏移量再直接扫描数据集文件见 pkg/search/reverse.go 的NewReverseSearch。这种索引在后端、文件只读的设计让服务器天然无状态非常适合水平扩展将数据集文件同步到多台服务器如共享存储或 rsync每台服务器都运行crobat-server前端用 Nginx 做负载均衡将请求分发到多个实例upstream sonar_backend { server 10.0.0.1:1998; server 10.0.0.2:1998; server 10.0.0.3:1998; } server { listen 80; location / { proxy_pass http://sonar_backend; } }5.4 监控、日志与故障排查部署完成后务必建立基本监控。以下是常见故障速查表症状可能原因排查建议查询返回超时数据集文件被并发扫描、IO 瓶颈查看日志中的TIMEOUT ON提示增加 worker 数gRPC 连接失败1997 端口未开放或防火墙拦截检查端口监听状态索引找不到Redis 中 key 缺失或未正确导入检查crobat2index导入是否成功数据全部为空数据集过期或文件路径错误核对CROBAT_DOMAIN_FILE/CROBAT_REVERSE_FILE配置日志方面查询超时信息会直接输出到服务器 stdout格式为TIMEOUT ON {query}建议接入日志收集系统集中告警。监控重点指标包括QPS、查询耗时、worker 队列长度、磁盘 IO 与内存占用。六、安全运维三件事缺一不可回顾全文SonarSearch 的自建运维可以浓缩为三句话限流先行用 Nginx 或应用层中间件为 API 加装限流守住资源不被恶意请求耗尽。合规为基通过合法渠道获取 Project Sonar 数据集明确数据用途边界留存授权证明。高可用兜底合理选择 Redis/Postgres 索引后端利用无状态架构水平扩展配合监控日志保障服务稳定。SonarSearch 本身是一款设计精良的高性能工具但安全与运维能力才是它能否长期稳定服务的关键。按照本文的指南完成加固后你就可以放心地把它投入生产环境享受毫秒级子域名枚举与反向 DNS 查询带来的效率提升。【免费下载链接】SonarSearchA rapid API for the Project Sonar dataset项目地址: https://gitcode.com/gh_mirrors/so/SonarSearch创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考