尧图网站建设 
GitHub 项目地址[https://github.com/tomjoy248-crypto/InfoScraper](https://github.com/tomjoy248-crypto/InfoScraper) 最新 Windows 安装包[Releases 下载页](https://github.com/tomjoy248-crypto/SL-crawler-/releases/latest)## 项目介绍InfoScraper 是一个 Windows 桌面端信息收集与网页资产分析工具。它的目标是降低资产梳理的门槛输入一个 URL、域名或 IP即可在授权范围内收集页面资源、公开子域名、DNS、基础网络信息、技术指纹和公开接口线索并支持导出和报告生成。项目重点是**被动收集、低影响探测和结果留存**适用于自有系统巡检、授权渗透测试前的资产梳理以及公开网站的基础信息归档。## 主要能力### 1. URL 页面资产收集- 自动抓取页面标题、描述、链接、图片、脚本、样式表、视频和 iframe。- 支持限定同主机、限定页数和深度的页面爬取。- 未配置 CSS/XPath 选择器时可自动切换到页面资产收集模式。- 支持 robots.txt 规则处理、重试、延迟、Cookie、代理和断点续跑。### 2. 域名与子域名信息收集- 使用 crt.sh 和 Hackertarget 进行公开子域名收集。- 支持根域名、带路径 URL、带端口 URL 和 IPv4 输入。- 收集 DNS A、AAAA、CNAME、MX、NS、TXT 记录。- 从 robots.txt 和 sitemap.xml 中提取公开 URL。### 3. IP、ASN 与 RDAP 信息- DNS/IP 解析。- ASN、组织、国家、城市等基础网络信息。- CDN 基础判断。- RDAP 注册组织、注册/到期/变更时间、名称服务器信息。- C 段以保守的 /24 归类展示仅用于资产关联参考。### 4. 技术指纹与公开接口线索- 基础识别 Nginx、Apache、IIS、Caddy、LiteSpeed、PHP、ASP.NET、Express、Gunicorn 等服务组件。- 基础识别 WordPress、Laravel、Django、Vue、React、Next.js、Nuxt、Angular、Shopify、Drupal 等技术栈。- 提取页面、外部 JavaScript 和 Source Map 中的公开 API 线索。- Playwright 渲染模式下可记录页面运行时发出的同源 API、GraphQL、REST、JSON/XML 请求。### 5. 授权端口检查- 仅对用户明确填写到“授权域名白名单”的主机执行。- 使用固定常见端口集合进行低影响 TCP 连通性检查。- 连接成功后最多读取少量服务提示不发送攻击载荷。- 支持取消单个端口失败不影响其他端口结果。### 6. 外部数据源可选可在“API 配置”中保存自己的 API Key。未配置 Key 时不会影响基础功能。- Shodan主机信息。- VirusTotal域名信息。- SecurityTrails子域名信息。- FOFA域名查询需要 API Key 和 FOFA 邮箱。这些查询为只读调用结果会合并进入一键流程、历史记录和导出文件。请遵守对应平台的服务条款、额度和目标授权要求。### 7. 任务、结果与报告- 一键全流程子域名、DNS、HTTP、RDAP、公开 URL、可选 Provider 和授权端口检查。- 并发资产探测与 Provider 查询。- 运行中可取消当前任务。- 结果保存到历史记录支持 Excel、CSV、JSON 导出。- 支持 HTML 报告和 PDF 报告。- 报告包含总记录数、资产类型统计和失败/不可达目标摘要。## 使用步骤1. 从 Releases 下载并安装 InfoScraper-Setup.exe。2. 启动程序在“起始 URL”输入目标例如 https://example.com。3. 根据需求选择- 点击“扫描页面资产”收集网页、脚本、图片、链接和接口线索。- 点击“收集域名资产”收集子域名、DNS、IP/RDAP 等信息。- 点击“一键全流程”执行综合资产收集。4. 如需分析 JavaScript 动态页面勾选“使用 Playwright 渲染”。5. 如需端口检查先在“授权域名白名单”填写已获授权的主机再点击“授权端口探测”。6. 任务结束后可在结果预览和历史记录中查看数据并导出 Excel/CSV/JSON 或生成报告。## 授权与使用说明本工具用于自有资产、明确书面授权的测试目标或合法公开资料的整理。- 不应用于未授权扫描。- 端口检查需要用户显式填写授权白名单。- 工具不包含密码爆破、认证绕过、漏洞利用、持久化、横向移动或数据窃取功能。- 外部 API 的使用需要用户自行配置合法 Key并遵守供应商规则。## 当前限制- 子域名结果依赖公开数据源无法保证覆盖全部资产。- 指纹规则是持续扩展的规则集不等同于完整商业 Wappalyzer 数据库。- JavaScript 分析主要覆盖静态线索和可见运行时请求复杂混淆、登录后请求和深层 Source Map 仍可能遗漏。- PDF 报告需要本机安装 Playwright Chromium。- 不同网络环境可能导致公开数据源超时或限流工具会保留可用结果并记录失败信息。## 获取项目- GitHubhttps://github.com/tomjoy248-crypto/InfoScraper- Releaseshttps://github.com/tomjoy248-crypto/SL-crawler-/releases/latest欢迎提交 Issue 和改进建议。使用前请确认目标授权范围。 InfoScraper：面向授权目标的一站式资产信息收集工具
GitHub 项目地址[https://github.com/tomjoy248-crypto/InfoScraper](https://github.com/tomjoy248-crypto/InfoScraper) 最新 Windows 安装包[Releases 下载页](https://github.com/tomjoy248-crypto/SL-crawler-/releases/latest)## 项目介绍InfoScraper 是一个 Windows 桌面端信息收集与网页资产分析工具。它的目标是降低资产梳理的门槛输入一个 URL、域名或 IP即可在授权范围内收集页面资源、公开子域名、DNS、基础网络信息、技术指纹和公开接口线索并支持导出和报告生成。项目重点是**被动收集、低影响探测和结果留存**适用于自有系统巡检、授权渗透测试前的资产梳理以及公开网站的基础信息归档。## 主要能力### 1. URL 页面资产收集- 自动抓取页面标题、描述、链接、图片、脚本、样式表、视频和 iframe。- 支持限定同主机、限定页数和深度的页面爬取。- 未配置 CSS/XPath 选择器时可自动切换到页面资产收集模式。- 支持 robots.txt 规则处理、重试、延迟、Cookie、代理和断点续跑。### 2. 域名与子域名信息收集- 使用 crt.sh 和 Hackertarget 进行公开子域名收集。- 支持根域名、带路径 URL、带端口 URL 和 IPv4 输入。- 收集 DNS A、AAAA、CNAME、MX、NS、TXT 记录。- 从 robots.txt 和 sitemap.xml 中提取公开 URL。### 3. IP、ASN 与 RDAP 信息- DNS/IP 解析。- ASN、组织、国家、城市等基础网络信息。- CDN 基础判断。- RDAP 注册组织、注册/到期/变更时间、名称服务器信息。- C 段以保守的 /24 归类展示仅用于资产关联参考。### 4. 技术指纹与公开接口线索- 基础识别 Nginx、Apache、IIS、Caddy、LiteSpeed、PHP、ASP.NET、Express、Gunicorn 等服务组件。- 基础识别 WordPress、Laravel、Django、Vue、React、Next.js、Nuxt、Angular、Shopify、Drupal 等技术栈。- 提取页面、外部 JavaScript 和 Source Map 中的公开 API 线索。- Playwright 渲染模式下可记录页面运行时发出的同源 API、GraphQL、REST、JSON/XML 请求。### 5. 授权端口检查- 仅对用户明确填写到“授权域名白名单”的主机执行。- 使用固定常见端口集合进行低影响 TCP 连通性检查。- 连接成功后最多读取少量服务提示不发送攻击载荷。- 支持取消单个端口失败不影响其他端口结果。### 6. 外部数据源可选可在“API 配置”中保存自己的 API Key。未配置 Key 时不会影响基础功能。- Shodan主机信息。- VirusTotal域名信息。- SecurityTrails子域名信息。- FOFA域名查询需要 API Key 和 FOFA 邮箱。这些查询为只读调用结果会合并进入一键流程、历史记录和导出文件。请遵守对应平台的服务条款、额度和目标授权要求。### 7. 任务、结果与报告- 一键全流程子域名、DNS、HTTP、RDAP、公开 URL、可选 Provider 和授权端口检查。- 并发资产探测与 Provider 查询。- 运行中可取消当前任务。- 结果保存到历史记录支持 Excel、CSV、JSON 导出。- 支持 HTML 报告和 PDF 报告。- 报告包含总记录数、资产类型统计和失败/不可达目标摘要。## 使用步骤1. 从 Releases 下载并安装 InfoScraper-Setup.exe。2. 启动程序在“起始 URL”输入目标例如 https://example.com。3. 根据需求选择- 点击“扫描页面资产”收集网页、脚本、图片、链接和接口线索。- 点击“收集域名资产”收集子域名、DNS、IP/RDAP 等信息。- 点击“一键全流程”执行综合资产收集。4. 如需分析 JavaScript 动态页面勾选“使用 Playwright 渲染”。5. 如需端口检查先在“授权域名白名单”填写已获授权的主机再点击“授权端口探测”。6. 任务结束后可在结果预览和历史记录中查看数据并导出 Excel/CSV/JSON 或生成报告。## 授权与使用说明本工具用于自有资产、明确书面授权的测试目标或合法公开资料的整理。- 不应用于未授权扫描。- 端口检查需要用户显式填写授权白名单。- 工具不包含密码爆破、认证绕过、漏洞利用、持久化、横向移动或数据窃取功能。- 外部 API 的使用需要用户自行配置合法 Key并遵守供应商规则。## 当前限制- 子域名结果依赖公开数据源无法保证覆盖全部资产。- 指纹规则是持续扩展的规则集不等同于完整商业 Wappalyzer 数据库。- JavaScript 分析主要覆盖静态线索和可见运行时请求复杂混淆、登录后请求和深层 Source Map 仍可能遗漏。- PDF 报告需要本机安装 Playwright Chromium。- 不同网络环境可能导致公开数据源超时或限流工具会保留可用结果并记录失败信息。## 获取项目- GitHubhttps://github.com/tomjoy248-crypto/InfoScraper- Releaseshttps://github.com/tomjoy248-crypto/SL-crawler-/releases/latest欢迎提交 Issue 和改进建议。使用前请确认目标授权范围。