比如说你有一个 IP 地址,想知道它对应的域名是什么?
契机
在 2021 年时候,收到了某地帽子蜀黍提供的该地区的 IP 列表,对其进行画像,包括但不限于寻找到矿池,非法网站,未备案网站等。
因此,寻找了大量的 IP 反查域名的数据集,发现大部分数据集均基于 Rapid7 Open Data,感谢 Rapid7 的贡献。
但不幸的是,该数据集在 2022 年不再提供公开下载。
收拾行装
我莫名的对这个项目有些执念,因此在 2024 年,决定自己搭建一个 IP 反查域名的服务。技术选型从 MongoDB (感谢 BaCde ,他的 https://rapiddns.io/ 确实给我了不少灵感),到 PostgreSQL ,再到最后的 ClickHouse 。
数据集的选型也从最初的 Rapid7 的数据集,到最后的 CAIDA , OpenIntel 和 被动收集。
是的,我基本完成了一个简单的搜索引擎,通过投喂一些初始网页进行递归抓取。
数据展示
AAAA

A

CNAME

展望
我十分想商业化,但不清楚是否有市场需求。如果有市场反响,我会尽快完成这个项目。
如果您有任何想法或者建议请您联系 https://t.me/jam23ly
|