15个顶级开源威胁情报工具
在数字孪生、物联网、云计算、社交媒体大数据快速膨胀的今天，企业和个人数字资产越来越多地暴露在互联网上，这使得开源威胁情报往往能够成为主导攻防走势的重要因素。
随着威胁情报在网络安全技术堆栈中的重要性和集成度不断提高，威胁情报分析师的需求不断增长，OSINT（开源威胁情报）已经成为发展最为迅猛的安全工具类别。
不仅仅是黑客和犯罪集团青睐OSINT，对于企业而言，OSINT工具有助于帮助发现有关公司、员工、IT资产和其他凭证或敏感数据等可被攻击者利用的信息，事实上，OSINT在整个攻击链中都可发挥重要作用，已经成为企业IT安全运营的重要工作。
以下，是2023年最流行的15个顶级OSINT开源威胁情报工具：
（本文介绍的OSINT工具仅供网络安全人士学习研究使用，请勿滥用并遵守国家相关法律）
- Mitaka
- Sherlock
- SpiderFoot
- Spyse
- BuiltWith
- IntelligenceX
- DarkSearch.io
- Grep.app
- Recon-ng
- theHarvester
- Shodan
- Metagoofil
- Searchcode
- BabelX
- Maltego
1.Mitaka
Mitaka作为Chrome扩展程序和Firefox插件提供，可从网络浏览器中调用大量搜索引擎进行广泛搜索，以获取IP地址、域、URL、哈希值、ASN、比特币钱包地址以及各种危害指标(IOC)。
地址：https://github.com/ninoseki/mitaka
2.Sherlock
从统计数据来看，GitHub上最好和最受欢迎的OSINT工具非Sherlock莫属。但是该工具需要用户具备命令行和Python的基础知识，如果你嫌麻烦，可以尝试有用户界面的类似工具：UserSearch.org。
Sherlock是社交媒体账户追踪（爬虫）工具，可用于收集有关人员的信息，对记者和安全研究人员特别有用。Sherlock可以与其他OSINT工具（例如Maltego或FOCA）一起使用，以收集有关个人兴趣或社区内联系的其他信息。
地址：https://github.com/sherlock-project
3.Spiderfoot
Spiderfoot是一款免费的OSINT侦察工具，可与多个数据源集成，以收集和分析IP地址、CIDR范围、域和子域、ASN、电子邮件地址、电话号码、姓名和用户名、BTC地址等。Spiderfoot本身附带200多个模块，非常适合红队侦察活动，可以发现目标的更多信息或识别企业无意中在互联网上暴露的内容。
地址：https://github.com/smicallef/spiderfoot
4.Spyse
Spyse号称网络安全专业人士的“最完整的互联网资产注册中心”。包括OWASP、IntelligenceX和上述Spiderfoot等项目都依赖Spyse。Spyse可收集网站、网站所有者、相关服务器和物联网设备上的公开数据。然后，Spyse引擎会分析这些数据，以发现这些不同实体中的安全风险以及相互之间的关联。
地址：https://spyse.com/
5.BuiltWith
顾名思义，BuiltWith可让您找到流行网站的构建方式。不同的技术堆栈和平台为不同的网站提供支持。例如，BuiltWith可以检测网站的CMS是否使用了WordPress、Joomla或Drupal，并提供更多详细信息。将BuiltWith与WPScan等网站安全扫描仪相结合，例如与WordPress漏洞数据库API集成，以发现影响网站的常见安全漏洞。
如果你只是单纯地想了解网站的技术堆栈构成，Wappalyzer可能是更适合的选择，因为或者提供了更有针对性、更简洁的输出结果。
地址：https://builtwith.com/
6.IntelligenceX
IntelligenceX是同类首创的档案服务和搜索引擎，不仅保留网页的历史版本，还保留整个泄露的数据集，即便这些数据集因内容的不良性质或法律原因从网络上删除。尽管这听起来InternetArchive的WaybackMachine的功能类似，但IntelligenceX在服务重点保存的内容类型方面存在一些明显的差异。在保存数据集方面，无论有多大争议，IntelligenceX都不会歧视对待。
例如，IntelligenceX曾保存了超过4.9万个FortinetVPN的列表，这些VPN存在路径遍历漏洞。不久前这些VPN的明文密码也在黑客论坛上曝光后随即被删除，但仍被IntelligenceX保留。
地址：https://intelx.io/
7.DarkSearch.io
与另一个暗网搜索引擎Ahmia一样，DarkSearch也是免费的，且附带了用于运行自动搜索的免费API。尽管Ahmia和DarkSearch都有.onion站点，但您不一定需要访问.onion版本或使用Tor来访问这两个搜索引擎。只需从常规网络浏览器访问darksearch.io即可搜索暗网。
8.Grep.app
如何在互联网上搜索50万个git存储库？当然，您可以尝试GitHub、GitLab或BitBucket提供的搜索功能，但Grep.app的工作效率显然更高。
当搜索与潜伏在OSS存储库中的IOC、易受攻击的代码或恶意软件（例如OctopusScanner、Gitpaste-12或恶意GitHubAction加密挖矿PR）相关的字符串时，Grep.app也表现不俗。
9.Recon-ng
Recon-ng用Python编写，可自动执行耗时的OSINT/侦察活动，例如剪切和粘贴，可用于自动化许多最常见的数据收集任务，能够节省大量时间。
即使是最初级的Python开发人员也可以对公开可用的数据进行搜索并返回高质量结果，它提供高度模块化的框架和许多内置功能，包括标准化输出、与数据库交互、发出Web请求和管理API密钥等。开发人员无需对Recon-ng进行编程来执行搜索，只需选择他们希望其执行的功能，并可在短短几分钟内构建一个自动化模块。
地址：https://github.com/lanmaster53/recon-ng
10.theHarvester
作为一款入门级的侦察工具，theHarvester主打易用性，使用包括Bing和Google等流行搜索引擎，以及Dogpile、DNSdumpster和Exalead元数据引擎等鲜为人知的搜索引擎。它还使用NetcraftDataMining和AlienVaultOpenThreatExchange。它甚至可以利用Shodan搜索引擎来发现已发现主机上的开放端口。theHarvester主要收集电子邮件、姓名、子域、IP和URL等信息。
任何人都可以在GitHub上获取theHarvester，但建议用virtualenv创建一个隔离的Python环境。
地址：https://github.com/laramies/theHarvester
11.Shodan
Shodan是业内极为流行的专用搜索引擎，用于查找物联网(IoT)上数十亿设备的情报，这些设备无法用常规搜索引擎检索，但却无处不在。Shodan还可用于查找目标系统上的开放端口和漏洞等内容。其他一些OSINT工具（例如theHarvester）将其用作数据源，但与Shodan的深度交互需要付费帐户。
地址：https://www.shodan.io/
12.Metagoofil
Metagoofil是GitHub上的另一个不容错过的免费OSINT文档调查工具，它经过优化可以从公共文档中提取元数据。Metagoofil可以调查可通过公共渠道访问的几乎任何类型的文档，包括.pfd、.doc、.ppt、.xls等。
Metagoofil可以搜索与已知文档关联的用户名等信息，以及真实姓名（如果有）。还能映射获取这些文档的路径，这些文档反过来又会提供有关托管服务器的名称、共享资源和目录树信息等信息。
Metagoofil的搜索内容对于黑客来说非常有用，他们可以利用它来执行诸如发起暴力密码攻击甚至网络钓鱼电子邮件之类的事情。企业网络安全人士也可以采用相同的开源情报收集信息，并在恶意行为者采取行动之前保护或隐藏暴露信息。
地址：https://github.com/laramies/metagoofil
13.SearchCode
searchcode是一个高度专业化的搜索引擎，可以在源代码中寻找有用的情报。令人惊讶的是，这个强大的引擎是由单个开发人员完成的。开发人员可以使用SearchCode来发现与正在运行的应用程序或仍在开发的应用程序上的代码内部可访问敏感信息相关的问题。在后一种情况下，用户可以在代码部署到生产环境之前解决这些问题。
地址：https://searchcode.com/
14.BabelX
BabelStreet的BabelX是一款用于公共互联网的多语言搜索工具，可搜索200多种语言的博客、社交媒体、留言板和新闻网站等。它还能搜索暗网，包括Onion网站，以及一些深网络内容。
地址：https://babelstreet.com/
15.Maltego
Maltego用户发现人、公司、域名和互联网公开信息（如DNS记录、whois记录、搜索引擎和社交网络）之间的（隐藏）关系。该工具可以将检索到的信息绘制成易于阅读的图表，每个图表最多可以包含1万个数据点。Maltego用Java平台开发，可以在Windows、Mac和Linux平台上运行。该程序有一个功能有限的免费版本，称为MaltegoCE。MaltegoXL的桌面版本每个实例运行1999美元。大规模商业用途的服务器安装起价为4万美元，并附带完整的培训计划。
