爬虫工具的信息挖掘分享

发布于 2018-04-12  474 次阅读



爬虫工具的信息挖掘


     搜索引擎是一个爬虫机器人,不停的在爬世界所有网站,有可能在爬的过程中,就把你重要的文档给爬出来了,尽管你没有对外公布该文档。

     所以在做渗透测试的时候,就可以通过搜索引擎对测试目标做一个搜索。现在,对测试目标做一个搜索引擎hacking的行为,已经成为了一门科学。

      谷歌有谷歌hacking 百度有百度hacking 必应有必应hacking 都是专门做搜索用的。有时候一个搜索引擎,就能给出对方的CMS或者其他软件结构。比如已开源漏洞,就能用搜索引擎直接拿下目标控制权。

作为渗透测试者要用的,就是利用搜索引擎获取目标信息,必要时应该学会利用各个搜索引擎的语法。

搜索引擎能搜到什么

1. 公司新闻动态

2. 重要员工信息

3. 机密文档

4. 用户名密码、邮箱

5. 目标系统软硬件技术架构。

以上都是能用搜索引擎搜索到的,尽管你并没有公开一些文档,但是只要放在互联网上就可能会被爬到。

接下来,介绍第一个。

shodan

       shodan和我们国内的钟馗之眼是一种搜索引擎,他们区别于百度等引擎,他们只爬设备,只爬联网设备。

网址为:

https://www.shodan.io/

      Shodan,也有人把他叫撒旦,是和百度谷歌不一样的,谷歌百度爬的网页信息,而shodan爬的是互联网设备,也包括端口。

智能家电越来越多,能连上互联网就可能被shodan这种引擎爬到。

Shodan的语法

· Net

· Cify

· Country

· Post

· Os

· Hostname

· Server

       如何利用shodan去搜索直接在shodan搜索框里输入指定的目标,可以是IP地址或者域名。