深度 | 如何用大数据做威胁情报
大数据、威胁情报，这两个词汇听起来非常性感。在我们的想象中，掌握大数据的人就像先知和上帝，俯视我们所不能完全理解的事态，精准地预言我们将要面临的危机。然而，对于大数据的利用是非常考验功力和技巧的。很多学艺不精的团队稍不留神就可能把威胁情报搞成“摆摊算卦”。
雷锋网本期硬创公开课请来了白帽汇的创始人刘宇。白帽汇拥有一样独门武器，那就是NOSEC大数据平台，可以汇总诸多白帽子网罗的独特情报。像黑客一样去思考，就是他们的自我要求，今天就请刘宇来聊聊白帽汇在真枪实弹的对抗中，究竟如何把大数据究竟转化成有用的威胁情报。
刘宇，白帽汇联合创始人。2004年毕业于湖南大学计算机通信学院。拥有微软MCSEC,MCDBA,MCP证书，从事信息安全行业7年。2009年与赵武（zwell）一起成立诺赛科技，负责穿山甲，竭思，亿思的销售与推广。亿思是全球第一款在线Web应用安全扫描平台，2011年拥有几万企业用户。2015年，作为联合创始人创立白帽汇。
白帽汇究竟是神马？
Q：白帽汇是什么意思呢？和大数据威胁情报有什么关系呢？
A：白帽汇，顾名思义，是白帽子汇聚。
我们觉得白帽子和企业是相互服务的关系：
我们的NOSEC大数据平台上的情报可以帮助白帽子更好地挖掘漏洞；
同时白帽子提交威胁情报到NOSEC，这些威胁情报为企业信息安全提升而服务。
这就是我们“汇”字的含义。
有关威胁情报的一切
Q：威胁情报是怎么出现的？
A：安全由一个公司来完成，这在很早期，还没有互联网公司前是可行的。你的安全，用一个杀毒软件就可以搞定。比如：国内的瑞星、江民、金山，国外的诺顿、卡巴斯基、小红伞、Avast 等等。到了现在，技术的发展这么迅猛。安全，尤其是企业安全就不再是杀毒软件就足够的事情了。
讲最直白的例子：
十年前阿里巴巴还没有正规的安全团队，你和淘宝说：有人刷单。人家保准骂“你有病”，而现在，阿里巴巴的安全团队明确将“有人刷单，某个人提供刷单服务”当成威胁情报，并且还会奖励情报提供者金钱。
从杀毒软件，到现在“威胁情报”，这种变化是没人可以预计的，都是随着业务发展，技术变化，慢慢养成的安全需求。
白帽子提交的威胁情报/ 图片由 NOSEC 平台提供
Q：什么是威胁情报呢？不用会死吗？
A：SANS 研究院对威胁情报的定义是：针对安全威胁、威胁者、利用、恶意软件、漏洞和危害指标、所收集的用于评估的应用的数据集。
几年前，我们将漏洞看做唯一的威胁信息安全的途径，而实际威胁企业的太多方面，漏洞只是其一。还有比如：钓鱼邮件，员工的个人信息，密码习惯等等。根据我们的调研，目前许多的漏洞非直接来源于IT资产的漏洞，而是企业员工个人信息等。通过员工与企业相关的邮箱，OA，VPN账户入侵，再入侵到企业服务器。
威胁情报还有一个相关的词——社会工程学。也是到目前为止，全球最牛的安全人员——凯文·米特尼克使用的最重要手段。他不是挖漏洞的高手，但是是社会工程学方面，他是最牛的人。他每天去捡废纸，通过这些企业倒出的废纸，黑掉那些企业。
所以，毫不夸张地说，社会工程学可以获得企业的很多机密情报，比如：打电话欺诈获得root密码，通过钓鱼邮件获得员工帐号密码等等。
威胁不只是漏洞，还有企业泄露的人员通讯录；企业上传到网盘的记事本；企业的一段代码，甚至是垃圾堆里的废纸。所有的一切威胁企业信息安全的都是威胁情报。
Q：是否能举一些例子，讲讲真实世界的威胁情报究竟是什么样子的？
A：企业最希望了解外面的攻击者在干什么。
哪些人？
什么目的？
针对我的哪些业务？
做了什么？
还想做什么？
这些都是威胁情报提供的。
比如前段时间，我们发现了当当和小米的订单数据泄露。这个不是漏洞，而是一个信息安全事件后的数据泄露。我们第一时间告诉当当和小米。这个事情发生了，他们了解到这个事件，首先要做的是保护用户，通知用户保护自己帐号，提醒可能的电话诈骗等等。然后再寻找自己的信息安全问题。当然我们也会告诉当当和小米，你有哪些漏洞可能导致数据泄露。
小米用户收件人地址和电话信息泄露/ 图片来自 NOSEC
Q：谁需要威胁情报呢？
A：以我们为例，白帽汇的威胁情报得到新浪、小米、当当、华为等互联网公司的重视。还有BAT的漏洞，这些都是经过我们团队验证的。
但是需要威胁情报的远远不止这些大企业。对于企业里的员工，使用企业服务的客户，在听我说话的每一个人，也需要威胁情报。比如之前发生的CSDN信息泄露，携程信息泄露，网易邮箱信息泄露。这些都让每一个在互联网混超过几年的人都非常紧张，赶紧去改密码，赶紧查自己的开房数据有没有泄露。其实，我想告诉所有人一个事实，你只要使用了互联网，你的信息就很可能被泄露了。
想想你用的哪一个APP不是问你要通讯录读取权限，有的输入法申请的权限跟杀毒软件的权限一样，你不装又不方便。所有程序把我们的通讯录，短信，系统设置权限统统拿走。以至于当我们收到钓鱼短信，装恶意App时，毫无警觉得就装上了。因为这些恶意App和常见的App权限是一样的。
此时，一定会有人笑我，讲了太多App行业的内幕。实际上造成这些现象的内幕是，用户根本不懂得保护自己隐私，企业想要你的一切信息，连女性的生理期都想要。（哈哈笑）
总结一下：
企业可以关注威胁情报，提升企业的信息安全
个人可以关注威胁情报，对保护自己隐私有帮助。
大数据怎么玩？
Q：怎么用大数据做威胁情报呢？
A：收集到一堆的数据，对企业来说无任何意义。威胁情报里有一个重要的情报来源就是对于安全大数据的分析，一大堆数据不能算情报。
我们NOSEC大数据平台有几块。企业IT资产透视、全球网站检索、NOSEC威胁情报。除此以外，还有：子域名库，URL库，Emai地址库，全球网站指纹库，这些都是花了许多精力积累起来的，不断更新。
Q：这么多种类的大数据，有哪些是构成威胁情报不可或缺的呢？
A：有很多，我可以举两个例子。
1. 企业 IT 资产透视
很多企业不了解自己资产。例如有多少服务器，多少IP，每个服务器跑啥业务。他们想搞清楚，但是一直没能搞清楚。有个巨大的公司告诉我们：前段时间他们发现1个 1Day 漏洞，想给自己的服务器打补丁。但是这个过程非常缓慢，打了三天才终于把所有服务器打完。
这时候肯定有人会问：为什么打个补丁要这么长时间呢？把全部服务器找出来，一并打了不得了？
原因就在于他们对自己的资产并不熟悉。这也是我们在做的事情，让企业了解和掌握自己的资产，对每个资产打标签，检索出企业泄露的员工信息。这种情况下，企业 IT 资产的数据就变得非常有用，它可以为企业防患安全风险，遇到风险也可以及时补救。
2.全球网站检索
安全行业的朋友知道 Shodan（撒旦），这是一个全球的服务器端口指纹系统。它可以识别这个端口跑的是Http，还是 Mysql，还可以进一步知道是什么版本。
我们做了一个『全球网站检索』，只针对 Http协议、Web 应用层。把全球的web服务指纹收集起来。这样就能标识出一个网站在哪个端口，使用哪一种 Web Server，哪种编程语言，哪种开源框架（如：CMS等）。通过这些功能，可以找到全球在线的 Squid 代理服务器；全球有哪些网站使用了 Jquery；全球有哪些在线H3C路由器；哪些网站使用了GeoTrust证书；哪些网站挂了某一种木马；哪些网站使用了CloudFlare的 CDN 等等。
这些大数据，对于探测企业面临哪些威胁，都是必不可少的。
全球网站检索/ 图片来自 NOSEC 平台
我拿到了威胁情报，然后呢？
Q：企业拿到威胁情报之后，有哪些应对的措施呢？
A：这个根据情报的不同类型，需要采取不同的措施。
泄漏事件：企业需要第一时间知道发生数据泄露事件。比如当当和小米的订单泄露事件。我们通知给受害企业，企业第一时间准备公关，查漏补缺。
漏洞威胁：对于漏洞等威胁情报，提交给客户，他们收到后，可以修复漏洞。我们还会将一些著名的黑客团队习惯的攻击手法，打标签，让企业对顶级的黑客团队有所掌握，首先防患。
Github代码泄露：还有部分github的数据泄露事件，包含企业的服务器ip，帐号和密码，这些威胁情报企业得知可以改密码，换服务器等等。
总之，威胁情报，是企业知己知彼的一个重要途径，关起门来做信息安全，是与时代背离的。技术每天变化，威胁情报能让企业信息与黑客信息同步，为信息安全建设提供巨大帮助。而且随着技术的发展，威胁情报能够提供的帮助，会越来越强大，甚至超过我们的想象。
宅客『Letshome』
雷锋网旗下业界报道公众号。
专注先锋科技领域，讲述黑客背后的故事。
点击阅读原文，报名参加GAIR