安全团队如今搜集的数据可谓海量。企业战略团体(ESG)的研究表明，38%的企业每月安全运营中要搜集、处理和分析10TB以上的数据。都是甚么类型的数据呢？最大的数据源包括：防火墙日志、其他安全装备的日志数据、网络装备的日志数据、反病毒(AV)工具产生的数据、用户活动日志、利用日志等等。

值得指出的是，搜集来的安全数据数量每一年都在增长。事实上，28%的企业称现在比2年前搜集、处理和分析的数据量多了很多，而另外49%的企业称当前处理数据量比2年前多了一些。

总的来讲，这类对安全数据的痴迷是件好事儿。大堆数据中总会藏着少许有价值的精华。那末理论上，数据越多，等于精华越多。

但是，不幸的是，数据越多，垃圾数据也就越多。总有人得去梳理数据，转译数据，让数据成心义，能使用。而且，基本的存储问题也是存在的。是全部数据都存储下来呢？或者定义某种价值分类方法，保存有价值数据，扔掉其他的？是集中存储，或者散布式存储？是放在自家内部网络上，或者置于云端？还有，到底该怎样管理这所有的数据：关系数据库管理系统(RDBM)？散布式多用户全文搜索引擎Elastic？散布式系统基础架构Hadoop?SIEM?

面对问题吧！安全就是个大数据利用，是时候统合安全行业和网络安全人士，斟酌安全数据问题，想出共有的解决方案了。

此处有些建议可供参考：

1. 我们需要倍加重视数据规范

是的，我们有一些标准格式，出自MITRE这样的组织，比如STIX、TAXII、CVE列表等等。但常见的抱怨是，这些标准都太复杂了，而且主要用于美国联邦政府。我们需要创建简单的标准数据封装，可以用在几近全部安全数据上的那种。

举个例子，不用舍本逐末，就看看Splunk吧。该公司建议采取通用信息模型(CIM)标准，来规范所有数据。这样就能够更容易地检索数据，将数据置于上下文中理解，并能关联区别系统中的数据元素。作为一个行业，我们需要的，是全部安全数据都能遵从类似CIM的一个开箱即用的模型，让每一个人都可以更轻松地处理数据。

2. 所有安全数据都应可通过标准API使用

除通用格式，所有分析工具、SaaS产品，还有数据仓库，都应提供通过标准API导入/导出数据的功能。比如这样一个用例：公司网络中有SIEM和网络分析工具，但外包了终端检测与响应(EDR)和要挟情报分析工作给SaaS提供商。当公司安全运营中心(SOC)团队检测到安全事件，他们应能通过想用的任意工具（或多个工具），即时从所有源分析全部数据。

我们需要数据能通过标准API进行实时导入/导出，以即可以简单有效地实时按需取用数据。

3. 企业需要散布式安全数据管理服务

今天的安全运营环境中，一样的数据会在区别分析工具中搜集处理屡次。这样非常浪费。为提升安全数据的效力和有效性，所有安全遥测都应通过散布式数据管理服务加以搜集、处理、规范化并提供使用。

应澄清的一点是，数据并不是就在散布式数据管理服务中加以分析。相反，数据应通过标准接口，以通用格式显现给所有类型的分析工具。此类安全数据管理服务，还应负责基本的保护和安全操作。比如备份/恢复、归档、数据紧缩、加密等等。散布式安全数据管理服务可能会在内部存储一些数据，然后自动过期并归档其他数据到更低价的存储上(如磁带、云等)。注意：散布式安全数据管理服务，是ESG的SOAPA多层架构中的一层。

4. CISO一定要拥抱人工智能和机器学习

鉴于安全数据范围的增长，知道数据的类型、位置、含义，清楚怎样整合数据的人的数量，就显得非常的小，且还在延续缩小中。几近可以判定，我们实际上已逾越了人类可以有效处理这些数据的那条线。是时候让机器来做那沉重的多层数据分析工作，为人类总结归纳数据，只把困难的决策工作留给人类就好。

好消息是，已有很多安全类AI创新，很多解决方案也走到了实用阶段。坏消息是，市场上炒作太多，干货太少。给CISO的建议是：货物出门概不退换，买者自行谨慎，将大量资源投入研究、信息约请书(RFI)/建议约请书(RFP)和概念验证项目中。

5. 尽可能自动化，更多自动化

任何可被自动化的东西都应当自动化，包括数据搜集、数据规范化、数据分发、数据分析和自动化修复。人类应降到安全数据周期的末端，专注困难的调查和决策。

面对现实，好心的安全团队被如今庞大的数据量淹没。他们奋不顾身，尽力而为，但现实结果却冰冷残暴：随着安全数据范围上升，安全人员只能导出价值的增量部份。你乃至可以得出这样的结论：更多安全数据需要的额外操作开消，实际上会减少数据的价值——现今很多企业的现状。

要让增加的数据更有用，我们需要让它更容易于消费、分析和操作化。而要到达这一点，安全行业和网络安全从业者需要精诚合作，共同努力。