理解噪音

在现代DevSecOps世界中，我们面临的最大挑战之一是我们负责管理和理解的大量数据。日志是最重要的数据位之一。这些日志可能会有噪音，但我们的任务是审查、从中获取情报，并以必要时可以检索的方式存储它们。即使对于有能力的DevSecOp团队来说，理解噪音也是一项艰巨的任务，这就是日志分析进入画面.

什么是日志？

日志是用于记录事件发生时的文件。我们使用的每个现代系统都使用日志。

如何在安全中使用日志？

日志是一种记录，可以帮助事件响应者更好地了解发生了什么，因为在安全的世界里，这不是你是否被黑客入侵，而是什么时候被黑客入侵的问题。只要有足够的时间和动机，攻击者往往能够击败大多数防御措施。维护日志的完整性对任何事件审查的成功至关重要。

什么是日志分析？

原木分析是理解原木的科学。这是一个审查、解释和理解日志的过程，以便我们能够为各自的组织做出正确的决策。

日志分析有助于我们理解噪音。一个好的日志分析过程将生成有用的指标，以清晰地描述整个组织中发生的事情。此数据可用于改进或解决应用程序或基础架构中的性能问题。从更大的角度来看，公司通过分析日志来主动和被动地降低风险，遵守安全策略、审计和法规，并了解在线用户的行为。

日志分析的优点是什么？

日志分析有5个主要优点：

类别	描述
顺从	许多政府或监管机构要求组织证明其遵守了几乎影响每个实体的无数法规。日志文件分析可以证明组织正在满足HIPAA、PCI、GDPR或其他法规要求（例如。，行业合规计划列表
安全	日志分析为采取主动措施提供了强大的工具，并在发生漏洞或数据丢失后进行法医检查。日志分析可以利用网络监控数据来发现未经授权的访问尝试，并确保安全操作和防火墙得到最佳配置。
系统可用性	根据日志分析发现的信息及时采取行动可以防止问题导致停机。这反过来有助于确保组织满足其业务目标，并确保IT组织履行其承诺，在给定的正常运行时间保证下提供服务。
基础架构资源调配	虽然组织必须计划满足峰值需求，但日志分析可以帮助预测是否有足够的CPU、内存、磁盘和网络带宽来满足当前需求以及预测的趋势。过度供应浪费了宝贵的IT资金，而盈利不足可能会导致服务中断，因为组织争相购买额外资源或利用云资源来满足需求的灵活性。
销售和营销归因	通过跟踪流量和客户访问的页面等指标，日志分析可以帮助销售和市场营销专业人员了解哪些计划有效，哪些应该更改。流量模式也有助于重组组织的网站，使用户更容易导航到最常访问的信息。（示例-Lead Geneation平台有效吗？

如何执行日志分析？

日志提供了对应用程序和基础架构堆栈的运行状况和性能的可见性，使开发人员团队和系统管理员能够轻松诊断和纠正问题。以下是使用日志分析软件管理日志的基本五步过程：

类别	描述
仪器和收集	安装收集器以从堆栈的任何部分收集数据。日志文件可以通过活动网络流式传输到日志采集器，也可以存储在文件中供以后查看。
集中和索引	将所有日志源的数据集成到一个集中的平台中，以简化搜索和分析过程。索引使日志可以搜索，因此安全和IT人员可以快速找到他们需要的信息。
搜索和分析	模式识别、规范化、标记和相关性分析等分析技术可以手动实现，也可以使用本机学习实现。
主动监控和警报	通过机器学习和分析，IT组织可以实现实时、自动化的日志监控，在满足特定条件时生成警报。自动化可以实现对覆盖各种系统和应用程序的大量日志的连续监视。
报告	简化的报告和仪表盘是日志分析软件的关键功能。还可以使用定制的可重用仪表板来确保在需要了解的基础上向员工提供对机密安全日志和指标的访问。

然而，上述框架并没有解决一个非常重要的问题——来自多个来源的数据。虽然大多数系统和应用程序都收集日志，但它们在记录日志的方式上并不都是标准化的。这意味着，如果你想理解它，你必须建立一个可以工作的基础。根据您阅读的内容，这些可能被称为聚合日志时使用的函数或方法。除了上述框架之外，您还应该考虑以下四个步骤：

类别	描述
规范化	规范化是一种数据管理技术，其中消息的部分被转换为相同的格式。集中和索引日志数据的过程应包括一个规范化步骤，其中跨应用程序的日志条目的属性应标准化并以相同的格式表示。
模式识别	机器学习应用程序现在可以使用日志分析软件来实现，以将传入的消息与模式书进行比较，并区分“有趣”和“无趣”的日志消息。这样的系统可能会丢弃例程日志条目，但在检测到异常条目时会发出警报。
分类和标记	将相同类型的日志条目组合在一起。我们可能希望跨应用程序跟踪特定类型的所有错误，也可能希望以不同的方式筛选数据。
相关性分析	当事件发生时，它很可能会反映在来自多个不同来源的日志中。相关性分析是从各种系统收集日志信息并从每个连接到已知事件的系统中发现日志条目的分析过程。

Trunc和Log分析

并非所有日志都有帮助。尽管它们非常重要，但对于大多数开发人员来说，它们往往是事后才考虑的，这给我们带来了非常糟糕的日志。由于其他SIEM和日志管理平台引入的复杂性，情况变得更糟。在Trunc，我们致力于理解机箱外的噪音，以便系统在收到第一个日志事件后立即为您工作。

我们创建解析器来帮助我们将日志上下文化，使其在删除不存在的日志时对管理员有帮助。

下面是一个使用SSHD的简单示例。如果您正在查看SSHD日志，您将在日志文件中看到以下内容：

接受来自149.1.x.x端口23414的john密码

SSHD是一个记录干净日志的应用程序示例。也就是说，当你有很多用户时，这会在噪音中消失，而且你还缺少关于这是好是坏的任何其他信息（除了John用密码查找的事实之外）。

日志分析是从日志条目中提取尽可能多的信息的过程，以帮助确定这是好是坏。就目前而言，这是不可能的。特别是当这是一个服务器上数千个条目中的一个条目时。

在一个真实的示例中，您谈论的是N个服务器，N个条目，N个日志，其中N是一个无限数。在大多数情况下，对于个人或团队来说，这是一项几乎不可能完成的任务。

让我们看一下将日志上下文化意味着什么，分析它以获得更多信息，从而确定这是好是坏。

这是Trunc从SSHD中看到的相同日志：

通过SSHD登录成功。
IP：149.1.x.x（德国）
用户：John

警告：
149.1.x.x：Tor退出节点。
149.1.x.x：已标记为多个黑名单。
可疑登录。


这很有趣。因此，John SSH使用Tor出口节点进入服务器，该出口节点因跨其他网络的恶意活动而被列入黑名单。这个节点碰巧也在德国，但约翰住在加利福尼亚州。

在安全的世界里，这将是，也应该是一个巨大的危险信号。但在许多情况下，它都会失败，因为大多数组织都缺乏有效解析或理解其日志的机制。

在Trunc，我们的任务是简化这个过程。默认情况下，所有日志都将根据我们的规则进行分类，我们已经让您可以非常容易地根据这些类别快速筛选日志。例如，管理员可以在其仪表板中进行如下搜索：

类别：authentication_success AND类别：tor_connection

我们将日志转化为可操作的情报。所有内容都可以通过我们类似谷歌的仪表盘进行搜索，以便调查事件并遵守多种合规性要求（PCI-DSS、GDPR、SOC-2）。最好的部分是您可以解析所有日志，不仅可以解析一台服务器上的一个日志文件，还可以同时解析所有位置的所有日志。