【干货】日志管理与分析一——日志收集及来源

【干货】日志管理与分析（一）——日志收集及来源 导语导语 对广大 IT 工作者，尤其是运维和安全人员来说，“日志”是一个再熟悉不 过的名词。日志从哪来？机房中的各种软件（系统、防火墙）和硬件（交换机、 路由器等） ，都在不断地生成日志。IT 安全业界的无数实践告诉我们，健全的日 志记录和分析系统，是系统正常运营、优化以及安全事故响应的基础，虽然安全 系统厂商为我们提供了五花八门的解决方案，但基石仍是具有充足性、可用性、 安全性的日志记录系统。实际工作中，许多单位内部对日志并没有充分的认识， 安全建设更多在于投入设备，比如防火墙、IDS、IPS、防病毒软件等，被动地希 望这些系统帮助我们完成一切工作，但是俗话说的好：“魔高一尺道高一丈”， 以特征码和预定义规则为基础的上述设备，在防护方面永远落在攻击者后面，防 微杜渐才是真正的出路。作为一名合格的安全人员，了解日志的概念，了解日志 的配置和分析方法， 是发现威胁、 抵御攻击的重要技能， 有了这方面的深刻认识， 各种自动化安全解决方案才能真正地发挥效能。 一、日志数据一、日志数据 简单地说，日 志消息就是计算机系 统、设备、软件等在 某种触发 下反 应生 成的 东西。确切 的触 发在 很大 程度上 取决 于日 志消 息的来 源。 例如，UNix操作系统会记录 用户登录和注销的消 息，防火墙将记录 ACL 通过 和拒绝 的消 息，磁盘 存储 系统 在故障 发生 或者 在某 些系统 认 为将 会发 生故 障的 情况下 会生 成日 志消 息。 日志 数据 就是 一条 日志消 息里 用来 告诉 你为什 么生 成消 息的 信 息， 例如 ，web 服务器 一般 会在 有人 访问 web 页面 请求 资源（ 图片 、 文件 等等 ）的 时候 记录日 志。 如果 用户 访问的 页面 需要 通过 认证， 日 志消 息将 会包 含用 户名。 日志消 息可 以分成 下面 的几 种通 用类型 ： • 信息信息 ：：这种 类型 的消 息被 设计 成告 诉用 户和管 理员 一些 没有 风险的 事 情发 生了 。例 如， Cisco IOS将在系 统重 启的 时候 生成 消息 。不过 ，需 要注 意的 是，如 果重 启发 生在 非正 常维 护时间 或是 业务 时间，就有 发出 报警 的理 由。 • 调试调试 ：：软件 系统 在应 用程 序代 码运 行时 发生调 试信 息，是 为了 给软 件 开发 人员 提供 故障 检测和 定位 问题 的帮 助。 • 警告警告 ：：警告 消息 是在 系统 需要 或者 丢失 东西，而 又不 影响 操作 系统 的 情况 下发 生的 。 • 错误错误 ：：错误 日志 消息 是用 来传 达在 计算 机系统 中出 现的 各种 级别的 错 误。例如，操作系统在无法同步缓冲区到磁盘的时候会生成错误信息。 • 警报警报 ：：警报表 明发 生了一 些有 趣的 事，一 般情 况下 ，警报是 属于安 全 设备 和安 全相 关系 统的，但 并不 是硬 性规 定。在 计算 机网 络中 可能 会运 行一 个入 侵防 御系 统 IPS，检查 所有 入站的 流量 。它 将根 据数据 包的 内 容判 断是 否允 许其 进行网 络连 接。如 果 IPS 检测 到一 个恶 意连 接，可 能 会采 取任 何预 先配 置的处 置。 IPS 会记 录下检 测结 果以 及所 采取的 行动。 二、日志数据的传输与收集二、日志数据的传输与收集 计算 机或 者其 他设 备都实 现了 日志 记录 子系统 ，能 够在 确定 有必 要的 时候 生成 日志 消息， 具体 的确 定方 式取决 于设 备。 另外 ，必须 有 一个 用来 接收 和收 集日志 消息 的地 方， 这个地 方一 般被 称为 日志主 机。 日志 主机 是一 个计算 机系 统， 一般 来说可 能是 linux 和 windows 服务 器系 统， 它是 集中收 集日 志消 息的 地方。 1 1、使用、使用 集中集中 日志日志 收收集器集器 的优的优 点点 • • • 可以 集中 存储 从多 个地方 得到 的日 志消 息。 可以 在上 面备 份你 的日志 。 可以 在上 面进 行日 志数据 的分 析。 2 2、、syslogsyslog 协议协议 那么 ，日 志消 息如 何传输 ？最 常见 的方 法是通 过 syslog 协议。 syslog 协议是日 志消息 交换 的一 种标 准。常 见于 Linux 系统 中， 也使 用在 windows 平台 上。 syslog 基本上 都实 现了 客户 端和服 务端 组件 ，两 者之 间通 过用户 数据 报协 议（ UDP）通信 ，但 是为 了可 靠传 输， 很多 开源 和商 业 syslog 实现同 样也支 持传 输控 制协 议（TCP）。 syslog 并不 是传 输和收 集日 志数 据的 唯一机 制。 例如 ，微 软为 windows 开发了 自己的 日志 记录 系统 ，称为 windows 事件 日志 。用 户登 录注 销， 应用 程序消 息等 都以 专有 的格式 存储 。有 开源 和商业 的 应用 程序 用来 将 windows 事件日 志转 换成 syslog 的格式 ，以发 送给 syslog 服务 器。 简单网 络管 理协 议（ SNMP ）是一 种用 来管理 网络 设 备的 基于 标准 的协 议。数 据库 已经 变成 了应用 程序 存储 日志 消息的 简 便途 径。 应用 程序 可以将 它的 日志 消息 写进数 据库 模式 ，而 不是生 成 一条 syslog 消息 。在某 些情 况下 ，syslog 服务 器本 身也 可以直 接写 入 关系 型数 据库 ，特 别是在 结构 化存 储、 分析和 报告 日志 消息 的情况 下 有着 极大 的优 势。 最后， 也有 一些 专有 的日志 记录 格式 。第 三方设 备 和应 用程 序实 现了 用于生 成和 检索 日志 消息的 专有 机制 。在 这个领 域， 供应 商可 能以 C 或者 java 类库 的形式 给你 提供 应用 编程接 口 （API）， 或者 由你 自行 实现 协议 。可 将 windows 事件日 志看 作一 种 专有 格式 ，但 时常 人们将 其看 作非 官方 日志记 录标 准， 类似 syslog ， 因此 这种 方式 很流 行。 3 3、常见、常见 日志日志 协议协议 类类型型 • syslogsyslog ：：基于 UDP 的客 户端 /服务 器协 议。这是最 常见 和普 遍的 日志 记录 机制 。 • SNMPSNMP ：：SNMP 最初是为 了管 理网 络中 的设备 而创 造的 ，然而多年 来 许多 非网 络系 统已 采用 SNMP 作为发 出日志 消息 和其 他状 态类型 数据 的方 式。 • • windowswindows 事件事件 日志日志 ：：微软的 专有 日志 记录格 式。 数据数据 库：库： 以结 构化 的方式 来存 储和 检索 日志消 息。 4、常用 的专 有协 议： • LEALEA：：日志提 取 API 是 Checkpoint用于 从它 的防 火墙 和安 全产品 线 收集 日志 的