Teradata高可用性技术综述

Teradata高可用性技术综述 Teradata高可用性技术介绍 Teradata高可用性技术综述 Teradata作为专业的数据仓库提供商，经过数十年的发展，在数据仓库行业中积累了丰 富的建设经验和成功案例，著名的国际评测机构Gartner Group在对数据仓库提供厂商进 行的硬件、软件评测中，Teradata连接九年综合排名第一。 高可用性作为Teradata数据仓库最显著的特点之一，在数据仓库的建设中一直发挥着 举足轻重的作用。同时，经过多年的技术积累和发展，Teradata在高可用性方面提供了多 技术保障，并提供完整的解决方案。 Teradata根据高可用性级别的不同，提供了工个层次不同级别的可用性的技术保障，在 每种层次中又提供了不同的保障技术。 1. Teradata提供的缺省方案 缺省的高可用性方案是Teradata的数据仓库体系架构所决定的一种与生俱来的特征， 也是Teradata硬件、软件集成后 所产生的一种高附加值的效能。 右图所示是Teradata数据仓库的一种典 型架构。在这种架构体系中，从系统级别、应 用软件级别、工作负载级别都提供不同的高可 用性技术保障。 双活动的 Teradata 最佳方案 可选方案 系统 热备A 备份 r技术/ 点技术、 1复技术 磁盘阵列 RAID技术 Clique 技术 缺省方案 硬件冗 余技术 Dual Teradata BYNET Interconnects SMP Nodex SMP Node3 SMP Node y SMP Node Server Mncncamact* 第1页共10页Teradata高可用性技术介绍 i.i硬件冗余技术 在Teradata的架构中，所有硬件产品都是冗余配置，任何一个部件的故障都不会影响 到系统的正常运行，在硬件冗余技术上，主要有以下几个方面的体现 BYENT网络 BYENT网络是Teradata专有的一种节点信息交换的私有网络，可以通 过多个SMP节点之间的两两互连实现MPP的网络，客户端不能直接访问它，同时，依靠 BYNET软硬件技术保证信息传输的可靠性，因此节点之间的数据传输非常快，是同类网络 中速度最快的一种传输方式。目前，Teradata最新的BYNET V3,单向链路之间的数据传 输速率可达90MB/so BYNET具有两种信息传递机制，即点对点信息传输和信息广播。广播 技术在节点互联中非常重要，通过它可以更好地实现节点间并行处理。目前市场上主要 有三种节点互连技术，BYNET是唯一具有信息广播功能的，也是唯一通过硬件来保证信息 的可靠传输的。 在Teradata数据仓库架构中，BYNET交换机都是双机配置，每个节点 都通过BYNET卡分别连接到两台BYNET交换机上，实现冗余功能，而且还可以实现节点 之间的负载均衡，并能侦测链路之间的连接状态，做到隔离故障恢复故障的功能。 电源保护 在Teradata的体系架构中，包括从节点机柜、磁盘阵列机柜、BYNET 机柜、备份机柜等每个单独的机柜都有冗余电源保护，其中包括双路AC电源的输入， 35路UPS断电保护，可以保证系统在意外断电的情况下，能够有序的关机，而不会造成 系统数据的丢失。 磁盘阵列保护 磁盘阵列的保护上，除了机柜本身自有的电源冗余保护外，在数据保护 数据层级上，还包括了双磁盘阵列控制器，保证了每台磁盘阵列到节点都有 第2页共10页Teradata高可用性技术介绍 不同的链接路径，从而实现控制和链路的双冗余，可以实现任何一条链路的意外中断都 不会影响正常的数据传输。另外，还有磁盘组成的RAID组，保证磁盘故障时系统业务不 中断。 节点保护 在节点层级上，节点机柜本身的电源保护外，节点的配置还提供了双磁 盘，组成RAID1镜像提供操作系统的保护。另外，在节点的管理上，提供了双路连接到 机柜的管理交换机，到磁盘阵列的连接上，提供了多口光纤通道卡，保证与磁盘阵列的多 路冗余。另外，对外的接口，可以根据用户的实际需求，提供双口的光纤或普通网卡。 1. 2 RAID保护技术 RAID,为Redundant Arrays of Independent Disks的简称，中文为廉价冗余磁盘阵 列。作为高性能的存储系统，已经得到了越来越广泛的应用。RAID的级别从RAID概念的 提出到现在，已经发展了多个级别，有明确标准级别分别是0、1、2、3、4、5等。但是 最常用的是0、1、5 W个级别。其它还有6、7、10、30、50等。RAID的使用增加了执行 效率，提供了系统运行的稳定性。 当主机将一个待写入阵列RAID组中的数据发送到阵列时，阵列控制器将该数据保存在 缓存中并立即报告主机该数据的写入工作已完成。该数据写入到阵列硬盘的工作由阵列控 制器完成，该数据可继续存放在Cache中直到Cache满，而且要为新数据腾出空间而必须 刷新时或阵列需停机时，控制器会及时将该数据从Cache写入阵列硬盘中。 这种缓存回写技术使得主机不必等待RAID校验计算过程的完成，即可处理下一个读写 任务，这样，主机的读写效率大为增加。当主机命令将一个数据写入硬盘，则阵列控制器 将该数据写入缓存最上面的位置，只有新数据才会被控制器按Write-Back Cache的方式 最后写入硬盘。 RAID Level 通俗叫法 描述 阵列容量 数据可 靠性 1 磁盘镜像 每个匚作盘都有一个镜像盘,每次写数据时必须 同时弓入镜像盘，读数据时只从「作盘读出. H」作盘发生故障立即转入镜像盘,从镜像盘中 读出数据。 1 disks IE常高 5 不需旋转 是按某种加则把奇偶校验信息均匀地分布在的 列所词的硬盘I,所以在每块硬席I,既有数据 信息也有校验信息 N-1*disk s 高 第3页共10页Teradata高可用性技术介绍 在相同数据容量的前提下，采用RAID1通常比采用RAID5性能会提高20左右。在写操 作中，RAID5所消耗的缓存资源是RAID1的3倍左右。因此在大量数据写操作中，控制器 的内存将会成为系统的资源瓶颈。 在银行业的数据仓库中，写操作非常多，大量的写操作使得RAID1成为数据文件阵列的 最好选择，RAID1所能带来的性能优化在写操作中可以非常好的体现出来，而RAID5的写 操作比较慢，造成I/O瓶颈，因此目前几乎所有银行客户在生产环境都采用了 RAIDE在 电信业的数据仓库中，对于I/O的要求会相对小一些，安全性要求也比银行低一些，因此 会有部分的电信用户采用RAID5。 任何一块硬盘的损坏，对于RAID1来说，都不会影响系统的正常运行，此时系统转向其 镜像硬盘继续读取数据。RIAD1甚至可以在有一半硬盘出现问题的不间断的工作（出现故 障的硬盘在不同的RAID组，当然这种情况属于小概率事件）。RAID5 X能容忍