一个数据库文件引发的全美航班停飞事件

当地时间1月11日，美国联邦航空管理局（FAA）发布停飞命令，短暂停止了境内所有航班起飞，停飞时长达90分钟，造成超过9700个航班延误，超过1300个航班被取消。

如此大规模事件的“罪魁祸首”是航空任务通知系统NOTAM的一个数据库文件发生了损坏，该系统用于向参与飞行操作的人员提供关键安全操作信息通知。

据了解，当前NOTAM系统太过老旧，但对其进行现代化改造又很痛苦，美国联邦航空局一直在努力更新NOTAM，预计两年内无法完成。而数据库是IT系统改造中的重中之重，正常运转时很容易让人忽视它的存在，但是一旦掉了链子，产生的损失难以估量。此次黑天鹅事件也再次印证一款安全可控、高可用、提供多重容灾机制的数据库对保障业务系统连续性来说是至关重要的。

随着互联网时代的快速发展，企业的在线业务量也随之骤增，海量的数据访问和存储压力已经触达了传统集中式数据库的能力边界，与美国联邦航空局一样，国内企业的IT架构也面临数字化转型升级，不同的是，国内企业拥有更多优质选择。

腾讯云国产企业级分布式数据库TDSQL，核心代码自研率100%，管理超过50万个节点，金融级容灾要求下，单实例存储规模达到PB级别，单实例日请求次数超百亿次，助力行业用户开启分布式技术时代。截至2022年底，TDSQL服务客户资源完成百万核和百PB的“双百”里程碑。

此次停飞事件，归根结底是因为NOTAM系统在数据保护机制和容灾方案方面存在漏洞，这事儿搁在TDSQL身上有充足的预防和应对措施。

保护好用户的每一份数据，是TDSQL的“立库之本”。TDSQL支持多重复杂场景的容灾切换，包括机器掉电、重启、硬盘热插拔、磁盘数据文件损坏、网络隔离等上百种异常场景。同时在容灾部署上，支持同中心跨机架、同城多中心多活、两地三中心异地容灾等不同保护等级的容灾部署方式，保证数据副本的可靠性和一致性。另外TDSQL通过丰富的备份策略、回收站等增强功能，加强各种故障场景下的服务恢复能力。

TDSQL架构

故障场景下，TDSQL提供多维度的容灾机制和故障恢复能力，覆盖从故障检测机制，到全自动处理故障，再到数据备份恢复的全过程，同城多活和异地灾备可在极端情况发生的第一时间完成切换，保证业务系统的稳定性和连续性。TDSQL拥有七大“救命”法宝：

1.  数据文件损坏检测机制

TDSQL支持多维度的数据文件损坏检测机制，一方面通过innodb数据页checksum校验机制发现文件损坏/磁盘坏块，另一方面通过磁盘设备驱动进行磁盘坏块检测，感知SSD存储设备的健康状况。此外还通过模拟用户请求在数据库DML维度上检测数据库的可读写状态，感知数据库服务故障。

2.  掉电保护和故障恢复

TDSQL的存储节点基于MySQL原生innodb存储引擎，基于innodb的WAL技术保证每笔数据页的修改都会先记录redo日志，在发生掉电或者重启时通过redo和binlog进行恢复操作保证数据的完整性。结合TDSQL的强同步和HA切换机制，避免单主机/单机架/单机房故障掉电场景下发生数据丢失和服务不可用。

3.  自动化的故障发现和处理

基于腾讯内外部的海量运维实践及现网大量的故障case，TDSQL积累了丰富的经验并抽象成故障发现模板，针对特殊极端故障，如间隙性故障、周期性故障、易误判类故障等各场景提供完善的告警和处理流程机制。

4.  数据重建能力

TDSQL支持多种数据重建方式，通过物理重做备机、逻辑重做备机，能够在不影响业务的情况下基于有效副本快速修复故障副本。同时TDSQL还支持定点闪回等能力，基于时间点、事务ID、事务日志等信息，进行一定范围内的数据反向回滚。

5.  完善的备份恢复机制

TDSQL支持数据库物理全量/增量备份、逻辑实例/库表级备份等多种备份策略，帮助业务基于不同的存储介质、网络条件以及灾备等级下，快速有效完成数据的恢复。此外，TDSQL还具备库表回收站、历史快照查询等增强功能，帮助用户快速处理现网故障。

6.  同城多活

TDSQL支持同城跨机房容灾，并支持基于raft协议的选举策略，允许在master宕机和“满足多数派条件下若干slave宕机”的同时仍能够发起切换，且保证RPO为0，RTO≤30s。

7.  异地灾备

TDSQL具备跨地域容灾能力，并支持主动、被动两种切换方式，主动模式下RPO为0，RTO≤30s。

数据库作为现代信息系统建设中不可或缺的核心基础软件，在各行业均有广泛应用，尤其金融行业，对数据库的数据一致性、高可用、稳定性、高可靠、运维效率等方面的要求极为苛刻。目前，腾讯云数据库TDSQL已经被3000多家来自金融、公共服务和电信等垂直行业客户采用，服务超过20家金融机构完成核心系统替换，中国十大银行中的七家都应用了TDSQL，在TOP 20银行中服务过半。

不忘初心牢记使命，TDSQL未来将在产品能力和质量上持续不断提升，助力各行业用户进行数字化转型。

﹀

﹀

﹀

-- 更多精彩 --

腾讯云数据库：用一张成绩单和2022说再见！

客户心声｜国信证券的一场国产化探索

↓↓点击阅读原文，了解更多优惠