腾讯技术发展记事(202x)
2015-07-05 15:22:49 阿炯

本站赞助商链接,请多关照。 本文主要用于记录腾讯技术发展过程中的事记,截止到2030年前。

为IO密集型行业需求推IO版云数据库
腾讯云七年在全球企业KVM贡献登榜
腾讯官宣:QQ 已实现 “三端同步更新”
向 Linux 内核提交补丁并引入 Swap Table 架构


为IO密集型行业需求推IO版云数据库


2015年7月消息,腾讯云宣布正式推出高IO版云数据库(CDB),经过多年积累,多个迭代的优化,高IO版CDB在性能上提升高达10倍,QPS(每秒查询率)高达37000,领先业界,可以很好地满足游戏、移动应用等IO密集型应用场景,轻松破解自建数据库面临的性能、运维、服务可用性、数据可靠性等方面的问题和瓶颈,为企业提供安全可靠的一体化数据存储服务。

IO性能业界领先,QPS高达37000

无论是游戏还是APP应用,用户爆发、访问激增的情况往往比较常见。这个时候,数据库能抗住多大的请求量就直接决定了服务质量。自建数据库往往通常由于磁盘、内存等限制,性能很容易出现瓶颈,难以满足业务高速增长的需求。

与业内一些采用SATA、SAS接口,或者使用PCI-E SSD作为缓存的业界其他云厂商的关系数据库不同,腾讯云RDS主备机完全采用PCI-E SSD,并且在PCI-E SSD中自带动态RAID5,既能保证数据在Flash颗粒层面的安全性,又能保证数据的读写性能。腾讯云CDB使用的存储,在裸盘测试下,顺序混合读写(1:1)可以达到3000MB/s,随机混合读写在1500MB/s左右。这样的磁盘性能确保了全新版腾讯云CDB可以提供高达37000的QPS,远远领先业界,能够很好地满足IO密集型企业客户需求。此外,腾讯云新版CDB将最大实例提升到1000G,适用范围更广泛。

滴滴打车是腾讯云CDB的用户。在2014年初的补贴大战中,滴滴打车的用户从2200万增长到1亿,订单量激增10倍以上,远超预期。面临突增的高并发数据请求,之前的架构无法满足需求,很多乘客订单请求得不到响应。紧急情况下,滴滴打车接入腾讯云,在CDB一主多从、高性能以及专业运维的SQL优化建议的帮助下,滴滴打车数据库服务趋于稳定,为高速发展及海量订单提供有力保障。

5天任意节点回档,支持多从机只读功能

在游戏运营中,回档是一个常见的需求,例如游戏有Bug,或者道具等出现了问题,就需要回到某个时间点。自建CDB想要实现这个能力,一来是麻烦,二来是代价大,三来还容易出错。

腾讯云高IO版CDB针对用户需求,结合自身多年运营经验,利用冷备数据进行多种不同级别的回档,保证5天内数据可以任意时间点回档,提供99.9996%的高可靠性。对于不同复杂程度的表结构,腾讯云CDB有不同的回档时间,例如,对于一个索引较多,单条数据长度小于1KB的10G数据回档时间大约为20分钟。

此外,腾讯云CDB还提供多从机只读的功能。用户购买主机时,可以同时选择从机购买,也可以在已有的实例上添加从机器。这些从机器将会自动的从主机同步数据,保证多份数据一致。一个主机多个从机的形式,不仅极大的提高了并发读取能力,而且扩容、升级、故障迁移均不影响业务,万一发生主机宕机的意外,3分钟内就可以切换到从机,最大程度的保证服务可用性。

支持批量导入导出,提供完善的监控和告警服务

依然以游戏为例,在游戏开服或初始化时,往往需要用脚本方式来批量创建和设定数据库的配置,费时费力。腾讯云CDB支持灵活选择实例,选择数据库,提供批量导入功能,可以确保快速部署好服务。当开发者需要将数据导出以便降冷保存,可以选择批量导出功能。

最近互联网安全事件频发,数据安全问题引发高度重视。常规的监控通常只提供简单的读写分析、CPU、内存等,对数据库缺乏深入的把握,难以保证数据的安全可靠。腾讯云全新CDB提供磁盘IO、网络流量、CPU使用情况、连接、查询、慢查询、主从同步、数据备份等多个维度的关键数据监控和统计,且开发者可以根据自己感兴趣的参数配置告警,完善的监控和告警机制,让每个使用腾讯云CDB的用户,都享受最顶尖最强大的数据保护能力。腾讯云CDB监控将会加入引擎缓存的命中率,脏页比率等细节数据,为开发者提供更细致的判断依据。

不仅如此,全新升级后的腾讯云CDB还提供多种接入方式,支持外网访问和VPC网络,开发者可方便地将云数据与IDC、私有云或其他计算机资源互联,轻松应用于混合云环境。今年4月,国内知名在线外卖订餐平台饿了么接入腾讯云CDB,并部署多套一主多从系统,腾讯云CDB顺利通过QPS 35000的高并发验证。此外饿了么还通过VPN联通外部IDC和腾讯云CDB之间的数据,实施完善的监控告警,保证数据的高可用性。

据介绍,腾讯云CDB还将于近期推出自定义参数配置、立体化监控告警、数据库迁移工具等,进一步强化MYSQL的易用性、安全性和可运维性。此外,为回馈开发者对腾讯云的支持,高IO版CDB上线的同时,腾讯云还推出了系列优惠活动,包括6元半年抢先用、5折机型任意选,大客户免费测等。有需要的开发者不妨关注一下活动链接


腾讯云七年在全球企业KVM贡献登榜

2023年6月中旬消息,在全球虚拟化顶级技术峰会 KVM Forum 上,本年度全球企业 KVM 开源贡献榜正式发布。腾讯云成为中国唯一连续七年入围的云厂商。作为云计算的关键底层技术,云厂商需要利用 KVM 对物理机进行虚拟化,提供云端的池化算力。作为 KVM 虚拟化社区最重要、最权威的大会。本届 KVM Forum 大会在捷克举办,会上再次发布全球企业 KVM 开源贡献榜,衡量企业在 KVM 领域的技术实力和开源贡献。作为唯一连续 7 年进入该榜单、也是贡献值最高的中国企业,腾讯云今年共贡献 30 项 patch,及中国企业唯一的 “核心突破”。七年来,腾讯云累计贡献 310 项 patch、核心突破 11 项。


腾讯云 PMU improvements 方案被评为 KVM 年度核心突破

腾讯云自研的 PMU improvements 方案,被评为 KVM 2023年度核心突破。这一方案在虚拟机上成功实现了对 PerfMonV2 的支持,既减少了虚拟化的开销,又在多个虚拟机并行使用时提高了准确性。如今该方案的核心框架已被贡献给开源社区,并得到业界的广泛认可与测试。借助腾讯云自研的虚拟化技术,开发者现已能够通过代码级硬件性能数据,深入探索业务性能变化,找出并解决性能瓶颈,从而提升整体运行效率并降低计算成本。

在 2023 年 KVM Forum 上,腾讯云团队还发表了题为《Live control of (most) CPU features via hybrid vCPU model》的演讲,分享了当虚拟机从旧 CPU 型号主机迁移到新主机时,通过支持混合 vCPU 型号,可以在云上实现实时特性的切换或回退,从而充分利用新主机的功能。这种解决方案已在虚拟化社区中得到广泛认可,有助于优化虚拟机性能并克服迁移过程中的潜在障碍。此外腾讯云还基于 cloud-hypervisor,打造了 cube 轻量级虚拟化产品。为业务提供高性能、低开销、高密度运行环境。设计了从主机 OS,虚拟化,虚拟机 OS 整套优化方案。另外Cube 还针对快照方案进行了技术栈深度优化,引入多项关键功能,将启动速度进一步提升,使得轻量级场景下的虚拟机运行更加迅速。通过这些优化,Cube 在有限空间内,能提供高性能、低开销的解决方案。

作为国内最早拥抱 KVM 技术的云计算厂商,腾讯云从 2013 年开始全面采用开源社区支持的 KVM 技术;2014 年起,腾讯云云服务器 CVM 已全部基于 KVM 技术生产,并于同年开始向 KVM 社区贡献成果。多年来,腾讯云先后将热迁移、虚拟化层降耗、轻量级虚拟化技术等多项前沿技术贡献给开源社区。作为 Linux 内核的核心模块,KVM 领域的技术突破,也意味着中国企业在操作系统社区走向上游。

腾讯云相关负责人表示,未来腾讯云将继续拥抱虚拟化领域的变化,一方面通过持续创新解决腾讯云线上遇到的各种挑战并将产出反馈给社区,另一方面探索云计算领域的新技术,做好前沿技术的预研和积累,坚定不移地持续为虚拟化开源社区做出贡献。

腾讯官宣:QQ 已实现 “三端同步更新”

腾讯官方在2023年9月宣布QQ已实现 “三端同步更新”(Windows、Linux 和 Mac),并且未来也会继续执行 “三端同步更新” 的策略。与另外两个版本相比,目前 Linux 版 QQ 的功能比较欠缺。对此QQ开发团队表示正在全力赶上。Windows 系统有的,Linux 系统早晚都会有,真正做到三端统一。从《Electron发展记事(202x)》中也可得知其将采用该发展模式。同时宣布 Linux 版 QQ 正式发布 3.2 版本,其相关的改进如下:
1.新增夜间模式并支持跟随系统,享受更沉浸的聊天体验;
2.新增 QQ 截图能力,快捷方便,提升办公效率;
3.新增群应用功能,图片、文件轻松传送,群聊更高效;
4.新增全局搜索能力,进一步提升内容搜索效率。
5.修复若干已知 bug。

向 Linux 内核提交补丁并引入 Swap Table 架构

腾讯工程师 Kairui Song 2025年8月向 Linux 内核邮件列表提交了新补丁,提议引入新架构 Swap Table—— 将 swap cache、swap 映射和 swap 分配器整合在一起,成为新的后端基础设施。

据介绍,最新的 Phase I 补丁共包含 9 个改动,已经展现出明显成效。在多项测试中,无论是小型 ARM 设备还是大型 x86_64 服务器,性能均有提升:
1.整体加速约 5%–20%;
2.在虚拟机可扩展性场景下,部分测试提升超过 20%;
3.内核构建时间缩短数个百分点;
4.Redis、Valkey 等内存数据库吞吐量提升 6%–7%。

这项优化不仅带来了更高吞吐与更低延迟,还减少了内存占用,为后续扩展和功能优化奠定了基础。事实上,今年 5 月的第一轮 Swap Table 补丁已经显示过 20–30% 的性能增益,此次进一步强化了该方向的潜力。尽管部分开发者认为现代系统往往减少或关闭 swap 使用,但社区普遍认可该改进对高负载场景与虚拟化环境的价值。随着补丁的逐步推进,这一优化有望在未来的 Linux 内核中成为默认机制,为系统带来更稳定、更高效的内存管理能力。