前言
面对老而弥坚的海外数据库以及百花齐放的国产数据库,金融行业在面对来自政策监管、性能、业务实时性、快速交付等多方面的压力时,对于底层数据库的转型选择尤为重要。
可以预见,未来几年内将会是决定国产数据库发展的关键阶段。在 YMatrix 看来,数据库融合是未来的大趋势,未来金融行业内部数据库应用的趋势一定是“以超融合数据库为主,多款数据库在相关领域共存”的架构模式。这是由金融行业中愈发复杂的业务特性,以及超融合数据库本身极具包容的能力所决定的。
01 传统金融对数据治理服务的4大需求
- 政策监管压力
经过数十年的积累,以 Oracle 为代表的商业数据库在行业内树大根深,其本身较强的功能黏性、优秀的系统稳定性、良好的软硬适配能力,使得其在金融行业的存量应用仍占据较大的份额。作为国民经济的支柱型产业,金融在国计民生等各个方面发挥着重要的作用。自然,在关键能力方面是否安全可控,就成为了政策监管的“重点对象”。
- 性能容量压力
随着数字化时代的来临,金融服务更加广泛和便利,移动终端用户和交易频次大幅增加。伴随着越来越多第三方系统接入,为应对业务转型带来的高并发、海量数据、超高峰值等挑战,金融核心系统需要提供更高的并发处理能力和海量数据存储能力。传统集中式架构不具备横向扩展能力,难以支撑金融业务规模持续增长。
- 业务实时性的压力
在金融业务中,实时交易所占的比重非常高。如银行转账,证券 K 线图等等,都是非常典型的实时场景。除此之外,为提升应用留存,大多数银行 App 中都含有外卖、美食、快递等金融之外的本地生活业务,对底层数据库的实时计算性能要求更高。而在传统的数据库系统中,数据会分散在不同的数据库中,数据计算需要进行多次的查询和转换,耗费大量时间和资源。
- 快速交付能力
实现新业务的快速上线,已经成为当前金融产品的必备能力。与之相对应的,如何支撑前端如此频繁的业务变更,如何对内部应用之间进行高效解耦,也是考验底层数据平台的能力之一。因此金融企业需要通过简化架构体系来提升整个业务系统的可靠性和性能,同时保持应用的灵活度,以应对业务的快速变化。
02 如何找到适合于自身的数据库
归根结底,数据库是拿来用的,而并非是用来在各个环境中作比较的。只要功能满足用户需要,性能满足业务需要(当然如果运维成本、硬件成本能再低一点就更好了),对于用户而言这就是一款合格的数据库。其它的诸如在绝大多数用户都遇不到的极端环境下测试所出来的性能数据,那对于用户而言这个能力就相当于不存在。
因此,金融企业在选择数据库时,应该遵从以下三个务实的方向:
第一,能快速解决当前问题。数据库需要帮助用户解决当下一系列随之而来的如何用好数据库的问题,如数据如何集成、如何治理、如何面向业务进一步调优等;
第二,符合未来的技术趋势。技术的发展是一个不断迭代的过程,而且由于系统的建设是滞后于技术发展的,可能会造成短期内投入的升级,过一两年又在新技术的冲击下又需要迭代。
第三,具备向上兼容性以及生态开放性。拥有良好的向上兼容性,意味着数据库能够在相对传统的场景中实现高效替换,而不会增加运维人员的额外学习成本,是对于过去历史资产的高效低成本继承。
因此对于用户而言,真正需要做好的是将常用场景下的真实数据同目标数据库做测试分析,抛开营销噱头和夸张的性能数据,将需求落在生产环境当中,这样才能选出真正匹配上层业务应用的数据库。
03 YMatrix 与金融产业的融合优势
- 场景一:超融合与生俱来的选型优势
单独数据库本身,是不会产生任何价值的。只有将数据库与上层业务结合起来,才能对企业产生相对应的价值。不过,目前应用的开发与维护却越来越复杂,上层应用生态愈发“碎片化”。为支撑上层业务运转,底层应用架构的复杂度往往会越来越高。
这就带来了一对矛盾,且两者的矛盾看似无法调和。因为内部技术架构的复杂性,在很大程度上是由底层数据库能支撑多少能力而决定的。一方面,企业需要高性能的底层数据库保证上层应用的稳定运转,就需要针对不同业务特点适配对应的数据库,确保性能最大化,但这样会造成技术栈复杂的局面;另一方面,企业希望在保证上述能力的同时尽可能缩减成本,又要求尽可能少使用数据库来提供面向所有应用的数据存储和处理需求。
在降本增效的大趋势下,如能够在内部仅使用一款数据库,无疑将能够最大限度节省企业在技术层面的硬性成本投入。那么有没有一箭双雕的方法,既能够缓解技术栈复杂的问题,也能够降低企业在数据库层面的成本投入,将数据库的价值最大化?
YMatrix 超融合数据库将多场景、多能力融入到一体数据库之中,使自身具备更强的业务适配性,极大降低了用户运维管理的复杂度。通过 YMatrix 微内核特性,支撑多条业务在数据库内部独立运转,缩短数据流通链路,降低不同数据在不同数据之间流转的成本,以此来精简内部技术栈,提升数据处理效率,使数据价值的展现效率得到大幅提升。
YMatrix 通过数据库一体化,可以实现对数据的统一管理和处理,减少冗余操作,提高数据处理效率。此外,在传统的数据库系统中,往往需要投入大量的人力和物力进行维护和管理,而通过数据库一体化,可以实现自动化的数据管理和维护,减少人力和物力的投入,进而降低成本。
- 场景二:流批一体,强大的写入性能优势
金融本身是数据密集型行业,在经营过程中积累了大量跨周期的业务交易数据。对于金融业的数字化转型而言,过去海量的历史数据,是实现数字化转型的宝贵财富。
尤其在金融风控和反欺诈场景中,不仅需要对用户当前的数据进行快速收集与整理,更要能够在短时间内快速匹配用户此前的一段时间内的信用数据,进而为金融业务提供相对科学的决策依据。
流批一体架构可以将实时数据和历史数据进行统一的处理和分析,以简化数据处理的复杂性和提高数据处理的效率,以满足不同的数据处理需求。YMatrix 为用户提供多种写入方式,通过结合库内的高效性与库外的灵活性,可以实现更全面的数据处理策略。这种方法不仅使得实时数据分析更加高效,还能灵活应对多变的数据需求,有效地提升了数据处理的整体能力。
· MatrixGate
通过数据节点(Segment)并行接入数据的实现方式,性能可随着服务器数量的增加线性扩展,可实现高达亿级数据点/秒的写入速度;
· 持续聚集
持续聚集也就是库内流计算中的一种关键技术,它实时地对不断流入的数据进行聚集处理,例如求和、求平均值、求最大值等。需要注意的是,每次数据新增时,持续聚集会将新增部分的计算结果保存起来;
· 滑动窗口
与持续聚集不同的是 ,它是一段时间窗口内对数据进行聚集处理。当新的数据流入时,时间窗口向前滑动,将最旧的数据排除在窗口之外,同时将最新的数据纳入窗口之内;
持续聚集和滑动窗口彰显了库内流计算在实时数据处理方面的效率和准确性,特别适用于如金融和电信监控等对响应速度要求高的场景。相较之下,库外流计算虽然在数据处理效率上不及库内流计算,但它提供了更大的灵活性和定制化能力,特别适合处理复杂且需要高度定制的数据场景。
- 场景三:HTAP,赋予全场景下的复杂查询优势
对于金融企业而言,许多场景很难通过简单的 OLTP、OLAP 进行划分,事务与分析具有极强的相关性,如个人的明细查询和针对个人收支画像等场景,混合负载的场景成为常态。
因此金融行业对于 HTAP 的需要逐渐增长,通过 OLTP 快速处理信用评估、股票交易等大量的交易数据。同时通过OLAP操作来实时分析市场趋势、风险因素等信息,帮助金融企业做出更快速、更准确的决策。此外,随着行业转型的深入,金融平台正在一步步落实个性化营销,这就要求平台能够对用户行为进行精准分析。
在 YMatrix 看来,HTAP 并非只是 OLAP 和 OLTP 两者的简单叠加。通过在 OLAP 的基础上面向各类复杂事务型业务场景逐步完善的 OLTP 能力,YMatrix 能够同时处理 OLTP 和 OLAP 的工作负载,使得企业可以在事务处理的同时进行数据分析,显著减少了数据在不同系统之间的迁移和转换,实现了数据的采集、存储、处理到分析整个流程的加速。
- 场景四:私有化部署,最大限度保障金融安全
上云,是实现数字化转型的标志之一。但由于金融行业自身业务的特殊性以及相关数据的保密性,公有云并不是一个好的选择。另外,如果本身数据量过大,公有云成本会更高,不如本地部署。
因此,YMatrix 支持用户将整套体系部署在自身私有的网络环境中,如多台物理机、虚拟机、私有云等形式,最大限度保障用户权益。
- 场景五:服务,以 YMatrix 为起点打造用户成功
人才方面,多位工作经历超过十年的资深数据库架构和实施专家,拥有银行,证券,政府,工厂等行业大型项目(PB级)经历,针对 Greenplum、Oracle、SQLserver、MySQL、PostgreSQL 等主流数据库产品的部署、使用、运维、迁移均有丰富经验;
制度层面,YMatrix 通过制定有效的应急手段,当用户遇到临时紧急问题时,YMatrix 售后服务团队能够为用户提供全面、优质的服务保障体系。毕竟好的产品还需要好的服务配合,才能在用户处发挥更大作用。
04 推动国产数据库“从能用,到好用”
金融行业是涉及国计民生的重要行业,因此数据库的稳定性、可靠性尤为重要。但目前,国内尚缺少一套应用于金融领域的数据库标准体系。没有标准来牵制各家厂商的后果,就是不同金融机构的数据库体系不尽相同,对下一阶段的数据统筹管理带来更高难度。
作为超融合理念的提出者,YMatrix 更加关注的是数据库如何更加柔和地嵌入到用户生产流程当中、如何将原始数据、历史数据无感迁移至 YMatrix 系统当中...通过一切手段帮助用户以最低成本打造最高效率的数据治理平台,这正是 YMatrix 定义超融合的价值所在。
希望在下一个阶段到来时,我们不需要让金融行业再重走一遍今天数据库选型与治理的老路。在超融合数据库的标准下,相信一切转型,都会显得水到渠成。