TPC-C 性能测试基准,国产数据库到底跟不跟?

TPC-C 是数据库选型时权威的性能测试基准之一,能直观反映软硬件性能。但费用也不低,国产库中也就OB花费重金做过两次性能测试,其他国产库并没有跟风,个人估计有两个可能性:

1. TPC-C性能测试费用不菲,不是每个数据库厂商都有人力、财力去搞一把;

2. TPC-C偏向OLTP类性能测试,数据库种类繁多(SQL、NoSQL、NewSQL),也有诸如图形、时序等类型方向,也有HTAP发展趋势,TPC-C存在不适用性。

但TPC-C 毕竟是数据库选型时的一种权威性能测试基准,具体代表性,在面向数据库性能测试时并没有一把统一的尺子去测量各类国产库,国内用户在选型时的性能测试也会遵从各自业务特点,存在测试团队精力有限、测试能力欠缺、测试场景不充足。在国际大背景下,急需一套测试国标测试基准;且这套标准为具有客观、公正特点,须有超脱数据库厂商和用户、又不能脱离厂商和用户的更高一层力量来主导和不断迭代修正严谨。

值得欣慰的是这样的力量已经在推动过程中,相信待发布后会对国产库的发展起到推波助澜作用。但在没出测试基准国标之前,国产库各厂商为了自身发展,到底跟不跟进TPC-C 性能基准测试呐?

参与58

7同行回答

waring_idwaring_id技术经理某公司
当前情况下,分布式系统架构和硬件的发展已经大大超出了软件优化带来的指标值。按照跑分的逻辑,很大的因素是取决于硬件设备,软件的优势体现不明显。估计这也是后面很少有厂家参与的原因。跑分值可以参考,但是实际应用还是要结合业务场景综合评估...显示全部

当前情况下,分布式系统架构和硬件的发展已经大大超出了软件优化带来的指标值。按照跑分的逻辑,很大的因素是取决于硬件设备,软件的优势体现不明显。估计这也是后面很少有厂家参与的原因。
跑分值可以参考,但是实际应用还是要结合业务场景综合评估

收起
零售/批发 · 2023-08-18
浏览522
flywiththewindflywiththewind其它easy world
先把产品做好,再去打榜TPCC。再有客户挑选产品又不只看tpcc,打铁还需自身硬。显示全部

先把产品做好,再去打榜TPCC。
再有客户挑选产品又不只看tpcc,打铁还需自身硬。

收起
系统集成 · 2023-08-04
光洋山光洋山数据库架构师金融科技公司
看真实业务场景和TPCC模型是否相似,如果相似是可以参考TPC-C测试数据,如果不是还是要以真实业务场景来测试。TPC-C打榜是数据库厂商的竞争,后来演变为市场广告了。如果是数据库选型,没有必要去测试TPC-C,也没有必要参考TPC-C打榜数据。对于数据库厂商还是可以做一做的,毕竟性能...显示全部

看真实业务场景和TPCC模型是否相似,如果相似是可以参考TPC-C测试数据,如果不是还是要以真实业务场景来测试。

TPC-C打榜是数据库厂商的竞争,后来演变为市场广告了。如果是数据库选型,没有必要去测试TPC-C,也没有必要参考TPC-C打榜数据。
对于数据库厂商还是可以做一做的,毕竟性能指标好衡量好宣传,对于小厂那就别想打榜了,一个TPC-C打榜成本超过千万,或者数千万,有这么多钱,把产品的有优化器做做,稳定性做做,工具做做。

分布式数据库厂商在打榜的时候可以把TPC-C测试工具优化到要多少就能达到多少,和产品性能无关了,堆机器就能达到你想要的数字。

收起
软件开发 · 2023-07-10
浏览721
oltponeoltpone业务咨询顾问null
基准测试大部分和硬件有关,主要是 费用不菲 的因素更多数据库毕竟是跑业务的,最好是在同一个版本代码的业务上跑业务性能测试显示全部

基准测试大部分和硬件有关,主要是 费用不菲 的因素更多

数据库毕竟是跑业务的,最好是在同一个版本代码的业务上跑业务性能测试

收起
IT其它 · 2023-02-27
浏览1098
hanfeng_twthanfeng_twt数据库架构师SphereEx
跑分代表部分技术能力,但不代表全部,理性看待跑分数据。针对用户更为有价值的是结合业务场景的跑分结果。TPC-C 可作为准入参考,达到一定数值即可,不用追求更高。显示全部

跑分代表部分技术能力,但不代表全部,理性看待跑分数据。针对用户更为有价值的是结合业务场景的跑分结果。TPC-C 可作为准入参考,达到一定数值即可,不用追求更高。

收起
金融其它 · 2023-02-20
  • 匿名用户
    赞同韩老师的观点,一方面跑分代表技术能力和产品能力,另一方面也是检验真正 满足业务高并发需求的场景是否能够有足够的性能支撑、方便弹性扩、缩容以达成资源利用率最大化的目标,毕竟金融行业虽然都是几千亿的资产,但实际上各行对IT的投入上还是比较有限,特别是中小银行! 1. 兼容性如何,涉及到现有应用的改造成本,特别是很多老旧的系统可能连原来的开发团队都找不到了,或者是与原来的Oracle、DB2深度绑定,改造成本极高,如果要通过大量改应用去适配数据库或者是重新开发应用那成本代价就太大了 2. 要看未来3-5年,甚至8-10年的整体成本,特别是现在很多基于MySQL、PG做二次研发的国产数据库,可能一开始的价格便宜,但是当业务量上来后,对资源的消耗、对运维的投入以及对应用的修改都会带来极大的挑战,不是贵就好也不是便宜就好,而是要看整体拥有成本,做过测算才能说明哪个数据库最优
    2023-02-27
twt大禹twt大禹数据库架构师大禹
国内基于Mysql、postgreSQL魔改品有厂商曾经尝试参与TPC-C的测试,结果测试结果满头包;在遇到OceanBase参与的测试中,多次出现厂商造假tpc-c数据的情况;金融同业要特别注意,mysql、postgreSQL的魔改厂,这方面性能成绩太差,已开始用下三路的手段了。   那你说说看,国产厂商要不...显示全部

国内基于Mysql、postgreSQL魔改品有厂商曾经尝试参与TPC-C的测试,结果测试结果满头包;在遇到OceanBase参与的测试中,多次出现厂商造假tpc-c数据的情况;金融同业要特别注意,mysql、postgreSQL的魔改厂,这方面性能成绩太差,已开始用下三路的手段了。
   那你说说看,国产厂商要不要跟进tpc-C测试呢? 是不想跟进,还是不能跟进。用国外开源数据库打败国外商业数据库,你觉得可能吗?
当金融行业的关键业务系统跑在包皮的国外开源数据库上,那是系统性风险 还是 非系统性风险呢? 中国国家计算机安全管理中心发布,任何使用美国的代码或者软件 都有可能存在潜在后门,你怎么看?

收起
银行 · 2023-02-19
浏览1176
匿名用户匿名用户
参考OB的情况,如下:1、OceanBase 积累九年多才正式参与 TPC-C 打榜,仅仅认证过程就花费超过半年时间。2、大家关注的往往都是榜单的前几名,Oracle、DB2 和 SQL Server 这三家公司把 TPC-C 性能测得太高了,导致其他厂商基本没有机会进入 TPC-C 榜单前几名,与其测出普通的结果,还...显示全部

参考OB的情况,如下:
1、OceanBase 积累九年多才正式参与 TPC-C 打榜,仅仅认证过程就花费超过半年时间。

2、大家关注的往往都是榜单的前几名,Oracle、DB2 和 SQL Server 这三家公司把 TPC-C 性能测得太高了,导致其他厂商基本没有机会进入 TPC-C 榜单前几名,与其测出普通的结果,还不如干脆保持“神秘”。

3、TPC-C 测试需要考察三年软硬件总费用,如果采用独立部署的模式,需要购买全部硬件,例如 Oracle 测试的硬件总体成本大约 3000 多万美金,绝大多数商业公司都是玩不起的。

以上是OB的情况, 战线很长,期间要耗费大量人力物力财力,国产厂商目前主要精力都还花在开拓市场上,首先要保证自己能够经历大浪淘沙后还能存活下来,这半年的时间足以决定一家公司的存活问题,用这么长时间,花费这么多费用搞测试还是很需要实力支撑的。

当然如果真的搞测试,那只能说明实力足够支撑,同时也是自信的体现,当年某安全厂商入选Gantner时也很让人欢欣鼓舞,虽然处于第四象限,但是也是实力的体现。但是这种实力的体现到底能带来多少营收,也是需要打一个问号的。

毕竟,先填饱了肚子,才能考虑追求“精神食粮”,所以我个人认为目前国产厂商大多是不会跟进的,但是也相信早晚有一天会拿出“亮剑”精神去打榜的。

收起
银行 · 2023-01-29
浏览1563

ChatGPT 回答

在数据库选型时,TPC-C确实是一个权威的性能测试基准之一,但是由于费用较高,不是每个数据库厂商都有人力、财力去搞一把。此外,TPC-C偏向OLTP类性能测试,而数据库种类繁多,也有其他类型方向,如图形、时序等类型方向,也有HTAP发展趋势,TPC-C存在不适用性。因此,国产库中并不是每个厂商都会跟进TPC-C性能基准测试。

在国内用户选型时,性能测试也会遵从各自业务特点,存在测试团队精力有限、测试能力欠缺、测试场景不充足等问题。因此,国际大背景下,确实需要一套测试国标测试基准,这套标准需要具有客观、公正特点,须有超脱数据库厂商和用户、又不能脱离厂商和用户的更高一层力量来主导和不断迭代修正严谨。

目前,这样的力量已经在推动过程中,相信待发布后会对国产库的发展起到推波助澜作用。但在没出测试基准国标之前,国产库各厂商为了自身发展,可以根据自身业务特点和用户需求,选择合适的性能测试基准进行测试,并不一定非要跟进TPC-C性能基准测试。

提问者

Ethan_Yang
技术架构师某金融司
擅长领域: 数据库灾备人工智能

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2023-01-29
  • 关注会员:9 人
  • 问题浏览:4597
  • 最近回答:2023-08-18
  • X社区推广