批处理
批处理
该主题还没有描述
热点
来自主题:分布式数据库 · 2020-05-27
Dingk张家港行 擅长领域:分布式数据库, TDSQL
6 会员关注
分两部分,一是将批处理交易化,借助于分布式数据库带来的高并发能力,快速批量处理,这方面需要应用支持,像我行的核心日终处理根据分布式特点,采用shardkey进行批次拆分,不同执行器抓取不同数据,任务分配到各个执行器执行,极大的提高了跑批效率。另一部分是传统批处理,批量更新从设计...
浏览3321
回答1
来自主题:容器云 · 2020-03-04
东风微鸣大地保险 擅长领域:Kubernetes, OpenShift, 容器云
4 会员关注
众所周知,Kubernetes(K8S)更适合运行无状态应用,但是除了无状态应用.我们还会有很多其他应用类型,如:有状态应用,批处理,监控代理(每台主机上都得跑),更复杂的应用(如:hadoop生态...).那么这些应用可以在K8S上运行么?如何配置?其实,K8S针对这些都有对应的不同的运行方式....(more)
浏览1600
来自主题:spark · 2017-08-18
哈杜普百度 擅长领域:大数据, Flink, 流处理
29 会员关注
前言说起大数据处理,一切都起源于Google公司的经典论文:《MapReduce:SimpliedDataProcessingonLargeClusters》。在当时(2000年左右),由于网页数量急剧增加,Google公司内部平时要编写很多的程序来处理大量的原始数据:爬虫爬到的网页、网页请求日志;计算各种类型的派生数据:倒排索...(more)
浏览5121
  • 提问题