某新能源汽车项目中DPF如何规划？
目前正在做一个DPF规划的设计文档，自己目前还在摸索中，所以询问如何利用DPF做合理的设计。大致需求如下。这是一个新能源汽车的项目，通俗理解电动车，厂家需要在其出厂的电动车中通过TCU采集数据，TCU每隔三秒采集一次数据并上传。数据为DB2 10TCU_原始数据表（TCU_DATA 表巨大，每...显示全部
查看其它 6 个回答mdkii的回答
你的数据模型不复杂就是数据量比较大。
建议你还是把数据分分层。比如一年内的数据放到dpf中，1年外的数据放在更廉价的平台上比如 hdfs或hbase中。这样可以控制好dpf的规模，dpf扩展起来代价比较高。
在做物理模型设计的时候定好hash 键，用最常用的关联字段做hash键比较合适，比如你这里的vin字段。TCU的那些表用日期做分区，考虑到按时间段汇总，可以在日期字段上再间建个分区索引。
DPF规划关键就是要定好分区数。你可以先估计出大概一年后的数据量是多少，然后按500G一个分区的标准定好分区数（考虑到你的车辆是逐步增加的，为了减少扩容次数，一开始分区数定得多些比较好）。再按一个分区配1core~2core、8~16G内存的标准定好cpu和内存的需求，基本上就能预估出硬件资源了。