您好,同事通知我来这看看您的需求,所以才刚注册的账号。
老师提出的需求,有很多方面与我司的数据分析平台重叠,希望有机会能当面交流。
针对题主老师提出的需求,我尝试逐一解答。
1. 数据集成
首先应具备数据采集的能力,题主提到,目前已经具备了基础设施(ITIM,如主机、存储)、应用系统(NPM旁路监控)、中间件、日志、数据库的监控工具。 所以接下来的问题是将如上数据进行统一的接收集成,博睿的数据分析平台目前具备ITIM、NPM、APM、DEM(用户体验管理)等数据的接收能力,其他没提到如针对系统软件、日志、数据库、监控数据的接收处理,有可能需要对数据格式进行适配。
2. 数据处理 & 数据分析
数据接入平台后,博睿Ants(蚁群)是数据的预处理层,采用ETL实现(流式计算),之后由博睿Zeus( 结构化数据,包含日志数据 )和博睿BRFS(非结构化数据,如图片、语音、快照数据,10亿量级)做数据的存储。
3. 数据分析
数据经由清洗及存储后,可由博睿DPL(Data Process Language)按需求场景对数据进行组合查询,类似标准SQL语句,支持多条件组合过滤和分组统计、多种分析算子函数及关键字后缀模糊匹配检索等功能,为用户提供便捷的统一数据分析接口。
4. 数据消费(数据服务、数据展示、数据统计)
上层展示由博睿DataView实现,支持自定义Dashboard、大屏,拖拽图表,展示形式灵活,所见即所得。
其实题主提出的需求,是很多企业都想做的事情,我们的产品架构也基本与题主的逻辑相同,博睿目前已经实现了1.0版本,部分模块正在某大型股份制银行进行交付。
有些细节没提到的地方,有机会的话可以与您组织线下技术交流,我的联系方式是18510652080.