（1）如果数据采集过程中使用Kafka进行传输，可使用Kafka Web Conslole、Kafka Manager和KafkaOffsetMonitor等工具查看生产者和消费者等流量、Topic的延时等信息。（2）如果使用RabbitMQ作为消息队列，在RabbitMQ Web控制台中监测Unacked数据项。当该项数值大于0时，表示消息积压。...

数据采集是做大数据分析的第一环，也是非常重要的一环，为上层应用不断地提供数据养料。做大数据分析常用的数据来源包括以下几种：1） 日志文件2） 数据库3） 网页4） APP不同的数据源使用的采集技术和工具是不同的：1） 日志文件日志文件常用的采集工具有Flume、Logstash...

收集哪些数据，大数据分析并不是对医院所有的数据都进行收集，而是相关的，有直接或者间接联系的数据，要知道哪些数据是对于战略性的决策或者一些细节决策有帮助的，分析出来的数据结果是有价值的，这也是考验一个数据分析员的时刻。例如哪些数据可以得出信息对于一个临床诊疗是有帮...

其实个人感觉。现在钢铁行业中的二级别。三级。就如同你说的中间细细的树干。上层的ERP系统已经发展成了一定的规模。底层的现场数据采集也都基本形成了自动化。但是。要吧底层的数据传送给上层erp，因为重重原因而受限，所以我想对于最终的智能制造项目来说。这种分级结构或...

大概是因为有些大数据技术的使用体会，受邀答题。确实没有医疗行业经验，勉强以患者的视角来分析了，术语不专业的地方请诸位多包涵。临床数据中肯定有相当一部分的结构化数据，例如药品、血/尿检验结果等，应该是纳入传统MIS管理范畴，有成熟的技术手段，可以通过批量的数据加载方式从...

一般适合用简单的格式，便于数据的拆解和组装，您说的文本是一种，还有比如json也是一种常见的方式。源数据的采集是个大话题，一般的方式的本地采集，然后逐层汇总/筛选，再通过队列进行集中（相对的），这样的好处是：本地采集让采集完全分布式，提高效率有一层汇总/筛选可以过滤不合法信息通...

我们现在的场景暂时还没有要求全局有序，大部分场景均要求按数据的key有序即可，如果真的要求全局有序，那暂时估计只能通过设置一个parition来实现了。

数据库的不同，指标也不同，在通用指标这块，主要还是聚焦在表空间、实例、锁、连接数、缓冲池、SQL执行和日志这些大的监控方向上，操作系统的各类指标监控作为数据库监控的补充。针对这些数据库的监控，我个人还是倾向用监控代理的方式为主，自定义脚本取值方式为辅。因为监控代理...

开源的优点就是开放, 二次开发, 接口丰富, 监控方式全面;缺点也很明显, 图形展示功能较为单一(可以暂时借助grafana); 目前无法做到秒级监控(据说3.4会改善);补充一点, 监控系统其实要求操作人员的技术水平很丰富且全面, 需要熟悉被监控对象, 已经具备一定的开发能力....