SparkStreaming和Strom都属于实时计算框架，有点都是可以做到对数据的实时处理。SparkStreaming是基于Spark Core实现的，所以对数据的处理要形成RDD，暨要形成数据窗口，所以其处理过程可以称之为微批处理，而storm是可以做到实时处理每一条数据的，所以相对来说，实时性比sparkstream...
1.可视化需要开发一个专门的知识图谱展示界面，将知识图谱中的实体、关系属性等以美观已操作的方式展示出来，因为颜值即正义。可以借用当前比较流行的bootstrap等前端开发语言。2.为满足快速查询，可以将部分索引关键字放在索引es中，索引命中后在使用key去titian中查询。3.多种...
无论是hive还是spark，数据都是按数据块大小读取。建议试下写parquet文件前设置parquet.block.size参数，保证每个块大小合适，如果要在读取时改变并行效果，可以通过设置repartition调整partition个数。通过两个参数配合应该能满足你的需求。...
我看你的网站里有空格之类 ，增加引号试试 curl --negotiate -u : "http://主机ip:对应端口/templeton/v1/ddl/ database? user.name=hive/XXX&like=*"
通常而言，hadoop这样的集群用来跑大数据分析。这样的集群有两个特点，一个是数据可以从别处过来，另外一个是数据量很大。由于hadoop集群的数据不是OLTP类型做对外交易，因此没有做双活的必要性。另外，hadoop集群通常不用集中存储，因此存储层做双活，和hadoop就谈不上了。如果非要做...
1.如果是大数据项目，底层存储肯定不能用实时数据库+关系数据库这种架构，大数据底层必须是分布式架构，存储大多数都是采用HDFS分布式文件系统2.但是像你说的生产中的温度、电流等实时的工艺参数，最开始一直都是采用SCADA实时采集PLC和各类传感器设备的数据，存放在实时数据库（例...
主要有以下几种方法：（1）通过parallelize方法从集合创建RDD：var rdd = sc.parallelize(1 to 10)（2）通过textFile方法从本地文件或HDFS创建RDD：val rdd = sc.textFile("/filepath/file.txt")（3）其他，如：通过jdbc读取关系型数据库创建jdbcRDD，使用hadoopFile、sequenceFile等方法创建RDD...
Kafka可保证在同一partition中的消息是有序的，producer把数据按照同一主键发到同一个partition即可。
Hadoop组件包括HIVE\HDFS\Hbase\HUE\sqoop\spark\zooie\ES\等进行进行，可以通过Cloudera的 manager来实现对组件的运行和监控和异常告警cloudera manager有四大功能： （1）管理：对集群进行管理，如添加、删除节点等操作。 （2）监控：监控集群的健康情况，对设置的各种指标和系统运...
