bigdata_user

动态

分布式 分布式事务 bigdata_userbigdata_user 发布了问题2019-11-15

分布式事务?

bigdata_user bigdata_user 软件开发工程师,博彦科技
浏览1665
回答1
数据库 MySQL bigdata_userbigdata_user 发布了问题2018-11-20

mysql load慢问题?

bigdata_user bigdata_user 软件开发工程师,博彦科技
浏览1015
回答1
大数据 spark mapreduce bigdata_userbigdata_user 回答了问题 2017-07-08

有使用过Mapreduce,Hive,Spark等处理工具的,麻烦来分享分享使用经验?

bigdata_user bigdata_user 软件开发工程师,博彦科技
mapreduce是计算框架,分map端和reduce端,主要用于分布式计算,hive是可以用来冗余数据(本质还是将数据存储在文件系统),使用hive的时候需要设计好数据模型,使用hive的好处是可以使用sql,但是如果sql里面有聚合函数,框架会将sql查看全文

大数据平台技术相对于传统的分析技术有哪些超前优势?

bigdata_user bigdata_user 软件开发工程师,博彦科技
个人理解:大数据是对于需要从大量数据中寻找规律对未来发展做出决策,由于数据量比较大计算时间长,需要使用并行计算的方式提升效率,这就是现在所说的大数据平台干的事,你说的传统的分析计算指的是那些?查看全文
大数据 需求分析 大数据平台 bigdata_userbigdata_user 回答了问题 2017-07-06

大数据平台技术相对于传统的分析技术有哪些超前优势?

bigdata_user bigdata_user 软件开发工程师,博彦科技
那要看你们公司以后会不会有大量的数据存在,如果数据一直不会很多就没必要,如果可能会很多,可以搭建一个平台,不用太大只需要几个节点就行了,顺便可以熟悉一下技术查看全文
hive 自定义函数 bigdata_userbigdata_user 回答了问题 2017-07-04

Hive在数据逻辑处理中如何利用自定义函数?

bigdata_user bigdata_user 软件开发工程师,博彦科技
UDF、UDAF和UDTF,一般UDF比较常用 使用的时候需要将数据集转换为spark dataframe查看全文
Oracle Hadoop sqoop bigdata_userbigdata_user 赞同了回答 2017-04-24

将ORACLE数据转到HADOOP中,都有哪些好的方法?

thomas_yds thomas_yds 数据库开发工程师,ccs
阿里DataX,Sqoop,Kettle等工具查看全文
数据库 数据库迁移 Hadoop bigdata_userbigdata_user 回答了问题 2017-04-24

hadoop平台与当前数据库如何共存--业务架构层面

bigdata_user bigdata_user 软件开发工程师,博彦科技
这个是可以共存的,你需要那部分数据,就查询什么就行了,你需要实时的hadoop分析的数据,你直接调用对应的接口查询hadoop就行了,你需要普通数据库里面的数据,直接查询普通数据库就行了,查看全文
分布式架构 数据库 Hadoop bigdata_userbigdata_user 回答了问题 2017-04-24

传统数据库切换到hadoop这种分布式有哪些问题需要考虑?

bigdata_user bigdata_user 软件开发工程师,博彦科技
数据存储到hadoop以后,使用这些数据的时候,你要考虑使用那些组件,hive hbase等,数据建模要做好,查看全文

擅长领域

Hadoop Hadoop
数据库迁移 数据库迁移
大数据平台 大数据平台