作者：农行研发中心孟洋--1.问题描述当前，我们通过编写HadoopMapReduce程序对来自上游的源数据文件进行贴源预处理加工。源数据文件发到Hadoop集群后，我们的预处理程序会对源数据进行编码转换、数据去重、加时间拉链、数据清洗、错误数据处理等操作，生成贴源的ODS层数据，供上层...(more)

近年来，中国数字经济快速发展，遇上这场席卷全球的疫情更是将数字化浪潮推向前所未有的高度，数字化转型不再是停留在理论和构想阶段的一个概念性名词，而是需要实际落地推进的新时代共识性战略，企业或组织都在加快数字化转型的步伐。然而，究竟什么样的数字化底座才能满足企业可持...(more)

您是否有遇到这样的场景？当需要实时查看存储监控数据、查看某个存储桶的对象数量，又或者想了解某一个存储类型文件的下载量在当前与前一天的对比情况，是上涨了还是下降了，这时您是否也在经历频繁的打开关闭App？如果说我们把需要查看的数据直接放到桌面上，解锁手机屏幕就可以直...(more)

深度学习中最令人兴奋的领域之一就是计算机视觉。通过卷积神经网络CNN（ConvolutionalNeuralNetworks），我们已经能够创建自动驾驶系统、面部检测系统和自动医学图像分析等。但如果不是专业的数据工程师与行业人员，您几乎没有机会了解CNN。今天，本文将从理论与实践两种方式，带领...(more)

众所周知,Kubernetes(K8S)更适合运行无状态应用,但是除了无状态应用.我们还会有很多其他应用类型,如:有状态应用,批处理,监控代理(每台主机上都得跑),更复杂的应用(如:hadoop生态...).那么这些应用可以在K8S上运行么?如何配置?其实,K8S针对这些都有对应的不同的运行方式....(more)

【摘要】：过去的历史阶段，IT行业对于数据库的选择相对比较单元化，基于行式存储的关系型数据库基本一统江湖。因此OLTP&OLAP业务均以关系型数据库理论为基础来设计数据视图以及数据模型。随着数据量的爆发式发展，人们逐渐发现传统行式存储在处理特殊业务场景时候的不足，尤...(more)

前言随着企业拥抱数字化程度的提高，数据是企业的发展关键。数据的需求来源于业务也服务于业务，数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入。数据的调度就是作业的调度。批量作业调度是金融行业信息后台最为重要的技术形态。金融行业每天...(more)

什么是seleniumselenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7,8,9,10,11），MozillaFirefox，Safari，GoogleChrome，Opera等。selenium是一套完整的web应用程序测试系统，包含了测试的录制（seleniumIDE）,编...(more)

假设大家都没有神经网络的基础，为新手讲解神经网络基本概念，让大家再听说神经网络学习的时候，可以明白究竟是什么意思。大佬选择经典的多层感知器（MLP）结构解决手写数字识别问题，理由是理解了经典原版，才能更好地理解功能强大的变种，比如CNN和LSTM。首先看看神经元和他们是怎么连...(more)

nebula-spark-connector-reader本文主要讲述如何利用SparkConnector进行NebulaGraph数据的读取。##SparkConnector简介SparkConnector是一个Spark的数据连接器，可以通过该连接器进行外部数据系统的读写操作，SparkConnector包含两部分，分别是Reader和Writer，而本文侧重介绍Spa...(more)