互联网+新趋势下商超百货企业数据采集的整体看法和展望

数据采集是所有数据工作开始的第一步，无论在哪个行业数据采集所在的位置都是非常重要的.本文针对上周五商业智能中国社区线上同行交流活动《商超百货企业BI/BA业务如何应对互联网+新趋势之数据采集》的热烈讨论产生了一些思考。

对于本次活动中嘉宾感兴趣的主题进行了梳理，如下：

1.商超百货企业数据采集方案有那些？

seng:

从来源分:企业内部的、企业外部的;

从过程分:结果数据、过程数据;

从渠道分:线上、线下;

不同的我觉得需要不同的方案,传统的BI方案,大数据方法, 集中还涉及到业务系统修改.

2.商超百货企业数据采集数据存储过程中有那些风险？

olfisher:

1>业务系统和ELT数据传输同步的时间窗口问题;

2>业务系统数据调整，数据仓库及时调整的问题，涉及监控，自动同步;

3>数据仓库数据庞大，影响性能的，根据业务需求定期做数据归档，使在用的数据减轻压力;

4>数据的冷备是必须的，热备根据业务场景可以自行判断.

linxuthus:

1>线下POS数据数据量大，数据采集需考虑性能和存储能力；

2>各门店数据整合困难，如不同门店的异形商品，需考虑数据统一性；

3>各门店促销规则不一致，在计算批次成本、促销成本分摊等问题上需要梳理好规则.

3.商超百货企业线上线下数据采集的区别有那些？

olfisher:

线上和线下采集数据的范围大致相同。区别在于采集数据的形式，线上采集基本都基于系统和机器，投入成本低；线下采集除了系统软件的数据采集，还有硬件的投入，进而需要定期的维护，投入成本高。这里还有一个有意思的区别是，线上数据系统或者机器故障了，数据是丢失了，但是在线下比如客流数据，即使客流存储和客流采集都故障了，可以采取最原始的方法采集和记录，人工点人和记录。

seng:

线上采集的范围比较全，操作方式导致收集数据可以做到全面的，难度是数据整合;线下确实需要不少各类成本，而且和已有数据的集成也是再探索中。

4.商超百货企业如何进行线下线上数据整合，并将传统BI与大数据分析进行结合？

liwenxianshifu：

门店的库存需要实时查看，库存可以开放直接访问live数据；而不太变动的基础数据，比如产品主档、价格，则可以通过访问DW数据，从而减轻大量数据查询对系统的性能影响。当然，也可以每个门店预留一定的库存保证正常销售，每晚统一回传销量回数据库，以及对门店及时补货。其实目前做的数据分析一般都是基于过去的销售数据，如何做到将实时数据纳入分析范畴是我们要考虑并解决的问题。

seng:

感觉先要做的还是基础数据采集，如客流、wifi、仓库操作啊。还有和企业外数据的集成都是要做的啊。

5.如何理解以互联网+的思想来做实体企业的分析

1>.现在都在喊互联网+ 互联网思维。但一直无法清晰的去明了这种思维该如何理解。很多目前有的BI或者提供企业级数据量的支撑 还是跟传统BI 传统IT技术没什么分别。

2>针对互联网的这种思维或者技术 如何能用到我们传统BI中来，而且要体现出这种优势，有没有具体的实际例子或者有意向的想法来阐述下？

linxuthus:

互联网更强调的是用户体验，传统BI着重点在管理决策分析。很明显光企业内部的业务数据已经不足以支持提升用户体验。传统BI更需要转型，与企业外部大数据进行结合。目前互联网企业BI的一般做法是BI作为大数据平台的一个应用，把数据规范化、精细化。而整个企业的大数据平台作为企业的一笔资源，不断从其中挖掘数据的价值。而很多人的疑惑在于传统数据仓库作为大数据平台的上游还是下游系统。我个人认为这需要视大数据平台定位而定。如果大数据只是作为进行互联网精准营销、平台推广的一个应用，那可以以传统数据仓库作为数据源；如果大数据平台的定位是企业数据中心，那么BI应作为大数据平台的一个应用。

就目前的行业情况来看我个人比较偏向后者。如果传统零售企业需要向互联网企业的方向转型，建立大数据中心、数据管理平台是刻不容缓的。

回顾嘉宾的专业解答，不难发现大家在实际操作过程中一些闪光的想法，也找到了一些方向，但是更多的可能还在试错当中。经过本次的主题活动让大家了解到了数据采集的重要性，他是数据工作的基石。

数据在生活中无处不在，只是这些数据是否需要被采集或者能不能被采集到，这是需要业务与技术共舞，不断的创新。比如说原先百货都没有收银机，都是人工开票的，数据的采集和分析都非常困难，想做营销更多的是凭经验。后来有了POS机，销售数据的采集更加便利，加上会员卡的发行，刷卡积分消费，能够更多的捕获到人的消费行为数据，数据分析的范围也原来越广。以前客流统计都是人工清点，后来有了客流采集系统，技术的发展也促进来了数据采集和分析的发展。

在主题讨论活动中，seng和linxuthus都讲到了外部企业数据的集成与合作，这应该是一种跨界的数据合作，个人的想法在目前发展阶段，不同行业的合作应该是可以开展的，但是对于同行业的数据合作在目前的环境下可能性不大，除非并购，在国外的案例中，大部分都是通过第三方公司进行合作，目前在国内也看到了很多这样的公司的身影。

互联网是对于数据采集来说，只是一个渠道，打破了数据采集的地域限制，为现在的数据采集提供了多样性。随着科学技术的发展，比如现在很火的人脸识别技术，到最后能不能不只是识别人脸，当你身处在百货店的时候，能够识别你穿的衣服，佩戴的饰品，这样的场景是多么的有意思，总之一句话，随着科学技术的发展，数据采集的范围会越来越广，数据的量越来越大，整个数据行业前景应该会越来越好。

传统的数据采集目前大多数商超百货都已经成熟运行，目前亟待解决的几个问题，个人认为如下：

1.传统行业技术储备的数据采集大部分是关系型数据，数据量不大，但是随着技术的发展，比如WIFI数据，

存储基本是NoSQL,数据量大，作为企业如何权衡，数据处理是和第三方公司合作呢？还是自身招募技术人才？

2.技术和业务对于数据采集来说是相辅相成的，如何做到技术和业务和谐发展？

3.在共享经济时代，数据采集如何跨界合作，催生出新的视界？

4.如何将“互联网”这把利刃为数据采集所用？

期待商超百货企业同行后续能够继续针对上述问题进一步的深入交流和探讨。