数据挖掘与商业智能

摘要：在当今竞争日益激烈的市场环境中，您一定希望能够从浩如烟海的商务数据以及其他相关的数据中发现带来巨额利润的商机。只有那些利用先进的信息技术成功地收集、分析、理解信息并依据信息进行决策的企业才能获得竞争优势，才是市场的赢家。因此，越来越多的管理者开始借助商务智能技术来发现商务运营过程中存在的问题，找到有利的解决方案。

关键词：数据挖掘；商业智能。

1．数据挖掘概况
      1．1  引言

    近十几年，随着科学技术飞速的发展，经济和社会都取得了极大的进步，与此同时，在各个领域产生了大量的数据，如人类对太空的探索，银行每天的巨额交易数据。显然在这些数据中丰富的信息，如何处理这些数据得到有 益的信息，人们进行了有益的探索。计算机技术的迅速发展使得处理数据成为可能，这就推动了数据库技术的极大发展，但是面对不断增加如潮水般的数据，人们不再满足于数据库的查询功能，提出了深层次问题：能不能从数据中提取信息或者知识为决策服务。就数据库技术而言已经显得无能为力了，同样，传统的统计技术也面临了极大的挑战。这就急需有新的方法来处理这些海量般的数据。于是，人们结合统计学、数据库、机器学习等技术，提出数据挖掘来解决这一难题。

 

      1．2  何谓数据挖掘
数据挖掘的历史虽然较短，但从20世纪90年代以来，它的发展速度很快，加之它是多学科综合的产物，目前还没有一个完整的定义，人们提出了多种数据挖掘的定义，例如：

SAS研究所（1997）：“在大量相关数据基础之上进行数据探索和建立相关模型的先进方法”。

Bhavani（1999）：“使用模式识别技术、统计和数学技术，在大量的数据中发现有意义的新关系、模式和趋势的过程”。

Hand et al（2000）：“数据挖掘就是在大型数据库中寻找有意义、有价值信息的过程”。

确切地说，数据挖掘(Data Mining)，又称数据库中的知识发现(Knowledge Discovery in Database, KDD)，是指从大型数据库或数据仓库中提取隐含的、未知的、非平凡的及有潜在应用价值的信息或模式，它是数据库研究中的一个很有应用价值的新领域，融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术。

 

      1．3  数据挖掘的主要功能

数据挖掘综合了各个学科技术，有很多的功能，当前的主要功能如下：

Ø             分类：按照分析对象的属性、特征，建立不同的组类来描述事物。例如：银行部门根据以前的数据将客户分成了不同的类别，现在就可以根据这些来区分新申请贷款的客户，以采取相应的贷款方案。

Ø             聚类：识别出分析对内在的规则，按照这些规则把对象分成若干类。例如：将申请人分为高度风险申请者，中度风险申请者，低度风险申请者。

Ø             关联规则和序列模式的发现：关联是某种事物发生时其他事物会发生的这样一种联系。例如：每天购买啤酒的人也有可能购买香烟，比重有多大，可以通过关联的支持度和可信度来描述。与关联不同，序列是一种纵向的联系。例如：今天银行调整利率，明天股市的变化。

Ø             预测：把握分析对象发展的规律，对未来的趋势做出预见。例如：对未来经济发展的判断。

Ø             偏差的检测：对分析对象的少数的、极端的特例的描述，揭示内在的原因。例如：在银行的100万笔交易中有500例的欺诈行为，银行为了稳健经营，就要发现这500例的内在因素，减小以后经营的风险。

需要注意的是：数据挖掘的各项功能不是独立存在的，在数据挖掘中互相联系，发挥作用。

      1．4  数据挖掘的方法

作为一门处理数据的新兴技术，数据挖掘有许多的新特征。首先，数据挖掘面对的是海量的数据，这也是数据挖掘产生的原因。其次，数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，维数大。最后，数据挖掘是许多学科的交叉，运用了统计学，计算机，数学等学科的技术。以下是常见和应用最广泛的算法和模型：

Ø             传统统计方法：① 抽样技术：我们面对的是大量的数据，对所有的数据进行分析是不可能的也是没有必要的，就要在理论的指导下进行合理的抽样。② 多元统计分析：因子分析，聚类分析等。③ 统计预测方法，如回归分析，时间序列分析等。

Ø             可视化技术：用图表等方式把数据特征用直观地表述出来，如直方图等，这其中运用的许多描述统计的方法。可视化技术面对的一个难题是高维数据的可视化。

Ø             决策树：利用一系列规则划分，建立树状图，可用于分类和预测。常用的算法有CART、CHAID、ID3、C4.5、C5.0等。

Ø             神经网络：模拟人的神经元功能，经过输入层，隐藏层，输出层等，对数据进行调整，计算，最后得到结果，用于分类和回归。

Ø             遗传算法：基于自然进化理论，模拟基因联合、突变、选择等过程的一种优化技术。

Ø             关联规则挖掘算法：关联规则是描述数据之间存在关系的规则，形式为“A1∧A2∧…An→B1∧B2∧…Bn”。一般分为两个步骤：① 求出大数据项集。② 用大数据项集产生关联规则。

除了上述的常用方法外，还有粗集方法，模糊集合方法，Bayesian Belief Netords ,最邻近算法（k-nearest neighbors method (kNN)）等。

      1．5  数据挖掘的实施步骤

前面我们讨论了数据挖掘的定义，方法和工具，现在关键的问题是如何实施，其一般的步骤如下：

问题理解和提出 —> 数据准备 —> 数据整理 —> 建立模型 —> 评价和解释

Ø             问题理解和提出：在开始数据挖掘之前最基础的就是理解数据和实际的业务问题，在这个基础之上提出问题，对目标有明确的定义。

Ø             数据准备：获取原始的数据，并从中抽取一定数量的子集，建立数据挖掘库，其中一个问题是如果企业原来的数据仓库满足数据挖掘的要求，就可以将数据仓库作为数据挖掘库。

Ø             数据整理：由于数据可能是不完全的、有噪声的、随机的，有复杂的数据结构，就要对数据进行初步的整理，清洗不完全的数据，做初步的描述分析，选择与数据挖掘有关的变量，或者转变变量。

Ø             建立模型：根据数据挖掘的目标和数据的特征，选择合适的模型。

Ø             评价和解释：对数据挖掘的结果进行评价，选择最优的模型，作出评价，运用于实际问题，并且要和专业知识结合对结果进行解释。

以上的步骤不是一次完成的，可能其中某些步骤或者全部要反复进行。

      1．6  数据挖掘的应用现状

数据挖掘所要处理的问题，就是在庞大的数据库中找出有价值的隐藏事件，并且加以分析，获取有意义的信息，归纳出有用的结构，作为企业进行决策的依据。其应用非常广泛，只要该产业有分析价值与需求的数据库，皆可利用Mining工具进行有目的的发掘分析。常见的应用案例多发生在零售业、制造业、财务金融保险、通讯及医疗服务：

Ø             商从顾客购买商品中发现一定的关系，提供打折购物券等，提高销售额

Ø             保险公司通过数据挖掘建立预测模型，辨别出可能的欺诈行为，避免道德风险，减少成本，提高利润

Ø             在制造业中，半导体的生产和测试中都产生大量的数据，就必须对这些数据进行分析，找出存在的问题，提高质量

Ø            电子商务的作用越来越大，可以用数据挖掘对网站进行分析，识别用户的行为模式，保留客户，提供个性化服务，优化网站设计

    本文就是要通过数据挖掘在商业智能中的应用来阐述数据挖掘的应用现状及将来的展望。

2．商业智能概况
      2．1  引言

    早在20世纪90年代末，商业智能（Business Intelligence）技术就被一家计算机权威杂志评选为未来几年最具影响力的IT技术之一。虽然近几年整个IT界不景气，但与商业智能相关的产品研发及应用却方兴未艾，且数以百计的IT企业不断涌进这一新兴领域，BI应用甚至成为了IT界又一全新“亮点”。究竟什么是商业智能技术？又有哪些技术支撑着如此具有前景的商业智能应用？

      2．2  商业智能简介

    商业智能技术并不是基础技术或者产品技术，它是数据仓库、联机分析处理OLAP（Online Analytical Processing）和数据挖掘等相关技术走向商业应用后形成的一种应用技术。

商业智能系统主要实现将原始业务数据转换为企业决策信息的过程。与一般的信息系统不同，它在处理海量数据、数据分析和信息展现等多个方面都具有突出性能。

 

商业智能系统主要包括数据预处理、建立数据仓库、数据分析及数据展现四个主要阶段。数据预处理是整合企业原始数据的第一步，它包括数据的抽取、转换和装载三个过程。建立数据仓库则是处理海量数据的基础。数据分析是体现系统智能的关键，一般采用联机分析处理和数据挖掘两大技术。联机分析处理不仅进行数据汇总/聚集，同时还提供切片、切块、下钻、上卷和旋转等数据分析功能，用户可以方便地对海量数据进行多维分析。数据挖掘的目标则是挖掘数据背后隐藏的知识，通过关联分析、聚类和分类等方法建立分析模型，预测企业未来发展趋势和将要面临的问题。在海量数据和分析手段增多的情况下，数据展现则主要保障系统分析结果的可视化。一般认为数据仓库、OLAP和数据挖掘技术是商业智能的三大组成部分。

      2．3  商业智能的主要流程
明确需求——>信息收集——>数据采样——>清除转换——>分析提炼——>信息归档——>信息发送——>使用反馈。

最后，决策者通过正确运用商务智能，将使用结果加以反馈。通过反馈，可以暴露出潜在的问题，同时，也可以根据情况变化，表达新的需求，提高商务智能流程内在质量的提高。

商务智能是在计算机软硬件、网络、通讯、决策等多种技术成熟的基础上出现的，用于处理海量数据的一项技术。它需要从来源多样的数据资源（数据库、数据仓库、Web等）中发现规律，而这将主要依赖数据挖掘技术来实现。因为数据挖掘就是要从大量的数据中挖掘出隐含的、未知的、可能感兴趣的、对决策有价值的知识和规则。这些规则蕴含了数据库中一组对象之间的特定关系，揭示出一些有用的信息，为经营决策、市场策划、金融预测等方面提供依据。

      2．4  商业智能的行业应用
制造业：可以在销售/营销方面采取更主动的行动以吸引客户，也可以通过扫描数据预测需求，进行及时的订货和补货，通过采购/供应商分析实时了解供应商之间的成本差异和代理商的情况，并优化调度、配送和运输过程，实现低库存水平。

保险业：根据投保品种、投保人、险种等历史数据，使保险公司合理设定储备金数额，分析赔偿金的标准；分析保险客户的需求、消费特征；进行风险分析和损益判断；根据客户的心理提供个性化的服务等等。

银行、金融和证券行业：分析客户的当前和长期整体收益，并能根据一年或更长时间的成本和销售数据调整市场活动，为高利润销售和银行合作打下基础；按客户等级和类型建立信贷发放模型；提供早期警告避免客户出现信贷危机，提供信贷情形好转或恶化时的信贷管理方法，提供更精确的组合业务评估。预测信贷政策变化造成的影响，以减少信贷损失；提高客户忠诚度。

电信行业：用于客户描述和定位及需求预测等方面。

3．使用数据挖掘提高商业智能
      3．1  概述

    具有综合数据的能力并对数据进行快速和准确分析，从而做出更好的商业决策，可以为企业带来竞争优势。如何发现和使用这种优势，就是商业智能所研究的课题。

任何好的商务决策都需要事实和数字支持。一个决策的正确程度取决于所使用的事实和数字的正确程度。随着竞争的增加，需要在较短的时间内做出决策。因此，在该时间段内，能够尽可能多地获得相关信息就变得越来越关键。同时，为了使决策具有较好的正确度，需要跨越的决策分支也变得越来越大。为了跨越较大的决策分支，需要有更长的时间。因此，需要有自动数据分析工具，以帮助减少精确分析大量数据所需的时间。数据挖掘就是一种非常有用的技术。

下面我将通过一个案例来阐述数据挖掘如何提高商业智能。

      3．2  案例分析

    案例研究中涉及一家叫做“体育精品”的体育用品公司，它在7个国家设有销售办事处。公司总部在悉尼。

           3．2．1 数据分析

    数据分析技术的发展可分成报表查询、在线分析处理（OLAP）和数据挖掘3个阶段。在此例中，数据分析的3个阶段如图2所示。

 

公司不同的销售地点已建立管理其单个地域内销售信息的解决方案。为了增加销售，销售副总裁决定通过奖励来促销，奖励销售额最多的地区和产品销售最多的单位。这位副总裁要求首席信息官（CIO）写出这样2份报告。对CIO来说，这看起来很简单，但在生成这些报告之前有许多工作要做。以下问题特别需要在短时间内解决：销售数据存储在不同地区的不同类型的数据库中、数据在不同的地区格式不一样以及营业额用各所在国的货币单位。

首先，所有的数据都必须集中到总部。把所有数据放到一个地方，在本地数据集上执行查询要容易一些。对所有的相关信息而言，这一地点被称作数据仓库。如果相同的概念运用到公司中的单个部门，这些部门的信息库就被称作数据集市。

若不使用数据仓库工具，CIO可能会花上数月的时间才能完成上述任务。相反，若使用像IBM Visual Warehouse V3.1这样的数据仓库工具，这些任务可以很快定时地自动完成。

在Visual Warehouse中，如何访问、抽取、处理和丰富数据都是用Business Views开发完成的。Business Views就像模板一样，一旦定义完毕，便可用来自动统一地重复上述步骤。因此，商务视图“按地区的销售额”定义的是，从何处抽取数据，使用何种货币兑换表来转换货币，预先计算何种合计数据。“按产品的销售额”视图也是同样定义的。

一旦建立了数据仓库，任何前端工具，如Lotus Approach或Microsoft Access，都可用来查看实际的报告。

           3．2．2 在线分析处理
由分析数据可知美国的西雅图是销售额最高的地区，山地车是最畅销的产品。负责销售头盔产品的副总裁看到上面的报告，他决定看看新建的数据仓库是否能给他提供更多的信息来帮助他提高销售额。

在负责销售头盔产品的副总裁与CIO谈到此事时，CIO建议进行专门分析，用不同的方法查看数据，以显示以前不知道的信息。这也被称为在线分析处理（OLAP）或多维分析（MDA）。在本方案中，使用2种主要的多维分析技术。第1种叫插放（Drill Down），第2种叫份额方块（Slice/Dice）。CIO帮助副总裁用Lotus Approach前端MDA工具来查询数据仓库的数据。

下面的多维数据分析涉及5个方面，即产品、销售、数量、地区和时间。所有查看的数据都是1月份的。

负责销售头盔产品的副总裁提出以下问题：

1. 1月份，头盔在什么地区销售最好？

2. 1月份，哪个国家的头盔销售在该畅销地区处于领先地位？

3. 在领先的国家中，哪个城市的头盔收入最高？

要回答这些问题，CIO必须要用Lotus Approach深入到地区维（Location）中，用插放方法查看某一具体数据维中的更细节的数据。通过Lotus Approach，CIO用交叉标记功能建立了一个矩阵，Y轴是地区栏，X轴是销售栏。

由分析的出的柱状图表明头盔在欧洲销售最好；1月份，德国是欧洲头盔最畅销的地区；在德国汉诺威是头盔最畅销的地区。

现在负责销售头盔产品的副总裁已经从前面的报告得知，山地车是西雅图最畅销的产品。因此，他想把西雅图和汉诺威2个城市山地车和头盔的销售做一比较，但按销售金额（DOLLARS栏）比较是错误的，因为2种产品的价格不同。因此，他想比较山地车和头盔的销售数量。

这位副总裁发现，尽管山地车在西雅图销售最多，但头盔的销售却不尽人意。头盔与山地车的比例大致是1:5（360:1804）。但他还注意到，在汉诺威该比例却几乎是1:1（445:436）。这时他记起来，在西雅图的商店里山地车和头盔放置得不像在汉诺威那样近。他决定在西雅图把这2种产品摆放在一起，并每天查看头盔和山地车的销售状况。

上述查看不同栏目数据的技术就是多维分析。执行的分析类型是在线分析处理。用于在线分析处理的数据可存储在多维数据库（MDD）或关系型数据库（RDBMS）中。当对存储在多维数据库中的数据进行在线分析处理时，就称为多维在线分析处理；当对存储在关系型数据库中的数据进行在线分析处理时，就称为关系型在线分析处理；当对存储在2种数据库的数据进行在线分析处理时，就称为混合在线分析处理。

具体到本案例，使用了5个数据维，它们是时间、营业额、数量、产品和地区。

           3．2．3 数据挖掘
在前面，我们能够用不同的方法处理和分析数据。我们可以找到具体问题的答案，但仅此而已。在用特别的方法查看数据时，我们能发现头盔和山地车的数量销售不相互关联。数据仓库中的确存在关联，但没有插放和份额分块技术，我们就发现不了它。这样做消耗很多时间。

数据挖掘会系统地解决这些问题。它不仅能够允许用户确定假设，而且还允许用户不用做相应的手工劳动就能发现新的信息，如上面提及的关联。IBM的Intelligent Miner for data和Intelligent Miner for text是一种数据挖掘工具。前者用来对数据进行搜寻，如公司中的交易数据；后者则用于对文本数据的搜寻，如在图书馆中进行检索。在本案例中，使用的是Intelligent Miner for data。

Intelligent Miner中包含6种主要算法，即关联、顺序模型、预测模式、分类、集群和偏差识别。

公司的CEO现在担心他们是否能提出正确的问题。这位副总裁正巧碰到这样的事实，山地车和头盔的销售不是1:1。还存在什么其他类似的问题？CEO可能想到的2个这类问题如下。

1. 对购买山地车的客户来说，什么是最可能会同时购买的商品？

2. 购买气瓶的顾客1年内回来充气多少次？

Intelligent Miner for data对第1个问题做出如下答案：头盔，可能性为92％：手套，可能性为62％：新款铃铛，可能性为23％；速度计，可能性为13％。

Intelligent Miner for data可能会使用关联算法得出这样的答案。关联算法发现了产品之间的联系。根据上面的答案，它会给销售人员一个目录，列出在销售某一具体产品时所建议的前3名关联产品。例如，如果销售山地车，销售人员可建议购买头盔、手套和新款铃铛。

根据上面的答案，另外还可以采取以下行动：在骑车者安全问题上对销售伙伴进行教育（这可提高反光罩、灯和后视镜等产品的销售）；促销其他相关产品，如饮料瓶、速度计、个人音响；捆绑销售活动；开发跨部门的促销活动（如与山地车和手套一起使用的休闲用品和服装）；在山地车展厅里设一个手套展台；对最好的附件产品销售记录进行奖励以及每月刊登最有趣的附件产品销售的成功故事。

Intelligent Miner for data对CEO的第2个问题会给出如下答案：购买气瓶的顾客12％只回来充气1次；8％回来2次及7％回来补充物品的次数超过2次。

根据上面的结果，公司可能做出2种决定，一种是考虑到重购物品的业绩好差，放弃充气业务，或者靠给下2次的充气给予25％的折扣优惠来提高充气业务的销售业绩。公司还可以采取其他行动，如依然坚守充气业务，但销售水平要提高到每个气瓶顾客每年平均要充气1次；给现有和新的气瓶拥有者提出刺激措施；在春季给气瓶顾客邮寄信函提醒他们要回来充气；在客户停车场建立更多的便利充气站以及每一次充气都发折扣优惠券。

3个月后，公司有了如下结果：季度的营业额上升34％，收入上涨32％；每辆山地车交易的平均销售收入增加了29％；山地车与头盔一块购买成了时尚（每个销售地点的头盔成交量都上升了）；手套的销售上升15％；山地车附件上升51％；销售机构进行捆绑销售的成功案例非常普遍（每月对最成功的案例进行奖励）；气瓶充气的销售开始上升（到目前为止，销售额比去年上升了1倍）。

因此，使用数据挖掘技术来提高商业智能，最终的结果是销售增加，利润更好。

4．商业智能前景
据市场分析员介绍，商业智能已经成了企业信息技术最为重要并且极具潜力的领域。为什么会这样呢？的确，在当今的经济环境中，所有市场中所有规模的企业都需要额外的杠杆才能得以生存。而该杠杆通常来自于关键决策者们，他们能够快速访问评估市场状况所需的商业信息。

这就难怪 International Data Corp.（IDC）这个 IT 行业中最早的全球市场智能和顾问公司预言，商业智能系统的市场规模到 2006 年将翻倍且在世界范围超过 140 亿美元。其他诸如 Meta Group 的分析员也相信数据库行业的重点正从事务处理转向业务分析方法和数据仓库功能。