1 背景

1) 业务管理：业务价值体现不明显， IT 服务成本指标不清晰，缺少面向业务的服务水平管理。流程与制度：流程的自动化与智能化程度不高，对运行数据缺乏行之有效的分析；制度执行的自动化监督和检查手段不足。
2) 技术与工具：技术架构设计偏重稳定性而缺乏灵活性，容灾业务覆盖不全面；监控的深度和广度不够，很难从业务视角进行有效的监控；运维自动化程度较低，管理工具过于繁杂。
3) 人员与组织：自主运维能力不足，部分敏感岗位仍由外包人员担任；应急响应速度与工作饱和度之间存在矛盾，岗位专业化与综合化之间存在矛盾。

传统的 IT 架构在互联网快速发展中遇到了很大挑战，随着移动互联网乃至未来工业 4.0 的普及，挑战会逐渐加剧，主要表现在：

1) 业务管理：可用性要求越来越高，但允许维护、变更等计划内停机的时间越来越少；业务创新和营销需要快速投产新项目，快速扩容基础设施。
2) 流程与制度：需参照新一代互联网金融技术架构重组运维服务流程；监管要求趋向严格。
3) 技术与工具：新一代互联网金融技术架构增加了运维管理复杂度；新一代面向服务的应用架构对监控带来挑战；云计算、大数据等新技术暂时还没有完整的服务管理平台。
4) 人员与组织：多地多中心一体化运维带来的挑战；新一代互联网金融技术架构对现有运维组织架构带来的冲击；云计算、大数据等新技术对人员专业能力提出更高的要求。

传统的集中式架构越来越不适应未来企业业务互联网化的需要，向敏捷、弹性的 IT 架构转型是未来 IT 发展的主要方向。

2 现状分析

2.1 整体现状

XX 企业目前已经构建了包含多个数据中心机房， 500 台服务器的 IT 基础设施，数据中心间通过专线互联，实现了本地、同城和异地的数据容灾体系。

其中 A 数据中心为主数据中心，承载了 XX 企业当前包括 a 、 b 、 c 在内的绝大部分业务。主数据中心网络采用核心 - 接入两层架构，所有服务器的网关设置在核心交换机上，网络架构可以满足传化物流当前及未来三年的需求；同时使用了高性能的高端交换机作为网络的核心设备，骨干链路均为万兆链路，满足了当前网络的性能要求。

XX 企业物流主数据中心网络现状示意图

目前 XX 企业已采用 KVM 技术对大部分 X86 服务器进行了虚拟化部署，并通过批处理脚本减少了大量虚拟机管理分配的重复性工作。操作系统均为 CentOS ，后续随着内部组织结构的调整，数据中心需要承载其他业务系统，基础操作系统不仅仅需要支持 Linux 系统，还需要支持 Windows 以及其他系统。

整个基础设施层面也存在较多的问题：

• 网络层面标准化、全局性考虑缺失。相关的 VLAN 、 IP 地址、路由规划均十分随意，缺少明确合理的相应分配和部署规范；
• 虚拟化层面主要问题在于高可用能力缺失以及运维手段原始。虽然采用 KVM 做了大量虚拟化部署，但只是计算资源的颗粒化划分，缺少高可用的相关能力。虽然编写了大量运维脚本，但整个资源的分配过程仍十分原始；

安全层面则整体薄弱。内部缺少必要的访问控制及防护，外部则缺少攻击防范的措施，整体安全缺失

2.2 云平台建设现状

业务系统架构则为典型的互联网架构，以“ F5+Nginx+Tomcat+MySQL” 构成了整个应用系统中间平台。曾采用 LVS 作为负载均衡，但由于 LVS 问题较多且传化物流人力缺失而不得不更换为商用的 F5 设备， Nginx 与 F5 构成两层负载均衡，为后面的 WEB 和 MT 应用提供服务，后台数据库则采用 MySQL 主从模式，并使用 MyCat 作为数据库代理实现数据分库提高并发访问量。

2.3 运维管理系统

通过项目前期的调研访谈，传化物流当前的最主要的问题是运维管理体系的不完善，同时基础设施层面在标准化、扩展性、安全性等方面也存在较多问题。运维管理层面主要从人员、流程和工具三个方面进行分析。传化物流当前：

• 人员方面容量不足。部分岗位人员复用导致重要的运维工作没有很好的开展；
• 流程方面体系缺失。事件／故障管理缺乏明确流程保障，不能保证事件闭环，故障不能形成组织知识积累，缺乏问题管理意识，没有主动分析和预防故障的管理机制，同时变更仍相对随意。
• 相关运维管理工具缺失。具备了基本的监控工具和单点的自动化操作工具，但运维管理工具、自动化运维平台缺失

3 需求分析

3.1 云资源平台建设需求

• 需要构建全面的网络接入能力。首先从接入对象上，需要支持与 XX 企业等以及其他第三方系统的对接；其次从接入手段上，需要支持 PC 、微信、移动 APP 等方式为用户提供随时随地的接入能力；最后从接入的地域上，需要保证分散于全国的企业均可以流畅接入，并保证一致的用户体验；
• IT 需要弹性伸缩能力。随着 XX 未来用户数量的大幅增加，部分业务会膨胀，部分业务会萎缩，同时也会有大量新的业务应用增加。基于未来业务扩展考虑， IT 架构应有做到随需扩展。原有业务的变化及萎缩， IT 应能适应业务的变化具有弹性。
• 自主核心数据业务能力。随着企业规模和用户量的扩大，通过 IT 系统进行数据分析，对整个物流的各个环节进行流程优化。同时基于大数据分析，可以进一步实现资源数据的深层分析，挖掘数据价值。 IT 架构需要提供这种数据分析的能力，同时能够在可控的成本之下满足来自互联网的海量数据增长。

• 完善的安全防控能力。业务量的增加必然对整个灾备及安全管控体系提出更高的要求：建立完善的安全管控体系，防范数据泄露风险，保证数据安全；完善的 IT 资源隔离能力，为平台中的不同业务提供安全、隔离的 IT 运行环境；适应企业需要的灾备体系，防范不确定的各类风险，提升业务连续性等级。

  “云计算技术是今后数据中心的主要技术实现方式，将成为解决数据中心 IT 资源配置，快速应对业务需求的重要技术手段。未来云计算技术将扩展到数据中心整个基础架构，促使计算基础架构变得更加灵活、便捷”。

3.1.1 数据共享应用需求

建立 统一的企业数据资源管理系统，使其具备发现与定位、整合与应用、管理与规划三方面的功能，其中发现与定位要满足对共享和交换的信息资源进行导航，帮助用户发现所需要的信息；整合与应用要满足将目录体系的发现与定位功能集成到各专业服务系统中，扩大信息资源目录体系的应用范围；管理与规划要满足能够全面、客观地了解信息资源现状，为科学合理的制定信息资源规划提供保障。

依托数据交换体系和资源目录体系，明确各部门数据共享的范围边界和使用方式，厘清各部门数据管理及共享的义务和权利，建设综合库，推进信息跨部门、跨区域共享。

在等基础信息和业务信息的过程中，对于信息化程度低或没有业务系统的部门或单位，不能通过前置库、Web Service等交换方式进行数据上报、共享的情况，平台应具备业务数据填报功能，使其数据归集的渠道多样化，满足不同信息化条件下，数据归集的需求。

依托数据交换体系和目录管理体系，建设业务数据资源管理系统，对各类业务信息资源的源数据、过程数据、主题数据、历史数据以及各个环节的日志数据等进行统一的管理，监控和追溯各类信息资源的应用情况，保障数据在服务全生命周期内的一致性。

3.1.2 系统对接需求

企业项目建设的核心目标是依托统一数据共享交换平台，向企业按需开放业务系统实时数据接口，支撑信息资源跨地区、跨层级、跨部门互认共享，实现 XX 企业信息在各级业务部门网上业务服务中的共享互用，为各级部门网上行权提供了技术平台保障。

3.1.3 项目实施需求

项目建设是一项长期的、复杂的的系统工程，需要从整体设计、需求管理、组织协调、组织实施、应用培训、组织运维等方面进行整体集成，保障各子系统有序开展、顺利实施。

• 对涉及的系统及技术、服务、人员、进度、配合、响应、履约情况进行动态评价考核的需求。
• 进行需求采集，并指导厂商按照需求分析进行实施的需求。
• 建立有效的工作协调机制，统一对厂商进行协调，促进各团队间的日常沟通，提高项目建设的整体管控水平的需求。
• 组织编制企业大数据平台推进、协调、培训等材料，建立合理的组织架构，制定科学的工作计划，统筹实施项目的需求。

4 整体项目方案规划

4.1 整体设计思路

XX 企业云平台的搭建将有助于本身业务从粗放式、离散化的建设模式向集约化、整体化的可持续发展模式转变，使企业管理服务从各自为政、相互封闭的运作方式向跨部门跨区域的协同互动和资源共享转变 。 此次云平台整体方案规划考虑的原则如下：

整个建设作为 XX 企业基础核心工程，为部门提供统一标准化共享，平台的建设采用物理集中 + 逻辑集中相结合的方式构建公共信息资源的共享环境。

公共信息资源库的建设将信息资源在全企业各部门间共享的数据资源，按照共建共用、互惠互利、按需共享、无偿提供等原则，整合、集成并提供共享服务的 XX 信息资源；出于管理的需要，部门遵照相关的法律、法规、政策及其他依据，内部需要保留一些不能共享或公开的保密数据，这种信息资源仅在某部门内部或其垂直主管部门体系内进行共享使用。

4.2 逻辑架构设计

云平台整体架构设计遵循面向业务需求的设计思路，以云计算和大数据技术为关键支撑，以服务实战应用为根本目标，构建统一的 IT 基础设施资源池，为应用系统提供敏捷、可靠、安全、弹性的 IT 基础设施服务，系统架构具备良好的可扩展性，保证数据中心业务动态扩展和新业务快速上线。

XX 云平台按照基础设施服务层、平台服务层、数据服务层、应用服务层进行纵向分层设计，辅以云平台标准规范、安全管理、运维管理、运营管理与容灾备份各个体系提供支撑。

4.2.1 基础设施层（ IaaS ）

基础设施层（ Infrastructure as a Service ）是云平台的基础设施支撑层，采用成熟的云计算技术和大数据技术，实现计算资源、存储资源、网络资源，安全资源等各种基础设施资源的统一配置和管理，为云平台的高效稳定运行提供基础硬件保障，同时提供核心计算服务和大数据计算服务。

4.2.2 平台服务层（ PaaS ）

平台服务层 PaaS （ Platform-as-a-Service ）提供平台服务支撑，面向开发用户，提供计算存储服务和行业应用服务。 PaaS 层的建设主要包括以纯技术为主的计算存储服务和行业应用服务，计算存储服务与 IaaS 层关系密切的计算、存储组件为主，包括离线计算、实时计算、流式计算、内存计算，机器学习等计算和分布式并行数据库、关系型数据库、分布式文件系统、内存数据库、图数据库、全文数据库等；行业应用服务集成行业优势产品，并不断扩展，包括传输交换、任务调度、服务总线、开发服务、 API 网关、认证服务、授权服务、地理位置、多媒体服务等。

4.2.3 数据服务层（ DaaS ）

DaaS 是 Data-as-a-service （数据即服务），数据做为一种服务是通过传递有用的信息以帮助他人的活动来实现的。具体到 XX 云计算平台大数据平台，基于最新的云计算和大数据技术，负责存储和管理云计算服务平台的数据资源。云平台的信息资源规划和数据库设计主要包括对于现有数据上云以及针对数据展开的数据综合治理。为平台提供大数据相关的计算能力支持。

数据即服务通常的业务使用模式有：聚合、数据质量管理、数据清洗等，然后再将数据提供给不同的系统和警种用户，而无需再考虑这些数据来自于哪些数据源。 DaaS 解决方案能够提供以下的优势：

敏捷性。通过数据访问的整合，能够更加快速地对其进行移动，而无需再去考虑底层数据的来源。如果需要稍微不同的数据结构或者调用特定位置的数据， DaaS 通过最小程度的变更能够非常快速满足需求。

成本效益。服务提供者找数据专家来建好底层架构，表现层可以外包给别人 ( 报表和仪表盘用户界面等 ) ，同时使得任何变更需求都能更灵活的满足。

数据质量。通过服务来控制数据的访问，这对数据质量改进非常有帮助，因为更新点只有一个。当服务彻底测试之后，如果下一次部署不发生变化，那么他们只需要进行测试就好了。

效率、高可用和弹性。这些优势来自于虚拟化，物理服务器资源共享将提升效率，跨多个物理服务器的集群可以提高可用性，动态调整和实时迁移集群节点到不同的物理服务器能够增强弹性。

DaaS 层提供服务的稳定性及高可靠性，必须依靠 IaaS 层硬件及虚拟化来保障。

4.2.4 应用服务层 (SaaS)

SaaS 是 Software-as-a-Service （软件即服务）的简称 , 它是通过 Web 提供软件的模式，通过将应用软件统一部署在云平台上，用户可以根据自己的实际需求，通过 Web 获取所需的应用软件服务，并通过网络获得软件服务。对于云计算平台用户来说， SaaS 是采用先进软件技术的最好途径，它消除了购买、构建和维护基础设施和应用程序的需要。 IaaS 层也是作为 SaaS 层底层支持的硬件，参与提供服务。

4.3 物理架构规划

XX 企业云网安数据融合平台从技术架构层面看是一个复杂的系统，涉及企业内多计算中心的统一管理和第三方云平台的管理。因此，根据当前 IT 架构现状，企业云平台采用分布式架构部署方案：

通过分布式架构部署方案，可以将企业内各计算中心的资源进行统一管理和调度，从而可以更好地满足未来业务对 IT 资源的需求。总部云管理平台作为全企业的资源总适配层，对上提供标准接口与企业已有流程系统对接，统一对企业内用户提供云服务。

5 基础架构规划

5.1 计算资源池设计

计算资源池以计算虚拟化为核心，是软件定义计算最主要的解决途径。依托计算虚拟化技术，虚拟机成为计算调度和管理的单位，可以在计算中心内部甚至跨计算中心的范围内动态迁移而不用担心服务中断。

所谓计算虚拟化，从狭义角度可理解为对单个物理服务器的虚拟化，主要包括对服务器上的 CPU 、内存、 I/O 设备进行虚拟化，实现多个虚拟机能各自独立、相互隔离地运行于一台服务器之上。从广义角度也可以理解为对网络中的 CPU 、内存、 I/O 设备等资源进行整合、抽象和虚拟化。

计算虚拟化架构

计算虚拟化对传统的物理服务器而言，在以下三个方面突破了传统的应用模式：

1 、它是一个抽象层，它将物理硬件和操作系统分离，从而提供更高的 IT 资源利用率和灵活性。
2 、计算虚拟化允许具有不同操作系统的多个虚拟机在同一实体机上独立并行运行。每个虚拟机都有自己的一套虚拟硬件，可以在这些虚拟硬件上加载操作系统和应用程序。无论实际采用了什么物理硬件组件，操作系统都将它们视为一组标准化的硬件。
3 、虚拟机被封装在文件中，因此可以快速对其进行保存、复制和部署。可在几秒钟内将整个系统（完全配置的应用程序、操作系统、 BIOS 和虚拟硬件）从一台物理服务器迁移至另一台物理服务器，以实现零停机维护和连续的工作负载整合。

由于虚拟架构使操作系统摆脱了和底层硬件驱动之间的紧耦合关系，操作系统和上层应用可在计算资源池内平滑迁移，为应用系统提供具有高性能计算能力、安全稳定、灵活的硬件承载平台。

在 XX 企业涉及的计算虚拟化技术包括： KVM 、 VMWare 、 PowerVM ，在 ×× 云项目均需要给予良好的支持。本期主要提供 KVM 虚拟化，未来根据业务发展情况，有选择性的增加 VMWare 或 PowerVM 虚拟化模块，并由云平台进行纳管。

5.2 存储资源池设计

XX 企业云平台将按照软件定义存储（ SDS ）的架构建设存储即服务。 SDS 是 SDDC 的基本组件，其核心理念为存储控制平面与数据平面的分离，可对异构存储资源进行抽象化处理，以支持存储在逻辑上的池化、复制和按需分发，并以应用为中心进行消费和管理，并实现基于策略的自动化。

SDS 旨在通过主机上与底层硬件集成并对其进行抽象化处理的软件层，实现存储服务和服务级别协议的自动化。通过 SDS ，可以动态满足虚拟机存储要求，而无需重新调整 LUN 或卷。虚拟机工作负载可能会随着时间的推移有所变化，而底层存储可以随时适应工作负载。

1 、物理存储设备： SDS 的底层可以是各种不同类型的物理存储设备，包括 SAN 存储、 NAS 存储、 DAS 存储等等；
2 、存储虚拟化层：在物理存储设备基础之上，通过虚拟化层形成不同类型的虚拟存储资源池，如 IP-SAN 资源池、 FC-SAN 资源池、 DAS 资源池，满足云应用对存储的动态调配需求；
3 、数据服务：主要提供各种类型的数据存储服务，包括块存储（ Block ）、文件存储（ File System ）、对象存储（ Object ）以及 HDFS 分布式存储等；
4 、策略管理：以虚拟机为中心，通过软件抽象存储设备的控制管理功能，通过预定义策略实现对存储资源的自动化调配、保护及服务。

5.3 超融合资源池设计

超融合基础架构是一套全软件定义的 IT 融合基础架构，不仅在工业标准的 x86 架构单元设备中预集成了服务器、存储和网络等硬件模块，而且预集成了计算虚拟化、存储虚拟化和网络虚拟化技术，以软件定义的形式构建拥有弹性扩展与统一管理能力的数据中心，实现以虚拟化为中心的 SDDC （ Software Defined Data Center ，软件定义数据中心）技术架构，达到 IT 基础设施快速部署和精简运维的目的。

超融合基础架构就是在计算节点上运行服务器虚拟化软件（ Hypervisor ）和存储虚拟化软件（ Server SAN ），将所有的计算节点通过网络聚合成一个统一的虚拟计算和虚拟存储资源池，以资源池的形式提供数据中心所需的 IT 基础设施。

超融合产品旨在将计算、存储、网络、安全、运维管理、云业务交付等融入到单一的企业级硬件平台，以互联网思维的软件定义技术重新定义企业 IT 数据中心，帮助客户以更敏捷的效率将 IT 架构延伸到互联网先进的全栈软件定义架构，同时，结合深厚的网络技术、安全技术和虚拟化技术经验积累，实现云计算、网络、安全三维无缝融合，提供了包括 Overlay 网络、 DRX （ Dynamic Resource eXtension ，动态资源扩展）、云彩虹、分布式虚拟双栈防火墙、电信级高性能虚拟网络交换机等创新技术与方案，致力于为 XX 企业提供安全、稳定、易用、高性能和开放的超融合管理产品与解决方案。

5.4 网络资源池设计

结合 XX 企业云计算建设现状与需求，通过 SDN+VxLAN 网络虚拟化技术构建适应云计算需求的新型智能网络 , 一种支持多租户隔离，自动化部署，位置解耦的云网络架构。

引入 SDN 控制器，为后续建设打好基础， SDN 控制器接管网络，为云管理平台屏蔽异构、多类型设备的差异，实现对网络和安全设备的分租户、自动部署。通过建设网络 Overlay ，可将现有的虚拟化 / 非虚拟化服务器纳入 VxLAN 网络，也为后续任意形态的服务器接入 VxLAN 网络创造条件。

云平台既有物理服务器也有虚拟机，根据现网的软硬件设备情况，以及传统网络和 Overlay 网络的长期并存和演进，建议采用 Overlay EVPN 组网。

EVPN 组网：由网络设备提供 Overlay 的报文处理、转发，性能较高，对服务器及其上的 Hypervisor 软件无要求，同时也可以使物理服务器进入 Overlay 网络中，管理界面也较清晰。通过 MP-BGP 实现 VTEP 自动发现、 VXLAN 隧道自动建立，业务通过 BGP 路由实现全网自转发，当 SDN 控制器集群出现故障时，不会影响转发业务。

6 PaaS 规划

PaaS 平台对底层的集群管理和资源调度进行了平台化抽象，全方位支持应用创建、编译、集成、编排、部署和运行的每一个环节，提供一个高效、高可用的应用运行环境。

PaaS 平台应对 XX 企业具体需求，以容器服务和虚拟机作为运行环境，以数据库和中间件作为支撑，提供应用管理、微服务治理、 DevOps 、大数据等核心场景能力，向下对接 IaaS 平台的基础资源，向上以平台方式提供服务。提供的 PaaS 服务如下图所示：

作为 PaaS 层平台，用来提供应用、容器、镜像、中间件即服务、开发运维一体化等服务能力。

平台采用分层的架构，主要分为业务无关 PaaS 核心层以及资源无关的适配管理层， PaaS 核心层可灵活地通过 API 对接各种应用系统，包括应用编排系统、应用治理系统、数据服务系统、应用开发系统以及其它相关的运营辅助系统；同时平台可以做到适配不同的底层基础设施，支持多种对接组合来适应私有云，混合云，虚拟化等多种不同场景需求。

平台采用微服务的方式进行开发，以容器的方式进行部署，以增强版 Kubernetes 作为平台的自动调度引擎，并通过融入 Docker 、 Cloudify 、 Harbor 等先进的云计算、容器相关技术用于保障平台全方位的服务能力。

7 云安全规划

7.1 云安全规划目标

随着 XX 企业信息建设企业信息一体化云平台，需要针对云平台的安全体系进行规划。依据国家等级保护要求和智能电网系统安全防护要求，基于企业信息现有安全体系之上针对云环境下的技术安全进行补充和完善，实现企业信息一体化统一云平台统一安全管理。

根据对企业信息一体化统一云平台信息安全技术需求的总结，参考业界云平台安全技术架构方法结合现有的安全技术，提出企业信息一体化统一云平台安全技术架构框架。每个定义的安全技术功能服务组件，都能够形成独立安全服务平台，用于实现 ×× 企业信息一体化统一云平台的安全目标。

7.2 云安全规划思路 方案

XX 企业信息一体化统一云平台安全保障总体框架以信息安全方针为指引，以信息化架构为基础，核心涵盖信息安全管理体系和信息安全技术体系两大体系。

信息安全技术体系是满足企业信息一体化统一云平台安全需求的技术实现，是信息安全工作的重要支柱。通过对 ISO/IEC 15408-2 “ 通用规范（ Common Criteria ） ” 进行提炼，总结出身份与信任管理、访问控制、信息流控制、完整性管理、安全审计管理五个安全域，覆盖了所有安全技术需求。各安全域相互依存并分别运作，共同构成一个完整，全面和与企业业务需求紧密相关的安全架构。同时，五个安全域又依托于物理安全、网络安全、主机安全、应用安全和数据安全作为其基础安全架构，共同构建满足 ×× 企业信息一体化统一云平台安全需求的重要技术支撑。

8 云运维规划

随着 XX 云平台平台的建设，网络环境日趋复杂，业务系统规模日趋庞大、架构日趋复杂，基础设施越来越多，对云平台的稳定性、可靠性要求也越来越高。为应对云平台引入给运维工作带来的变化与挑战，建议企业从运维管理三要素：组织、流程、工具的视角全面考虑应对的措施，使现有运维管理体系能够应对云环境下运维管理的挑战。

云计算属于业务平台的一种，只不过其承载的不是业务，而是其他业务平台。结合前期对运维现状的调研，在云平台运维规划中，我们建议云运维工作基本可以参考现有业务平台的维护制度，只是维护的内容及对象有所不同而已。

为保障 ×× 云平台稳步、有序地发展，在云运维建设过程中需要编制云运维管理制度和标准化管理文档以规范化云平台运维。

云运维管理制度建议从 “ 管理类规范 ” 和 “ 技术类规范 ” 两方面考虑：

管理类规范包括：

· 云数据中心实施规范
为云化数据中心的基础设施和网络规划建设提出要求、规范。

· 云服务标准和规范
给出基础设施云对外提供的云服务类型、规格、 SLA 等指标规范。

· 云服务运营规范
给出基础设施云运营中角色、权限、服务流程、服务生命周期等相关约定和规范。

· 云服务运维规范
给出基础设施云运维团队实现基础设施云自身一体化运维的角色、职责、流程、主要工作项等方面的约定和规范。

技术类规范包括

· 云硬件设备准入规范
用来规范和约束云资源池硬件的技术策略、选型和指标要求。

· 云管理平台技术规范
用来规范云管理平台的软件功能模块、对应的技术策略、选型和指标要求。

· 应用云化部署规范
对既有应用系统向云端迁移、以及在云端规划部署新建应用系统给出具体的技术约束和指标；用以指导应用云化部署。

· 云管理平台集成规范
对基础设施云管理平台自身与企业 IT 环境中的其它系统之间的集成，例如身份认证系统、企业 IT 信息管理系统、安全管理系统、灾备系统等等。