该来的总会来
作者该来的总会来2018-03-14 09:34
系统工程师, 华润

智慧光伏企业如何处理PB级非结构化数据难题?

字数 2807阅读 8761评论 2赞 6

根据德勤的估算,非结构化数据在全球携带信息的内容中的占比高达80%-90%。从结构化数据中获取信息是企业数字化转型所必备的技能。而由于访问和处理非结构化数据既昂贵又困难,目前大多数企业对非结构化数据价值的开发还远远不够。

IDC预测,到2020年,相比做不到分析结构化数据和非结构化数据(即所有相关数据)并获取可执行信息的企业,能做到这类数据分析的企业可以获得额外的4300亿美元的生产力收益。

当然,意识到这一点的企业不会等到2020年,全球最大的光伏组件供应商天合光能正致力于成为智慧光伏领域的领导者。

聚焦新数据需求

这几年,新能源行业的发展尤其是太阳能光伏产业被广泛看好。

天合光能作为全球太阳能发电行业的领军者,在全球拥有九大工厂,产品行销全球70多个国家,截至2017年年底,天合光能光伏组件累计总出货量超过32吉瓦,全球排名第一,占据超10%的全球市场份额。

在经历光伏行业快速发展之后,天合光能在科技驱动业务上动了更多的心思,思索如何充分利用互联网、大数据等创新技术,进一步提升整个IT的系统能力和服务能力,以期更加灵活、高效、快速响应业务的快速增长和业务创新的需求,加速推进业务智能化管理,提升用户体验,成为智慧太阳能领域的领导者。

经过梳理,天合光能将重点放在了太阳能电池板的EL图片数据上。作为太阳能发电系统中的核心部分,太阳能电池板的质量直接决定了整个系统的转化效率。因此,在制造环节,为了实现最佳的质量监控和追踪,天合光能会给每一块太阳能电池板拍摄EL图片。

EL图片拍摄的意义在于对质量管控、质量追溯、质量保证有重大价值:它贯穿了太阳能电池板的整个生命周期,通过显示有无隐裂、碎片、虚焊等缺陷,EL图片保证在产品交付前的存档和及时发现问题;在25年的质保期内发现质量问题,特别是隐裂缺陷,可以通过EL图片进行追溯;还可对EL图片进行数据建模和分析,利用大数据找寻潜在的缺陷,从而改进生产工艺或流程,提高用户满意度。

天合光能敏锐地捕捉到了智能的EL图片管理的重要性,但同时也遭遇了典型的数字化转型难题:

  1. 一是数据量巨大——EL图片数据储量已达PB量级;
  2. 二是地理位置上分布分散——天合光能在全球分布九大工厂;
  3. 三是图片数据类型为非结构化数据——从管理上,需要消耗大量存储空间且难以统一管理、追溯和有效共享及调用。

试想如果没有相应的存储技术对EL图片进行处理,那么要查找2年前某个批次的EL图片,就得调用备份文件库,再用手工方式按批次查找,不仅耗时长,操作复杂,且错误率难以控制,无法真正实现EL图片的数据价值。

而从整体管理层面来看,如果能将9大工厂汇总后的EL图片信息实现高效的统一管理,不仅能大大简化产品全生命周期的掌控,为“能源互联网”的战略布局打下坚实基础,也为整体升级为“智慧能源”埋下伏笔——图片信息大规模收集分析用于深度学习的数据资源池。

新一代存储如虎添翼

天合光能深知,深度挖潜EL图片价值的关键在于选择适用的存储解决方案。

新一代软件定义存储解决方案对跨地域跨时区的非结构化数据管理的针对性大大增强,提供高性能、低延迟和简化的存储管理,更快速、安全、可靠、可扩展且更具成本效益——这些优点在越来越多的复杂业务环境中得到验证。

作为分布式文件管理系统,IBM的Spectrum Scale为本地以及混合云架构下的高性能运算、数据海洋、AI等新型工作负载提供灵活的数据管理和共享,在应对非结构化数据爆炸性增长所面临的挑战方面也有其独到的特色:

比如Spectrum Scale包含了许多行业、计算、大数据、HDFS和业务关键内容库所需的协议、服务和性能。依靠极高的可扩展性、闪存加速性能、从闪存到磁盘再到磁带的自动的基于策略的存储分层机制,Spectrum Scale可按使用需求按“冷热”对数据进行分层管理,可节省90%存储成本。并改善在云、大数据和分析环境中的安全性和管理效率,支持更快速和更高效的数据检索。

此外,在统一归档方面,Spectrum Archive使用图形化档案减少复杂度,针对应用提供磁带的基本读写界面;在跨中心数据保护方面,Spectrum Protect支持对虚拟环境/云环境等备份的集中管理,在几分钟的时间内就可以完成数据恢复,还提供提供一站式管理平台。

由Spectrum Scale、Spectrum Archive、Spectrum Protect三大拳头产品组成的IBM存储解决方案因此得到了天合光能的青睐,应用后在EL图片的检索效率、存储按需分配、成本效益三个方面效果尤为显著,由此实现了非结构化数据管理的质的飞跃——便捷性、可用性、易用性、经济性都上了一个新台阶,进而支撑对业务的智能化管理,也为未来AI的植入清除了障碍。

之前,要调取全球九大生产基地所生产的太阳能电池板EL图片,需要人员去往相应的工厂或者远程邮寄。现在,只需要点击鼠标,几秒钟之内就可实现所有EL图片的快速检索,而且各分工厂的数据管理人员可以把磁带库当U盘使用,极大地减轻了IT运维的工作负担。

之前,冷数据、热数据混杂。现在,无需人工干预就可以实现冷数据、热数据的区别对待——需要备份归档存储的冷数据存到磁带上,然后存入专用的磁带柜,既有效地利用了空间和能源,又保障了日后追溯;近两三年的热数据则放在服务器相应的硬盘或闪存中,一线生产人员、客服人员,或是质量工程师可快速检索调取这些数据。

之前,数据存储的安全性令人担忧,而互联网公司流行的分布式文件系统对天合光能来说并不适用。现在,数据备份和数据恢复有了双重保障,在不增加能源消耗、不需要额外硬盘、不增加冗余的情况下保证了数据存储的高度安全。

之前,非结构化数据的访问和存储费钱费时。现在,硬件成本、软件成本、电力消耗成本、运营管理成本等统统算在内的总体IT成本大幅降低。

有AI、机器学习的新目标

IBM软件定义新一代存储解决方案已经解决了天合光能在非结构化数据的存储资源整合和存储资源的集中自动化管理上的后顾之忧,这让天合光能对拓展应用场景和试用新技术跃跃欲试,也给自己找到了新目标。

一方面,天合光能将在销售、研发以及能源互联网等场景继续应用Spectrum 存储软件实现其在制造和营销流程中的优化功能。

另一方面, 将继续与IBM 一道探索人工智能和机器学习方面的独到之处。通过不断与存储解决方案相结合,天合光能期望将AI、机器学习技术引入EL图片隐裂缺陷的检测识别过程中,实现及时发现和抓取隐裂,摆脱对质检员经验的重度依赖,减少人工压力,降低人力成本,并效避免漏检。

借力IBM的软件定义存储解决方案,天合光能迈出了成为科技驱动的智慧太阳能企业的重要一步,而伴随着更多新技术、更多解决方案在更广泛场景的应用,天合光能会走得更远更好。

如果觉得我的文章对您有用,请点赞。您的支持将鼓励我继续创作!

6

添加新评论2 条评论

#xuct数据仓库工程师, 中国太平
2018-08-30 00:14
学习了
#wuwenpin软件开发工程师, 南京
2018-03-14 11:33
学习了
Ctrl+Enter 发表

关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
© 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30