如何搭建智能资讯的体系架构?

您好,请问如果企业要搭建某个行业垂直化的智能资讯,体系框架建议怎么搭建,谢谢

参与8

1同行回答

rein07rein07系统架构师某证券
您这个话题有点大,我想从几个技术方面说明下:1、爬虫平台 所有系统都要有数据支撑,掌握核心数据已经成功一半,而您要做的资讯数据,我想大部分应该来自于网站吧,或者像第三方机构购买,如果是前者,我想应该要搭建一套爬虫平台,实时抓取资讯信息。2、数据处理 资讯数据都是半结构...显示全部

您这个话题有点大,我想从几个技术方面说明下:
1、爬虫平台
所有系统都要有数据支撑,掌握核心数据已经成功一半,而您要做的资讯数据,我想大部分应该来自于网站吧,或者像第三方机构购买,如果是前者,我想应该要搭建一套爬虫平台,实时抓取资讯信息。
2、数据处理
资讯数据都是半结构化的,将半结构化数据尽量形成结构化数据,会非常有利于未来的查询分析工作,因为无论是大数据还是深度学习算法,都是针对结构化数据的处理。预处理效果也好,未来分析的效果可能也越好。
3、入库并提供检索
将预处理好的数据入库,上层提供检索、消息推送等功能,这样一个简单的资讯系统就可以对外服务了,只要数据实时性好,数据预处理质量高,系统的效果一定也会不错。
4、自然语言处理训练
面对海量的资讯数据,在垂直领域内,肯定有更细致的关注点,比如在金融领域,一篇资讯,它的中心思想可能是不看好股市的走向,或者国家发布了一项很重要的金融政策等等,这些需要通过自然语言处理,提取中心思想,情感分析等等。这是高级的资讯系统所具有的功能,也是比较难做的部分。
不到您的具体需求是什么,只是宏观上介绍了下应该具备的技术架构点,如果有更细致的需求,可以再交流。

收起
证券 · 2018-01-29
浏览1470

提问者

roberti
软件架构设计师华泰期货有限公司

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2018-01-26
  • 关注会员:2 人
  • 问题浏览:3756
  • 最近回答:2018-01-29
  • X社区推广