云存储架构开发寻找团队 (技术交流)

背景描述:
企业有需求开发底层的云存储架构
1.架构要求可以满足于它在世界上(香港,巴黎,纽约和新加坡)等四个节点的数据存储和访问。除了纽约大概有100多个人,其他点大概50个人左右。每个点的最大数据量大概是一天有20G左右的数据,纽约大概是50G。
2.需要为现成的应用提供数据访问接口。用户访问使用https,支持多平台(包括苹果,Linux在内的系统,并且可以扩展到以后Android和iOS的移动终端)支持所所有浏览器访问(Chrome, IE, Safari和Firefox)
3.架构的安全性需要满足数据的完整性、可用性和保密性等原则。存储满足自定义数据备份时间表。
4.由于对访问速度需要达到最少350Kbps/user,因此性能上需要保证使用最优化的算法。
5.后台提供用户使用情况的报表,日志平台
6.提供先期的开发模型,测试。
7.团队以外包的形式运作,方案需要包括数据中心的建设。
参与6

5同行回答

博飞信息科技博飞信息科技CTO博飞信息科技(上海)有限公司
回复 3# gdstan     Swift存储只提供对象存储,实质上就是模仿着AWS S3服务,Rackspace当初贡献出来还是比较稳定的,但是了解到的大型项目不是很多。这是官方对架构的解释:http://docs.openstack.org/develo ... w_architecture.html。    Ceph提供的接口...显示全部
回复 3# gdstan


    Swift存储只提供对象存储,实质上就是模仿着AWS S3服务,Rackspace当初贡献出来还是比较稳定的,但是了解到的大型项目不是很多。这是官方对架构的解释:http://docs.openstack.org/develo ... w_architecture.html
    Ceph提供的接口很多,包括对象存储、块存储、文件系统,系统底层仍然是对象存储。Ceph项目很热,基本上是OpenStack的首选,Ceph的算法很有意思,相对来说写入路径较长,所以需要通过进行一定的优化,而且与OpenStack这样的云平台整合的很好。Ceph的案例很多,比如CERN的PB级Ceph资源池。使用Ceph最大的挑战来自于运维,需要结合自己的使用场景进行合理的监控和运维。分布式存储的写入性能一般,但是读取可以通过达到硬件的水平,适合一次写入多次读取的场景。相关的链接:http://ceph.com/docs/master/architecture

至于安全性方面,这个可能是比较宽泛的问题,要根据实际情况具体分析。收起
软件开发 · 2015-03-19
浏览1634
博飞信息科技博飞信息科技CTO博飞信息科技(上海)有限公司
回复 4# gdstan     所有的评测工具都只能是一个参考,最好的评测工具还是应用本身。所以呢,建议根据应用的性能估算出到底应用消耗的是存储哪方面的指标IOPS还是吞吐率,随机读和随机写的比例是多少?有了这些分析后,我们可以使用例如fio/iostat/iozone等存储方面的测...显示全部
回复 4# gdstan


    所有的评测工具都只能是一个参考,最好的评测工具还是应用本身。所以呢,建议根据应用的性能估算出到底应用消耗的是存储哪方面的指标IOPS还是吞吐率,随机读和随机写的比例是多少?

有了这些分析后,我们可以使用例如fio/iostat/iozone等存储方面的测试工具进行测试。收起
软件开发 · 2015-03-19
浏览1508
gdstangdstan技术总监AIG
另外,我还想问一下,如何对一个云存储平台做一个系统的评测?显示全部
另外,我还想问一下,如何对一个云存储平台做一个系统的评测?收起
互联网服务 · 2015-03-16
浏览1485
gdstangdstan技术总监AIG
对,本身想要求做私有云的。这样对数据安全性有保证。主要是很多的一些金融分析的文件和报表,一个文件大概是10M到300M左右吧。想问一下,这个Swift/Ceph存储架构是怎样的,有没有这方面的东西?一个这样的私有云,我们如何做安全性方面的保障(很关心这个),后台主要的模块都包含哪些?...显示全部
对,本身想要求做私有云的。这样对数据安全性有保证。主要是很多的一些金融分析的文件和报表,一个文件大概是10M到300M左右吧。

想问一下,这个Swift/Ceph存储架构是怎样的,有没有这方面的东西?一个这样的私有云,我们如何做安全性方面的保障(很关心这个),后台主要的模块都包含哪些?收起
互联网服务 · 2015-03-16
浏览1522
博飞信息科技博飞信息科技CTO博飞信息科技(上海)有限公司
如果是使用公有云的话,觉得比较容易实现,使用AWS S3服务应该基本满足您对功能上的需求,可以再找团队基于此开发客户端即可。这方面比较典型的案例包括Dropbox/Instagram等。但是感觉您应该还是希望使用私有云,这样的话就需要定制性的开发,现有的分布式存储解决方案基本可以满...显示全部
如果是使用公有云的话,觉得比较容易实现,使用AWS S3服务应该基本满足您对功能上的需求,可以再找团队基于此开发客户端即可。这方面比较典型的案例包括Dropbox/Instagram等。
但是感觉您应该还是希望使用私有云,这样的话就需要定制性的开发,现有的分布式存储解决方案基本可以满足您对底层性能的要求,例如Swift/Ceph的对象存储等,但是的确需要大量的定制化开发以及系统集成的方面的规划。

另外想问一下您每天产生的数据中,是以什么样的数据为主,单个文件的大小是多少?收起
软件开发 · 2015-03-16
浏览1508

提问者

gdstan
技术总监AIG

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2015-03-16
  • 关注会员:0 人
  • 问题浏览:4218
  • 最近回答:2015-03-19
  • X社区推广