对象存储COS成本优化方案

字数 4325阅读 1861评论 0赞 0

随着上云企业越来越多，企业对用云成本问题也越发重视。业务的发展会产生海量存储需求，在云端存储数据时，如何进行成本优化，减轻业务负担呢？

在进行成本优化之前，首先需要了解腾讯云对象存储COS的成本构成。对象存储的计费项主要包括存储费用、流量费用、请求费用、数据取回费用和管理费用等五大项；对于大部分客户来说，存储费用和流量费用是其云存储成本的主要组成部分。

在 存储费用 方面，COS提供了标准存储、低频存储、智能分层存储、归档存储、深度归档存储等不同的存储类型，各个存储类型的产品规格和价格均存在差异，客户可以根据自己的业务模式选择性价比最匹配的存储类型。
在 流量费用 方面，存在外网下行流量、CDN回源流量、跨地域复制流量和全球加速流量等流量类型，业务模式的差异会导致用户流量费用的构成存在差异。比如，某客户的业务主要以电商网站为主，存在大规模图片分发，这类业务的CDN回源流量较多，因此消耗的流量费用主要以流量费用为主。

下面我们将从5个方面介绍COS成本优化方案：

选择合适的存储类型
定期通过清单和访问日志功能分析数据访问模式
通过生命周期和批量处理沉降数据
通过文件压缩减少存储容量
进行成本回顾

一、选择合适的存储类型

根据业务模式选择合适的存储类型能够较大幅度地优化业务的存储成本。COS提供了丰富多样的存储类型，客户可以根据对性能、数据持久性、业务可用性的要求，选择不同的存储类型。标准存储的存储费用相对较高，但提供了最少的读取延迟；低频、归档、深度归档这三种存储类型的存储费用较低，但是在下载数据的时候，会额外消耗数据取回费用，并且需要消耗较久的取回时间，因此更适合于少量读取的数据存储。下表展示了使用不同存储类型存储一个月数据对应的存储成本，以在广州园区存储100TB业务数据为例：

从表中可以看到，如果业务数据下载量较低，则选择归档存储甚至深度归档能有效降低存储成本，最冷的深度归档存储相较标准存储可节省90%存储费用；但如果业务数据需要频繁下载，则低频、归档、深度归档存储的取回费用会带来额外的成本开销，导致整体费用反而更高。

具体到业务场景中，我们推荐：

频繁读写场景 ：比如UGC场景、电商图片等读多写少的业务，可使用标准存储类型。如果业务对可用性和数据持久性有高要求，则可以考虑使用多可用区标准存储。
少量读场景（一个月读一次） ：比如日志数据分析、网盘数据等业务，读取频率较低，但读取时对性能要求高，可使用低频存储类型。对可用性和数据持久性有高要求的业务可以使用多可用区低频存储。
极少量读场景（三个月读一次） ：比如视频监控、日志数据归档等业务，读取频率极低，对读取性能要求较低，可使用归档存储类型。
基本不读取场景（半年读一次） ：比如医疗影像、档案资料等业务，日常仅做长期备份用，对读取性能几乎无要求，可使用深度归档存储类型。

此外，在使用不同存储类型时，我们建议客户注意最小存储时长和最小存储单元的限制，同时关注不同存储类型的性能表现。下表提供了一个简单的对比。

最小存储时长：数据存储在对应存储类型时，需要存储的最短时间，不满最短时间按照最短时间算。比如低频存储最少存储 30天，如果一个低频数据只存储了1天就删除，也会按照 30天计算费用。
最小存储单元：数据存储在对应存储类型时，需要存储的最小文件容量，不满最小文件容量按照最小文件容量算。比如低频存储最少存储 64KB，如果一个低频文件只存储了 1KB，也会按照 64KB计算费用。_

二、定期通过清单和访问日志功能分析数据访问模式

分析数据的访问模式能够为选择合理的存储类型提供数据支撑。COS提供了清单能力和访问日志功能，分别用于记录存储的文件元数据信息和文件访问记录，并将这些信息转存到用户的存储桶中。

> 有关清单功能的详细介绍，可以参考文档> 配置清单功能> ；

> 有关访问日志管理功能的详细介绍，可以参考文档> 配置访问日志管理> 。

对象存储提供了COS Select能力检索文件中的内容，如果您生成的清单文件或者日志记录过多，您也可以购买弹性Map Reduce集群，搭建Presto集群进行数据分析。

> 有关COS Select的能力介绍，可以参考文档> 使用对象检索> ；

> 有关EMR进行分析的介绍，可以参考文档> 使用Presto分析COS上的数据> 。

以检索分析清单文件中的数据为例，当清单报告投递到指定存储桶后，您可以进入控制台对指定的清单报告进行分析：

1、进入文件列表，找到对应的清单报告，点击最右侧检索；

2、进入文件检索页面，配置好相应入参；

3、输入检索语句，在检索结果卡片页查看检索结果；

注意：控制台只支持检索128MB以下文件，如果清单报告的容量过大，或者报告数量过多，可以选择工具、SDK或者API的方式调用。

以下是几种常见的检索清单报告的检索语句：

查询某一天某类存储类型有多少文件：
select count(*) from cosobject s where s._7 = 
select count(*) from cosobject s where s._7 = 'Standard'
查询某一天某类存储类型有多少MB容量：
select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = 
select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = 'Standard'
查询某类存储类型小于64KB的文件数量：
select count(*) from cosobject s where s._7 =   and CAST(s._4 AS FLOAT) < 
select count(*) from cosobject s where s._7 = 'Standard_IA' and s._4 < 64*1024
查询桶内跨地域复制失败的文件数量：
select count(*) from cosobject s where s._9 = 'Failed'

注意：清单报告中不包含表头信息，因此只能输入对应字段的序列号进行检索，清单报告的表头和序列号对应信息如下：

三、通过生命周期和批量处理沉降数据

业务发展过程中，数据的访问模式一直在动态变化，对于大部分数据而言，其访问热度一般随着存储时间的增长而降低。因此，企业需要根据业务数据访问模式的变化，调整数据存储类型以便业务成本处于最佳状态。

COS提供了生命周期能力帮助企业定期地转换存储类型，企业可以通过清单和访问日志分析业务数据的访问模式，根据业务访问模式制定合理的生命周期转换规则。

以某经营社区平台的客户为例，使用COS存储用户上传的图片数据。一般而言，图片数据在刚上传后的一段时间里会被频繁访问，经过一段时间传播后，大部分数据会逐渐”变冷“，访问频次逐渐减少。假设这一客户大部分图片数据在经过90天后数据访问频次已经低于1次/月，在365天后基本无人访问，我们可以对比设置生命周期和不设置生命周期时的成本情况：

可以看到，使用生命周期规则管理存储桶中的对象能够较大幅度地降低数据存储费用。对于长期存储的数据，合理配置生命周期规则能帮助业务降低50%以上存储成本。

除了管理业务数据存储类型外，生命周期能力还可以用来管理存储桶中的文件碎片和历史版本文件。文件碎片是业务在上传大文件过程中，因为网络中断等意外情况中断传输产生的文件分块信息，如果业务中存在大量文件碎片，可以通过生命周期规则对文件碎片进行过期删除。历史版本文件则是开启版本控制功能后产生的旧文件信息，历史版本文件可以用于数据误删后的恢复和回滚，但会占用存储空间，业务同样可以设置一个过期删除时间，将没有用的历史版本文件清理掉，以在数据安全和成本之间进行平衡。

如下图，只需要在配置时，选择开启【管理历史版本文件】，或者选择【删除碎片】，即可按需进行配置。

对于个别业务，仅只需要一次性将大批量文件转为更冷的存储类型，并且没有固定的规则（比如指定的前缀或者标签），则用户可以使用COSBatch批量处理能力，使用批量拷贝功能将数据修改为其他存储类型或者添加对象标签以便设置生命周期规则删除。操作步骤如下：

1、导出待处理文件列表，整合成csv格式文件；

2、创建COSBatch批量处理任务，导入文件列表；

3、执行批量处理任务，等候任务完成即可。

详细的操作步骤可以参考COSBatch批量处理操作指南，进一步了解操作详情。

四、通过文件压缩减少存储容量

对于图片类数据，对象存储也提供了数据压缩能力帮助用户压缩图片大小，减少存储成本。目前提供了压缩能力如下：

Gueztli压缩。Gueztli压缩是一种视觉无损压缩，利用人眼对于部分色域及图片细节的不敏感性，在不影响视觉效果的前提下有选择地丢弃细节信息，使得在相同质量条件下比原图节省约35% - 50%的图片大小。
TPG压缩。TPG 是腾讯推出的自研图片格式，可将 JPG、PNG、GIF、WEBP 等格式图片转换为 TPG 格式，大幅减小图片大小，压缩比可达到35%以上。
HEIF压缩。针对 iOS 环境的图片使用场景，可将 JPG、PNG、GIF、WEBP 等格式图片转换为 HEIF 格式，HEIF 格式有着超高压缩率，压缩比一般在45%以上。

以某客户图片存储业务为例，下表对比了100TB图片存储采用不同压缩方式后的成本支出情况：