成本优化!COS对象存储方案

| 导语 使用COS对象存储产品时有哪些技巧,省钱妙招,优化方案介绍,感兴趣请往下阅读吧。

1.流量成本优化

措施1:COS-CDN方式

架构图

成本优化!COS对象存储方案

费用组成

COS 作为 CDN 源站时产生的流量


计费项

计费项说明

CDN 回源流量

当用户将 COS 作为 CDN 源站进行使用时,数据从 COS 传输到腾讯云 CDN 边缘节点产生的回源流量

CDN 流量

当用户将 COS 作为 CDN 源站进行使用时,数据从 CDN 边缘节点下载到用户本地或客户端时产生的 CDN 流出流量

COS 请求费用

当用户将 COS 作为 CDN 源站进行使用时,数据从 COS 传输到腾讯云 CDN 边缘节点时,会产生 COS 请求次数,请求费用按照发送到 COS 的请求指令次数进行计算

存储桶鉴权一览


存储桶访问权限

是否开启 CDN 回源鉴权

是否开启 CDN 鉴权配置

通过 CDN 加速域名是否可访问源站

通过 COS 源站域名是否可访问源站

适用场景

公有读

关闭

关闭

可访问

可访问

全站公共访问

公有读

开启

关闭

可访问

可访问

不推荐

公有读

关闭

开启

需使用 URL 鉴权

可访问

不推荐

公有读

开启

开启

需使用 URL 鉴权

可访问

不推荐

私有读+CDN 服务授权

开启

开启

需使用 URL 鉴权

需使用 COS 鉴权

全链路保护

私有读+CDN 服务授权

关闭

开启

需使用 URL 鉴权

需使用 COS 鉴权

不推荐

私有读+CDN 服务授权

开启

关闭

可访问

需使用 COS 鉴权

源站保护

私有读+CDN 服务授权

关闭

关闭

不可访问

需使用 COS 鉴权

不推荐

私有读

关闭

开启或关闭

不可访问

需使用 COS 鉴权

无法使用 CDN

控制台操作方法

存储桶–域名与传输管理–自定义CDN加速域名–添加域名

成本优化!COS对象存储方案

保存后大约10分钟,配置生效,可登陆CDN控制台进行详细配置

https://console.cloud.tencent.com/cdn/domains
成本优化!COS对象存储方案

配置完成。

使用CDN域名,相关费用包括:CDN公网流量费;COS回源流量费+COS请求量费用

成本优化!COS对象存储方案

推荐建议

费用对比

假如某个用户,国内一个月的业务流量有1TB,客户端请求量200W。

按仅使用COS的场景计费

流量费用:1TB*1024*0.5 = 实际流量*转GB*每GB流量费用 = 512元

请求量费用:200W*0.01 = 2元

共计512+2 = 514元

按使用CDN-COS的场景计费,假设CDN缓存率为99%

CDN流量费用:1TB*1024*0.21 = 实际流量*转GB*CDN流量单价 = 215.04元

COS流量费用:1TB*1024*0.15*1% = 实际流量*转GB*CDN回源COS单价*回源率 = 1.5元

请求量费用:200W*0.01*1% = 0.02元

共计约为215.04+1.5+0.02 = 217元

总费用共计节省 (514-217)/514 = 57.8%

措施2:文件类型转换(图片)

图片压缩功能满足 PC、App 等多终端图片压缩需求,适用于电商、传媒等业务场景,有效降低图片传输链路及加载耗时,降低带宽及流量成本。

目前主要支持以下几类压缩格式,兼容强度见下表:


功能

支持格式

支持的浏览器和系统

兼容性

压缩效果

压缩速度

WebP 压缩

支持将 jpg、png、bmp、gif、heif、tpg、avif 格式图片转换为 webp 格式。

支持 Edge、Firefox、Chrome、Safari、Android、iOS、微信等95%以上的浏览器及系统


一般


HEIF 压缩

支持 jpg、png、bmp、webp、avif 格式图片转换为 heif 格式。

不支持浏览器打开,在 iOS 11以上及 Android P 系统上原生支持




TPG 压缩

支持 jpg、png、bmp、gif、heif、webp、avif 格式图片转换为 tpg 格式。

需特殊的解码器,仅 QQ 浏览器等少数浏览器支持




AVIF 压缩

支持 jpg、png、bmp、gif、heif、webp、tpg 格式图片转换为 avif 格式。

支持 Firefox、Chrome、Android 等少数浏览器及系统


极强

多种图片的压缩比如下表


格式

大小

png(原图)

465 KB

jpeg

114KB(减小75.5%)

webp

64 KB(减小86.2%)

heif

54 KB(减小88.4%)

tpg

56 KB(减小88.0%)

avif

32 KB(减小93.1%)

同时数据万象还支持Guetzli视觉无损压缩模式(开放体验),算法利用人眼对于部分色域及图片细节的不敏感性,在不影响视觉效果的前提下有选择地丢弃细节信息,在相同质量条件下处理后的图片比原图节省约35% – 50%的图片大小。

架构图

成本优化!COS对象存储方案

费用组成

图片高级压缩费用


输出格式

价格

webp

基础图片处理费用

TPG

0.1元/千次

HEIF

0.1元/千次

AVIF

0.3元/千次

Guetzli 图片压缩费用


压缩次数

价格

≤ 3000

免费

> 3000

1元/千次

基础图片处理费用


数据处理量

价格

≤ 10TB

免费

> 10TB

0.025元/GB

图片转换操作方法

原图(446KB)

https://ci-avif-demo-1258125638.cos.ap-guangzhou.myqcloud.com/test-png.png

转换为 jpeg 图片(114KB)

https://ci-avif-demo-1258125638.cos.ap-guangzhou.myqcloud.com/test-png.png?imageMogr2/format/jpeg

转换为 webp 图片(64.1KB)

https://ci-avif-demo-1258125638.cos.ap-guangzhou.myqcloud.com/test-png.png?imageMogr2/format/webp

转换为 heif 图片(54KB)

https://ci-avif-demo-1258125638.cos.ap-guangzhou.myqcloud.com/test-png.png?imageMogr2/format/heif

转换为 tpg 图片(55KB)

https://ci-avif-demo-1258125638.cos.ap-guangzhou.myqcloud.com/test-png.png?imageMogr2/format/tpg

转换为 avif 图片(40.2KB)

https://ci-avif-demo-1258125638.cos.ap-guangzhou.myqcloud.com/test-png.png?imageMogr2/format/avif

注:压缩大小和实际图片有很大关系,会根据图片的色阶,亮度,质量,算法等多重因素有关联,实际压缩效果请以真实结果为准,以上是提供了一个demo的压缩效果示例。

CDN-COS自动转换

  • Webp 自适应

HTTP 请求头中 accept 头部包含 image/webp。

图片后缀为 jpg、jpeg、bmp、gif、png。

  • Guetzli 自适应

HTTP 请求头中 accept 头部包含 image/guetzli。

图片后缀为 jpg、jpeg。

  • TPG 自适应

HTTP 请求头中 accept 头部包含 image/tpg。

图片后缀为 jpg、jpeg、bmp、gif、png、webp

推荐建议

webp,控制台操作

成本优化!COS对象存储方案

请求CDN域名,带有accept为webp类型

成本优化!COS对象存储方案

回源COS后会带上转换参数

成本优化!COS对象存储方案

Guetzli,控制台操作

成本优化!COS对象存储方案

客户端请求:

成本优化!COS对象存储方案

CDN回源COS请求

成本优化!COS对象存储方案

这里注意,Guetzli为异步操作,首次请求后会返回原图大小。

图片处理完毕后再次访问,则会看到压缩效果

成本优化!COS对象存储方案

TPG,控制台操作

成本优化!COS对象存储方案

客户端请求

成本优化!COS对象存储方案

CDN回源COS请求

成本优化!COS对象存储方案

注意:带有accept头部,CDN会缓存处理后图片内容;而accept头部不指定会请求原图并将原图缓存在CDN,最终CDN会缓存多份图片。

措施3:编码压缩(视频)

架构图

成本优化!COS对象存储方案

费用组成

媒体处理按照使用次数、文件大小、视频时长等进行计费,计费周期为月。

因收费项分类较多,详见说明文档数据万象 媒体处理费用 – 购买指南 – 文档中心 – 腾讯云

视频转换操作方法

  • 任务方式(单次任务)

为针对于已上传到COS的音视频文件,进行指定的处理任务,任务执行后处理结果会保存至目标路径。

成本优化!COS对象存储方案
成本优化!COS对象存储方案
  • 工作流方式(多次方式)

为针对于一个转换模式,设置一个“模版”方式,对于符合条件的文件对象,进行统一处理,无需单独任务执行,自动处理并输出至指定目录。

成本优化!COS对象存储方案
成本优化!COS对象存储方案

推荐建议

建议根据视频实际使用场景,进行极速,标清,高清,超高清等码率转换,以节省视频文件的整体尺寸。

例如

  • 视频网站:根据网络自动切换码率不影响用户观看。
  • 短视频终端:根据网络自动切换码率不影响用户观看。
  • 在线会议、在线教育:适应网络情况提升通讯质量。

测试效果

原视频:HDR测试视频.ts (分辨率3840*2160,大小1GB)

MP4-SD:(720 * 等比例高 1024 Kbps,23.33MB)

MP4-HD:(2000 * 等比例高 1280 Kbps,28.63MB)

MP4-FHD:(1920 * 等比例高 3500 Kbps,72.67MB)

MP4-2K:(2048 * 等比例高 4800 Kbps,98.51MB)

MP4-FLU:(640 * 等比例高 512 Kbps,13.17MB)

措施4:跨园区流量走云联网方案

架构图

成本优化!COS对象存储方案

费用组成

云联网计费说明

云联网两种计费模式说明如下:


计费模式

付款方式

计费单位

适用场景

月预付费

先付费再使用

元/月,至少使用一个月,带宽超过购买值则丢包

适用于带宽稳定或大带宽场景。

月95后付费

先使用再付费

元/月,根据当月实际使用带宽的月95带宽峰值及有效使用天占比计费

适用于小带宽或有爆发业务的场景。月95后付费模式目前在灰度中,若需使用,需提工单

配置操作方法

1.通过架构师发起对VPC – COS专线配置

格式举例:

北京园区 
账号ID:         XXX
APPID:          XXX
专线网关:        云联网 ccn-XXXXXX
cos存储区域:     北京
专线带宽:        1G(双向)
VPC ID:          vpc-XXXXXX  (北京 vpc | 10.0.0.0/27)
VPORT:        80 和 443
 
广州园区
账号ID:         XXX
APPID:          XXX
专线网关:        云联网 ccn-XXXXXX
cos存储区域:     广州
专线带宽:        1G(双向)
VPC ID:          vpc-XXXXXX  (广州 vpc | 172.16.0.0/16)
VPORT:        80 和 443

2.创建两个园区的云联网实例。

3.创建私有域解析,将域名解析到对端内网VPC IP。

注:一级域名为myqcloud.com,并需要开启递归解析。

4.通过对端园区的CVM发起请求测试,正常会解析到对端内网IP并成功访问到COS服务。

推荐建议

云联网是按照带宽进行计费,当需要带宽复用或者需要跨园区大文件吞吐性能的场景,可以参考此策略,可线路复用,节省成本。

措施5:全球加速域名海外加速,国内直连方案

架构图

成本优化!COS对象存储方案

费用组成

公有云外网下行流量费

成本优化!COS对象存储方案

公有云国内加速流量费 (上下行相同)

成本优化!COS对象存储方案

公有云海外加速流量费 (上下行相同)

成本优化!COS对象存储方案

具体参考:对象存储 流量费用-购买指南-文档中心-腾讯云-腾讯云

配置操作方法

步骤1:开启存储桶全球加速

存储桶>>域名与传输管理>>全球加速

成本优化!COS对象存储方案

步骤2:绑定自定义域名

存储桶>>域名与传输管理>>自定义源站域名

成本优化!COS对象存储方案

步骤3:设置dnspod

DNS解析>>我的域名

成本优化!COS对象存储方案

步骤4:设置线路解析

设置自定义域名分别cname到国内和国外两个COS域名,例如

国内 test.xxx.com cname wainsun-1XXX5742.cos.ap-beijing.myqcloud.com

国外 test.xxx.com cname wainsun-1XXX5742.cos.accelerate.myqcloud.com

成本优化!COS对象存储方案

这样我们就将国内请求和海外解析进行了分离。国内直接请求到北京集群域名,海外走全球加速域名。

全球各地域名解析测试验证

源站访问的是北京集群的bucket桶。在如下地点测试访问

步骤1:从重庆访问自定义域名

成本优化!COS对象存储方案

看到自定义域名cname到cos.ap-beijing.myqcloud.com域名,且访问的IP为北京地域IP(120.53.196.26),说明是直接访问到北京bucket桶。

步骤2:从美国访问自定义域名

成本优化!COS对象存储方案

看到自定义域名cname到cos.accelerate.myqcloud.com域名,且访问的IP为美国地域IP(49.51.43.170),说明是先访问到COS美国节点,然后从美国节点走专线到北京的bucket桶。

步骤3:从日本访问自定义域名

成本优化!COS对象存储方案

看到自定义域名cname到cos.accelerate.myqcloud.com域名,且访问的IP为日本地域IP(150.109.201.88),说明是先访问到COS日本节点,然后从日本节点走专线到北京的bucket桶。

推荐建议

通过dnspod的能力,可以实现国内访问直接解析到桶域名,海外解析通过全球加速方式访问。同时既保障了跨境访问的效果,又节省国内访问的加速费用,更均衡合理的利用了加速资源并优化成本。

2.存储量成本优化

措施1:生命周期清理碎片

碎片:文件碎片是业务在上传大文件过程中,因为网络中断等意外情况导致传输失败,从而产生的不完整文件分块信息,如果业务数据中存在大量的时间较长的文件碎片,可以通过生命周期规则对文件碎片进行过期删除。

费用组成

国内储存容量价格一览

对象存储 存储容量费用-购买指南-文档中心-腾讯云

配置操作方法

控制台操作方法

成本优化!COS对象存储方案

控制台生命周期配置方法:

存储桶–基础配置–生命周期–添加规则–设置 删除碎片

成本优化!COS对象存储方案

COSCLI工具操作方法:

./coscli abort cos://[bucket1]

推荐建议

当一个桶内存在碎片,存在的碎片在补齐后依然可以整合成为一个完整的文件,只需上传缺少的分片数据和完成合并动作。所以这里可以根据应用上是否支持断点续传以及失败上传文件的保留时间,来设置清理碎片的时间。这样及可保证业务上的续传,也可以最大限度的节省碎片占用的空间费用。

例如:碎片保留两天,业务层面2天内可断点续传。2天后碎片删除,业务清理此资源。

措施2:生命周期删除冗余数据

费用组成

国内储存容量价格一览

对象存储 存储容量费用-购买指南-文档中心-腾讯云-腾讯云

配置操作方法

控制台生命周期配置方法:

存储桶–基础配置–生命周期–添加规则–设置 文件修改XX时间后删除

成本优化!COS对象存储方案

推荐建议

建议历史文件清理时间要久于当前版本的清理时间1天以上,这样可以保证误删除后的历史版本找回。

措施3:数据降“冷”,数据分层

费用组成

各地不同类型的存储费用见

对象存储 存储容量费用-购买指南-文档中心-腾讯云-腾讯云

配置操作方法

成本优化!COS对象存储方案

推荐建议

1.使用频率低,对资源访问时延不敏感:可降为低频存储类型

例如:数据库备份文件,低频查询的历史文件。

2.长时间不使用,使用前需要回热时间:可降为归档存储

例如:存档数据,合规数据。

3.频率极低,但需要长期保留的场景:可降为深度归档存储

例如:长期备份的合规文件,长期的存留数据。

4.资源访问不均衡,冷热数据分布明显:可降为智能分层存储

例如:企业网站资源,下载资源等。

3.安全策略保护

措施1:合理设施ACL和referer防盗链

功能说明

访问控制列表(ACL)是基于资源的访问策略选项之一 ,可用来管理对存储桶和对象的访问。使用 ACL 可向其他主账号、子账号和用户组,授予基本的读、写权限。

与访问策略有所不同的是,ACL 的管理权限有以下限制:

  • 仅支持对腾讯云的账户赋予权限
  • 仅支持读对象、写对象、读 ACL、写 ACL 和全部权限等五个操作组
  • 不支持赋予生效条件
  • 不支持显式拒绝效力

ACL为私有,需要客户端通过请求签名的方式访问,同时确保访问akid具备访问权限。是一种严格安全的鉴权手段。


标准 ACL

含义

(空)

此为默认策略,其他人无权限,资源继承上级权限

private

其他人没有权限

public-read

匿名用户组具备 READ 权限

public-read-write

匿名用户组具备 READ 和 WRITE 权限,通常不建议在存储桶赋予此权限

防盗链:

通过referer头的方式验证请求的正确性。方式:

  • 黑名单拒绝名单内的域名访问存储桶的默认访问地址,若名单内的域名访问存储桶的默认访问地址,则返回403。
  • 白名单允许名单内的域名访问存储桶的默认访问地址,若名单外的域名访问存储桶的默认访问地址,则返回403。
  • 空 referer:HTTP 请求中,header 为空 referer(即不带 referer 字段或 referer 字段为空)。

Referer:支持设置最多10条域名且为相同前缀匹配,每条一行,多条请换行;支持域名、IP 和通配符

使用方式

ACL控制台

成本优化!COS对象存储方案

防盗链控制台

成本优化!COS对象存储方案

推荐建议

防盗刷等级:私有访问方式

防盗刷等级:防盗链方式

措施2:通过policy保护对象访问权限和范围

功能说明

访问策略可用于授予访问 COS 资源的权限。访问策略使用基于 JSON 的访问策略语言。您可以通过访问策略语言授权指定委托人(principal)对指定的 COS 资源执行指定的操作。

使用方式

典型使用场景介绍

授权子账号对特定目录内文件的读权限

{
    "version": "2.0",
    "statement":[
     {
         "effect": "allow",
         "action":  [
                    "cos:List*",
                    "cos:Get*",
                    "cos:Head*",
                    "cos:OptionsObject"
                ],
         "resource": "qcs::cos:ap-shanghai:uid/1250000000:Bucket1-1250000000/dir1/*"
     }
   ]
}

授权子账号对特定目录下所有文件的读写权限并禁止对该目录下指定文件的读写权限

{
    "version": "2.0",
    "statement":
    [
     {
         "effect": "allow",
         "action": "cos:*",
         "resource": "qcs::cos:ap-shanghai:uid/1250000000:Bucket1-1250000000/dir1/*"
     },
     {
         "effect": "deny",
         "action": "cos:*",
         "resource": "qcs::cos:ap-shanghai:uid/1250000000:Bucket1-1250000000/dir1/Object1"
     }     
    ]
}
授权子账号对指定前缀的文件的读写权限
 {
    "version": "2.0",
    "statement":[
     {
         "effect": "allow",
         "action": "cos:*",
         "resource": "qcs::cos:ap-shanghai:uid/1250000000:Bucket1-1250000000/dir1/test*"
     }
   ]
}

推荐建议

原则上以最小使用范围的授权执行,控制访问者的访问范围和行为,才是最佳的权限管理手段。

措施3:通过STS 临时账号授权访问权限(推荐)

功能说明

Web、iOS、Android 使用 COS 时,通过固定密钥计算签名方式不能有效地控制权限,同时把永久密钥放到客户端代码中有极大的泄露风险。如若通过临时密钥方式,则可以方便、有效地解决权限控制问题。

使用方式

成本优化!COS对象存储方案

推荐建议

客户端访问COS服务优先建议使用临时密钥,具备一下好处。

  • 使用临时密钥,减少长期访问密钥泄露的风险。
  • 临时密钥具有时效性,可以自定义有效期,到期后将自动失效,无需定期轮换。
  • 可以为临时账号绑定自定义权限策略,提供更加灵活和精细的云资源授权。

措施4:通过标签的方式授权访问

功能说明

标签是腾讯云提供的用于标识云上资源的标记,是一个键值对(Key-Value)。您可以根据各种维度(例如业务,用途,负责人等)使用标签对云服务器资源进行分类管理,也可以通过标签非常方便地筛选过滤出对应的资源。

  • 使用标签管理腾讯云资源
  • 使用标签控制对资源的访问
  • 使用标签进行分账
成本优化!COS对象存储方案

特点:通过修改标签项,可以灵活的授权实例资源,避免了频繁修改策略的麻烦。同时标签也便于管理。

使用方式

控制台操作方法:

新建标签

成本优化!COS对象存储方案

绑定资源

成本优化!COS对象存储方案

资源授权

成本优化!COS对象存储方案

推荐建议

标签是一种清晰灵活的资源授权方式,可以避免策略授权带来的复杂和冗余参数,减少误授权的概率,减少资源外泄(盗刷,权限设置过大等操作),建议优先通过标签授权和管理,降低管理成本。

4.成本运营监控

措施1:流量及QPS监控

功能特点

针对实时流量进行常态化监控。

根据配置阈值,对流量及QPS进行通知告警。

快速排查隐患,避免损失。

操作方法

云监控–对象存储–监控

成本优化!COS对象存储方案

推荐建议

针对实时流量进行常态化监控。

根据配置阈值,对流量及QPS进行通知告警。

快速排查隐患,避免损失。

措施2:业务突增占比告警配置

功能特点

及时处理异常场景:配置云监控相关配置,在监控数据达到告警阈值时发送告警信息,及时获取异常通知,查询异常原因。

操作方法

成本优化!COS对象存储方案

推荐建议

针对于公网流量,建议配置流量告警,避免密钥泄漏或盗刷场景带来的损失。

措施3:实时日志分析

功能特点

成本优化!COS对象存储方案

操作方法

存储桶–日志管理–日志检索

成本优化!COS对象存储方案

CLS控制台会联动创建日志主题cos-log-store

成本优化!COS对象存储方案

实时日志信息

成本优化!COS对象存储方案

推荐建议

实时日志分析是对时效性要求高的通用记录检索、分析场景使用。

存储日志分析是对长期日志的统计,聚合,排序等一系列更复杂的算法的分析结果。

开启日志分析功能,可立体化的对行为数据进行定期分析。对业务数据变化,流量变化,客户行为异常等典型场景进行更全面的掌控。

THE END
喜欢就支持一下吧
点赞6 分享