关于带宽成本的一些闲聊

这波我其实是比较同情 B 站的,毕竟成本高是真的高,同时短视频赛道真的是一点都不 care 画质的同时还暴打长视频……然后是一些关于带宽成本的 Q&A:

  • 为什么家宽便宜,商宽贵?
    这是价格歧视,全世界的运营商都这么定价。相比个人用户,企业用户付费能力更高。

  • 为什么数据中心带宽贵?
    家宽也好,商宽也好,很少有人会 7 x 24 小时地把带宽用满,因此运营商可以很容易超卖。同时有各种 QoS 技术来针对性限速而不(怎么)影响整体用户体验。但是对于数据中心网络,用多少带宽就会买多少带宽,7 x 24 小时把带宽用满是一个非常合理且必要的基本要求。既然不能超卖,自然价格更贵。当然,量大从优依然适用,买 100 Gbps 比买 1 Gbps 的单价肯定更低。

  • 为什么相比之下,中国的数据中心网络带宽比别的国家更贵?
    三方面因素,不过其实就是一回事。

  1. 中国的运营商需要用上行来补贴下行。而上行流量的大户一般都是付费能力高的内容提供方,而且是刚需。
  2. 中国电信业高度受控且垄断,不是市场经济,因此导致了一系列扭曲的现象。比如国内数据中心一般不使用 BGP 广播(成本高得离谱),而是选择一家运营商作为单上游,使用静态分配的 IP。即使使用多家运营商也一般会使用代播而不是使用自己的 ASN。比如没有任何自发形成的互联网交换中心。比如三大之间相互限速。我在某中国互联网公司上班的时候就明显觉得,国内做网络建设的人好像很多真没见过 rest of the world 的正常互联网长什么样……以至于做出来的某些工具非常奇怪,根本是只适用于中国国情的东西……
  3. 中国的内容提供方没有「退路」。

1 和 2 本身其实不只是中国一个国家的现象。在电信业务高度垄断、准入门槛严格的地方,比如韩国、台湾,数据中心流量费用也高得离谱。这些地方的主要运营商往往会非常强势,不但会拒绝 settlement-free peering,还可能会对内容提供商开出天价账单。Twitch [1] 和 Cloudflare [2][3] 都表示过韩国的流量单价是世界其他地区的十几倍。Netflix 还因为鱿鱼游戏爆火收到 SK Broadband 的 $23 million 账单 [4]。韩国运营商的强势也是 Twitch 退出韩国的直接原因 [1]。但很遗憾,中国的情况更特别。对于 Netflix、Twitch、Meta [5] ,他们被逼急了那最多也就是爱看看不看滚,不和本地运营商直接互联,或者退出当地市场就完事了,但是对中国企业就不存在这个选项了,那就只能想办法降本增效了。白嫖用户带宽的 PCDN 也是这么来的。然后运营商就想尽办法打击 PCDN 上传,而检测方法就包括看是不是上行流量远大于下行流量,然后 PCDN 贩子为了规避这种检测又去刷公网下载,给善意的资源提供方(比如提供 Linux distro 的站点、做种的人)造成巨大流量压力,挤占正常用户带宽,甚至造成资金损失……去 v2ex 搜 PCDN 就可以看到这玩意人见人嫌,纯纯负外部性的东西。降码率真的属于是非常纯良的操作了。

[1] Twitch to shut down in Korea over 'prohibitively expensive' network fees | TechCrunch
[2] The Relative Cost of Bandwidth Around the World
[3] Bandwidth Costs Around the World
[4] Netflix ends a three-year legal dispute over Squid Game traffic - The Verge
[5] Why We're Having to End Our Direct Peering Relationship With Deutsche Telekom | Meta
[6] 从 pcdn 看网络建设乱象 - V2EX
[7] 浙江宁波电信开始查 pcdn - V2EX
[8] 邪恶的 PCDN 玩家丧心病狂,居然能干到我一个小破站的头上 - V2EX
[9] BT 用户,这几天一直和 pcdn 斗智斗勇。烦死了 - V2EX

29 个赞

这个更贵比的还是仅限于欧美和某些东亚集中地带,不会比第三世界高

简单来说还是民用宽带太便宜产生的比较…

而且硬件成本在运营占比中也就11%

1 个赞

这点想太多,Metro Ethernet之类的也能超售,IP Transit或者Paid Peering也没有保证。也就PNI能确保容量了吧

补充一点,中国是国家要求运营商垄断互联,其他企业自己相互peering是违法的,一切数据必须通过运营商transit,阿里还因此被罚过钱。所以国内网络自然和rest of world完全不一样。

10 个赞

IP Transit和Paid Peering会有Peak/Burstable,加上计费也会用95th Percentile。再加上跑满都Bufferbloat了 :yaoming:

那这些都是明码标价的嘛,买 commit 和 95th percentile burstable 都不是一个价格了

群友们买过ip transit到自己家里么,价格如何

小心Local Loop比IP Transit贵 :yaoming:

1 个赞

就是想问这个,大家去哪买的,多少钱,求dp。我是感觉买这东西没什么用。

HE 100Gbps 4000刀一个月 :yaoming:,光要拉到你家我估计不止4000刀一个月 :yaoming:

https://he.net/ip_transit.html

不过Burstable起码会比Commit便宜嘛

销售看碟下菜也不是不可能?

为什么美国家宽那么贵 :yaoming:

:troll: 当然是因为美国人有钱啦

中国content provider不能自己搭private WAN,然后只在edge和local ISP 做edge peering吗,我看Microsoft google Meta这些big player private WAN都搭了十几年了。。。

IXP中国也没有吗。。整个internet因为peering和ixp, content provider都快变成mesh了,国内不会还是tier system吧 :joy:

对啊,就是不能

贵吗?今年ATT fiber免费用还倒赚了几百刀呢 :troll:

2024年了还这样。。。很难想象。先不说WAN技术落后了十几年吧,国内这些content provider能在infra这么烂的情况下QoS没有明显的degrade确实nb

自己的数据中心之间拉专线搞互联这种事情都是有的,不清楚这是不是就是你说的 private WAN

但是免费 peering 或者 ix 什么的不存在的

IX的话小规模是有的,不过也有一定的国资背景就是了

private WAN一般两种,一种是你说的inter datacenter,一种是datacenter to end users,一般用cache和tcp splitting improve performance。我估计后面那种是没有的….当然这两个网最好是merge成一个, microsoft nsdi2023上讲了怎么把这两个网merge,不然两套系统开销太大了