Skip to content

四火的唠叨

一个纯正程序员的啰嗦

Menu
  • 所有文章
  • 关于四火
  • 旅行映像
  • 独立游戏
  • 资源链接
Menu

常见分布式应用系统设计图解(六):流媒体系统

Posted on 09/19/202009/26/2020 by 四火

流媒体系统,主要是视频流媒体系统。比如 YouTube,比如 Netflix,比如爱奇艺,还有优酷。再一个许多大型的社交平台上,几乎是一定要内嵌流媒体服务的,以支持用户上传视频类型的内容。

这类系统我们需要考虑的不只有单纯视频文件的存储和传输,还有文件的编码、解码,和视频截图(比如用作 thumbnail)的生成等等基本功能。

  • 视频文件上传、编码、截图这个过程可以说非常消耗资源,因此视频流媒体系统的处理往往和简单的图片分享系统不一样,它的处理要求异步进行。而异步系统就一定要有队列。
  • 图中上半部分,用户向 Web Server 发起一个视频上传的请求,实际视频上传通过 Uploading Server 来传到视频存储中。元信息放在 Metadata 数据库中,上传完成后入队列一个要求处理视频的事件。事件经过异步系统处理,包括去重、编码和截图等操作,更新后的视频存放会视频存储系统中,而图片存放到另一个图片的存储系统。编码部分可以考虑编码为多个码率的文件,以满足播放时对于不同网络环境的需求。
  • 视频的存储方面,由于视频可能较大,可以选择像 HDFS 这样基于 block 的分布式文件系统。既为了可靠性,又为了提高播放(读取)的性能,引入 replication,也可以为流媒体服务器引入专门的缓存。二者比较起来,磁盘上的 replication 更为重要,因为通常用于缓存的内存的价格比较贵。
  • 截图和 thumbnail 这类图片,一般都是小图片,通常读压力比较大,再一个考虑到同一个视频的不同时间点的多张截图往往是需要一起读取,为了提高效率可以使用列数据库。还有一种方式是把同一个视频的多张小的截图合并在一张大图里面存起来(客户端(浏览器)得到这张大图以后再切分成多张小图来提供给用户),如果这样存储的话,也可以选择一些能够容纳文件大小的 KV 数据库。注意有的存储系统带有分块要求,如果文件很小而分块很大,那么就有空间浪费的情况(当然像 Bigtable 这种可以将多个文件的数据合并存储到同一个 block 中,就没有这个问题)。
  • 下半部分,用户需要播放视频的时候,客户端和流媒体服务器建立连接。视频和图片也可以来自离用户较近的 CDN 节点。
  • 流媒体系统很适合和 CDN 配合部署,在视频处理完成后,应当写入一个待分发的 queue(为了避免图中过于杂乱,这部分没有),而有一个 Distribution Service 来读取这样的视频信息,并将视频和图片分发到 CDN 的各个节点上。
  • 客户端应当具备解码的能力,也有相应的容错处理。在一个流媒体地址访问失败的情况下,除了重试,还可以具备切换到备用地址的能力。

文章未经特殊标明皆为本人原创,未经许可不得用于任何商业用途,转载请保持完整性并注明来源链接 《四火的唠叨》

×Scan to share with WeChat

你可能也喜欢看:

  1. 常见分布式应用系统设计图解(七):爬虫搜索系统
  2. 常见分布式应用系统设计图解(四):输入建议系统
  3. 常见分布式应用系统设计图解(八):文件同步分享系统
  4. 常见分布式应用系统设计图解(三):Top K 系统
  5. 常见分布式应用系统设计图解(二):Feed 流系统

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

订阅·联系

四火,啰嗦的程序员一枚,现居西雅图

@Huawei -> @Amazon -> @Oracle

站内搜索

Amazon Google Groovy Hadoop Haskell Java JavaScript LeetCode Oracle Python Spark 互联网 亚马逊 华为 历史 同步 团队 图解笔记 基础设施 工作 工作流 工具 工程师 应用系统 异步 微博 思考 技术 曼联 测试 生活 眼界 程序员 管理 系统设计 缓存 编码 编程范型 英语 西雅图 设计 评审 问题 面试 项目

分类

  • Algorithm and Data Structure (30)
  • Concurrency and Asynchronization (6)
  • System and Architecture (40)
  • Distributed System (14)
  • Big Data and Machine Learning (5)
  • Frameworks and Libs (21)
  • Database (5)
  • Front-end Development (21)
  • Programming Languages (17)
  • Programming Paradigm (16)
  • Thoughts on Coding (26)
  • Testing (4)
  • Network (4)
  • Security (6)
  • Operations (14)
  • Product Design (7)
  • Internet (12)
  • Hiring and Interview (14)
  • Project and Team Management (16)
  • Engineering Culture (17)
  • Individual Development (33)
  • My Career (24)
  • Life (50)

推荐文章

  • 常见分布式系统设计图解(汇总)
  • 系统设计中的快速估算技巧
  • 从链表存在环的问题说起
  • 技术面试中,什么样的问题才是好问题?
  • 从物理时钟到逻辑时钟
  • 近期面试观摩的一些思考
  • RSA 背后的算法
  • 谈谈 Ops(汇总 + 最终篇):工具和实践
  • 不要让业务牵着鼻子走
  • 倔强的程序员
  • 谈谈微信的信息流
  • 评审的艺术——谈谈现实中的代码评审
  • Blog 安全问题小记
  • 求第 K 个数的问题
  • 一些前端框架的比较(下)——Ember.js 和 React
  • 一些前端框架的比较(上)——GWT、AngularJS 和 Backbone.js
  • 工作流系统的设计
  • 从淘汰 Oracle 数据库的事情说起
  • Spark 的性能调优
  • “残酷” 的事实
  • 七年工作,几个故事
  • 从 Java 和 JavaScript 来学习 Haskell 和 Groovy(汇总)
  • 系统设计典型问题的思考
  • 一道随机数题目的求解
  • LeetCode 算法题目解答汇总
  • 层次
  • Dynamo 的实现技术和去中心化
  • 也谈谈全栈工程师
  • 多重继承的演变
  • 编程范型:工具的选择
  • GWT 初体验
  • java.util.concurrent 并发包诸类概览
  • 从 DCL 的对象安全发布谈起
  • 不同团队的困惑
  • 不适合 Hadoop 解决的问题
  • 留心那些潜在的系统设计问题
  • 再谈大楼扔鸡蛋的问题
  • 几种华丽无比的开发方式
  • 我眼中的工程师文化
  • 观点的碰撞
  • 谈谈盗版软件问题
  • 对几个软件开发传统观点的质疑和反驳
  • MVC 框架的映射和解耦
  • 编程的未来
  • DAO 的演进
  • 致那些自嘲码农的苦逼程序员
  • Java 多线程发展简史
  • 珍爱生命,远离微博
  • 网站性能优化的三重境界
  • OSCache 框架源码解析
  • “ 你不适合做程序员”
  • 画圆画方的故事

近期评论

  • Anonymous on 再谈谈互联网外企在中国的失败
  • 四火 on 常见分布式应用系统设计图解(二):Feed 流系统
  • Anonymous on 常见分布式应用系统设计图解(一):即时消息系统
  • 四火 on 常见分布式应用系统设计图解(五):Proximity 系统
  • Anonymous on 再谈谈互联网外企在中国的失败
  • sb on 排序算法一览(下):归并类、分布类和混合类排序
  • 四火 on 常见分布式应用系统设计图解(十):电商秒杀系统
  • dakuankuan on 常见分布式应用系统设计图解(十):电商秒杀系统
  • LING on 再谈谈互联网外企在中国的失败
  • 胡涂说 on 软件工程师成长的一个误区
© 2022 四火的唠叨 | Powered by Minimalist Blog WordPress Theme