Markdown编辑器 SLAM flask 如何做网络营销推广 pip webforms xsd jquery绑定change事件 jquery选择器找子元素 hadoop源码 ps字体旋转角度 mysql增删改查语句 linux撤销 安装mysql python多线程 python代码示例 python学习入门 python调用函数 python变量定义 java编程入门 java中的抽象类 javafinally javasocket通信 java开发者 java匿名对象 java判断语句 java中scanner用法 java语言编程 java比较字符串 linuxsleep abaqus最新版本 忧思华光玉 bash命令 lol体验服转换器 widcomm ipad上市时间 mmap文件怎么打开 微信预约系统 top命令详解 淘宝退货怎么上门取件
当前位置: 首页 > 学习教程  > 编程学习

《亿级用户下的新浪微博平台架构》阅读笔记

2021/1/9 2:11:53 文章标签: 微博刷阅读量

因为自己平常没事的时候就会刷一会新浪微博,关注微博热搜,也关注自己喜欢的内容,所以对新浪微博也有一点了解,新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送…

  因为自己平常没事的时候就会刷一会新浪微博,关注微博热搜,也关注自己喜欢的内容,所以对新浪微博也有一点了解,新浪微博在2014年3月公布的月活跃用户(MAU)已经达到1.43亿,2014年新年第一分钟发送的微博达808298条,如此巨大的用户规模和业务量,需要高可用(HA)、高并发访问、低延时的强大后台系统支撑。通过此篇文章,我学习到了很多东西,以下是我的阅读笔记:

  微博平台第一代架构为LAMP架构,数据库使用的是MyIsam,后台用的是php,缓存为Memcache。

  随着应用规模的增长,衍生出的第二代架构对业务功能进行了模块化、服务化和组件化,后台系统从php替换为Java,逐渐形成SOA架构,在很长一段时间支撑了微博平台的业务发展。

  在此基础上又经过长时间的重构、线上运行、思索与沉淀,平台形成了第三代架构体系。第三代技术体系就是为了保障在微博核心业务上快速、高效、可靠地发布新产品新功能。

  微博平台的第三代技术体系,使用正交分解法建立模型:在水平方向,采用典型的三级分层模型,即接口层、服务层与资源层;在垂直方向,进一步细分为业务架构、技术架构、监控平台与服务治理平台。下面是平台的整体架构图:

  如上图所示,正交分解法将整个图分解为3*4=12个区域,每个区域代表一个水平维度与一个垂直维度的交点,相应的定义这个区域的核心功能点,比如区域5主要完成服务层的技术架构。

服务层框架

服务层主要涉及RPC远程调用框架以及消息队列框架,这是微博平台在服务层使用最为广泛的两个框架。

MCQ消息队列

消息队列提供一种先入先出的通讯机制,在平台内部,最常见的场景是将数据的落地操作异步写入队列,队列处理程序批量读取并写入DB,消息队列提供的异步机制加快了前端机的响应时间,其次,批量的DB操作也间接提高了DB操作性能,另外一个应用场景,平台通过消息队列,向搜索、大数据、商业运营部门提供实时数据。

微博平台内部大量使用的MCQ(SimpleQueue Service Over Memcache)消息队列服务,基于MemCache协议,消息数据持久化写入BerkeleyDB,只有get/set两个命令,同时也非常容易做监控(stats queue),有丰富的client library,线上运行多年,性能比通用的MQ高很多倍。

Motan RPC框架

微博的Motan RPC服务,底层通讯引擎采用了Netty网络框架,序列化协议支持Hessian和Java序列化,通讯协议支持Motan、http、tcp、mc等,Motan框架在内部大量使用,在系统的健壮性和服务治理方面,有较为成熟的技术解决方案,健壮性上,基于Config配置管理服务实现了High Availability与Load Balance策略(支持灵活的FailOver和FailFast HA策略,以及Round Robin、LRU、Consistent Hash等Load Balance策略),服务治理方面,生成完整的服务调用链数据,服务请求性能数据,响应时间(Response Time)、QPS以及标准化Error、Exception日志信息。

  现在,技术框架在平台发挥着越来越重要的作用,驱动着平台的技术升级、业务开发、系统运维服务。

  我的总结学习如下:正交分解法,使得系统清楚明了,架构也更加简单方便。

转载于:https://www.cnblogs.com/liurx/p/11052977.html


本文链接: http://www.dtmao.cc/news_show_1100361.shtml

附件下载

相关教程

    暂无相关的数据...

共有条评论 网友评论

验证码: 看不清楚?