1号毛驴...
2号毛驴...
3号毛驴...

Twitter购买buy粉丝 Twitter把Kafka当作存储系统使用

🟨🟧🟩🟦vx: 『zfensi( )
https://t.me/buyfensi/ 』 , 24小时自助-专业粉赞下单-来涨cheap粉丝网(zfensi.com)提供ins涨cheap粉,ins加粉,ins便宜粉丝,ins粉丝增加,instagram 如何涨cheap粉,ig粉絲的行为规律是什么等? 美国/ig真人follow粉丝关注、点赞、ins按赞、ig买buy粉赞、ig 粉丝赞、ig视频直播浏览等🟨🟧🟩🟦

Instagram 自动按赞

[24小时自助-专业粉赞下单-来涨粉丝网(zfensi.com)] https://www.zfensi.com

当开发人员根据API消費Twitter的云计算平台时,她们必须 得到稳定性、速率和可靠性层面的确保。因而,在前不久,大家发布了Account Activity Replay API协助开发人员们提高她们系统软件的可靠性。这一API是一个数据修复专用工具,开发人员可以用它来查找 开始产生在5天前的事情,修复因为各种各样缘故(包含在即时传送时忽然产生的网络服务器终断)沒有被传送的事情。

除开搭建API来提高开发人员感受,大家还干了一些提升:

·提升Twitter內部技术工程师的生产主力。

·维持系统软件的可扩展性。从总体上,便是尽量避免开发者、网站稳定性技术工程师和别的与系统软件互动的工作人员的前后文转换。

根据这种缘故,在搭建这一API所依靠的回看系统软件时,大家运用了Account Activity API目前的实时系统设计方案。这有利于大家器重目前的工作中,并降到 低前后文转换压力和业务培训。

实时系统选用了公布和定阅构架。为了更好地维持构架的一致性,搭建一个能够获取数据的储存层,大家想起了传统式的流式的技术性——Kafka。

1

情况

2个大数据中心造成即时事情,事情被载入到跨大数据中心的主题风格上,完成缓存溢出。

但并非是全部的事情都必须 被传送,因此会有一个內部应用软件承担对事情开展挑选。这一应用软件消費来源于这种主题风格的事情,依据储存在键值储存中的一组标准来查验每一个事情,并决策是不是应当根据大家的公共性API将消息传递给特殊的开发人员。事情是根据Webhook传送的,每一个Webhook URL都是有一个开发者承担维护保养,并有 的ID标志。

Instagram 自动赞

图1:数据信息转化成管路

2

储存和系统分区

一般,在搭建一个必须 储存层的回看系统软件时,大家很有可能会应用根据Hadoop和HDFS的构架。但大家挑选了Kafka,关键根据下列2个缘故:

·现有的实时系统选用了公布和定阅构架;

·回看系统软件储存的事情量并不是PB级的,大家储存的数据信息不容易超出几日。除此之外,实行Hadoop的MapReduce工作比在Kafka上消費数据信息成本费高些、速率变慢,达不上开发人员的期待。

要运用即时管路来搭建回看管路, 先要保证 事情被储存在Kafka中。大家把Kafka主题风格称为delivery_log,每一个大数据中心都是有一个那样的主题风格。随后,这种主题风格被交叉式拷贝,完成缓存溢出,便于适用来源于大数据中心以外的播放要求。事情在被传送以前历经去重复实际操作。

在这个Kafka主题风格上,大家应用默认设置的系统分区体制建立了好几个系统分区,系统分区与WebhookId的散列值(事件记录的键)一一对应。大家考虑到过应用静态数据系统分区,但 后决策不应用它,由于假如在其中一个开发者转化成的事情超过别的开发者,那麼这一系统分区包括的数据信息将超过别的系统分区,导致了系统分区的不平衡。反过来,大家挑选固定不动总数的系统分区,随后应用默认设置系统分区对策来遍布数据信息,那样就减少了系统分区不平衡的风险性,而且不用载入Kafka主题风格的全部系统分区。播放服务项目根据要求的WebhookId来明确要载入哪一个系统分区,并且为该系统分区运行一个新的Kafka顾客。主题风格的系统分区总数不容易产生变化,由于这会危害键的散列和事件的遍布。

大家应用了固体硬盘,依据每一个时间范围载入的事情总数来分派室内空间。大家挑选这类硬盘而不是传统式的磁盘驱动器,为此来得到迅速的响应速度,并降低与搜索和浏览实际操作有关的花销。由于大家必须 浏览低頻数据信息,没法得到网页页面缓存文件提升的益处,因此 好应用固体硬盘。

为了更好地降到 低储存空间,大家应用了snappy压缩算法。我们知道绝大多数解决工作中都是在消費端,往往挑选snappy,是由于它在缓解压力时比别的Kafka所适用的压缩算法(如gzip和lz4)更快。

3

要求和解决

在大家设计方案的这一系统软件中,根据API启用来推送播放要求。大家从要求信息体里获得WebhookId和要播放的事情的日期范畴。这种要求被分布式锁到MySQL中,等同于进入了序列,直至他们被播放服务项目载入。要求中的日期范畴用以明确要载入的系统分区的偏移。顾客目标的offsetForTimes函数用以获得偏移。

instagram人气

图2:播放系统软件接受要求,并将要求发给配备服务项目(数据信息浏览层),随后被分布式锁到数据库查询中。

播放服务项目解决每一个播放要求,他们根据MySQL互相融洽,解决数据库查询中的下一个必须 播放的纪录。播放过程按时轮循MySQL,获得必须 被解决的挂起来工作。一个要求会在各种各样情况中间变换。等候被解决的要求处在对外开放情况(OPEN STATE),刚撤出序列的要求处在运行情况(STARTED STATE),已经被解决的要求处在进行中情况(ONGOING STATE),已解决进行的要求将变换到顺利完成情况(COMPLETED STATE)。一个播放过程总是挑选一个并未运行的要求(即处在开启情况的要求)。

每过一段时间,当一个工作中过程将一个要求撤出序列后,它会在MySQL表格中载入时间格式,表明已经解决当今的播放工作。假如播放过程在解决要求时死了了,相对应的工作将被重启。因而,除开将处在开启情况的要求撤出序列以外,播放实际操作还将载入处在已逐渐或已经进行中的、在预订义的分鐘数内沒有心率的工作。

instagram人气

图3:数据信息传送层:播放服务项目根据轮循MySQL来载入工作,消費来源于Kafka的信息,并根据Webhook服务项目传送事情。

在载入事情的时候会开展去重复实际操作,随后事情被公布到顾客端Webhook URL上。去重复是根据维护保养被载入事情的散列值缓存文件来完成的。假如碰到具备同样散列值的事情,也不传送这一事情。

总体来说,大家的解决方法与传统式的将Kafka做为即时、流式的系统软件的使用方法不一样。大家取得成功地将Kafka做为分布式存储,搭建了一个API,在开展事情修复时提高了客户体验和数据信息浏览工作能力。大家运用现有的实时系统设计方案让系统软件的维护保养越来越更为非常容易。除此之外,客户资料的修复速率做到了大家的预估。

全文连接

https://blog.twitter.com/engineering/en_us/topics/infrastructure/2020/kafka-as-a-storage-system.html


❤️‍🔥

关于【 Facebook推广 】全部服务列表

vx: 『zfensi( )
https://t.me/buyfensi/ 』 , 24小时自助-专业粉赞下单-来涨cheap粉丝网(zfensi.com)提供ins涨cheap粉,ins加粉,ins便宜粉丝,ins粉丝增加,instagram 如何涨cheap粉,ig粉絲的行为规律是什么等? 美国/ig真人follow粉丝关注、点赞、ins按赞、ig买buy粉赞、ig 粉丝赞、ig视频直播浏览等❤️‍🔥


相似文章列表

6000+
服务客户
168+
行业推广
88+
城市坐标
50,000+
商业价值
Ins买粉丝