您好、欢迎来到现金彩票网!
当前位置:ds视讯 > 分布式数据库 >

阿里开源otter:分布式数据库同步系统

发布时间:2019-06-11 18:16 来源:未知 编辑:admin

  【IT168 资讯】阿里巴巴一向热衷于开源。从风风火火的去IOE运动,到阿里在GitHub中托管的60个开源项目,都可以看到他们开源的决心。本周一(8月19日),阿里巴巴宣布开源分布式数据库同步系统otter。负责otter项目的阿里巴巴技术专家七锋(@agapple0002)介绍,otter是异地双A机房的数据库同步系统,解决长距离机房同步、双A的数据一致性问题。

  otter的诞生是由异地数据库同步需求决定的。阿里巴巴B2B业务的卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,otter由此而来。

  otter的英文释义是水獭、数据搬运工,定位为基于数据库增量日志解析,准实时同步到本机房或异地机房的MySQL/Oracle数据库. 一个分布式数据库同步系统。otter第一版本可以追溯到04-05年,此次外部开源的版本为第四版,开发时间从2011年7月一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter4。

  目前,阿里巴巴的B2B业务的同步规模达到:1.同步数据量6亿;文件同步1.5TB(2000w张图片);涉及200+个数据库实例之间的同步;80+台机器的集群规模。

  3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作。

  3. 异地机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不,RTT 200ms,亮点)

  a. 站点镜像 (进行数据复制的同时,复制关联的图片,比如复制产品数据,同时复制产品图片).

  @锁儿V:类似的商业软件,比如东方通的TongLINK/Q,Oracle的Golden Gate,动辄百万,而这儿这个却开源了,并且是经过在线大数据测试过的。可惜仅支持MySQL/Oracle,谁有能耐稍微扩展一下,定是企业级市场的One big deal。

  @jametong: 这个项目是最终一致的, 并不是实时一致的, 设计时是尽可能的保证单向Rep到另一端的数据的事务一致性, 但是双向的部分, 会有部分牺牲. 功能上与LinkedIn的Databus比较接近。

  @庄陌铭:这个取名数据库同步系统个人感觉有些大了,初步看了下,更多地是一种远程数据ETL,蛮适合企业用于做分布式节点的数据汇总,不过依赖还复杂了点(这种基础件干嘛还用webx),另外,数据传输的审计对账好像没看到(也许只是粗瞄没注意到)。

http://emeklishop.net/fenbushishujuku/529.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有