您好、欢迎来到现金彩票网!
当前位置:星彩网 > 分布式计算机 >

阿里巴巴再度开放一份计算机集群的真实数据集(Alibaba Cluster

发布时间:2019-05-11 09:08 来源:未知 编辑:admin

  阿里妹导读:打开一篇篇 IT 技术文章,你总能够看到“大规模”、“海量请求”这些字眼。这些功能强大的互联网应用,都运行在大规模数据中心上。数据中心每个机器的运行情况如何?运行着什么样的应用?应用有什么特点?除了少数资深从业者之外,普通学生和企业的研究者很难了解其中细节。

  今天,阿里巴巴再度开放一份计算机集群的真实数据集(Alibaba Cluster Data V2018)。该数据集中记录了某个生产集群中服务器以及运行任务的详细情况。我们希望这波数据的发布可以拉近我们与学术研究、业界同行之间的距离,推动产业的进一步发展。

  下面,阿里系统软件事业部的技术专家临石,为大家深入介绍这份独特的数据集。

  2015 年,我们尝试在阿里巴巴的数据中心,将延迟不敏感的批量离线计算任务和延迟敏感的在线服务部署到同一批机器上运行,让在线服务用不完的资源充分被离线使用以提高机器的整体利用率。

  经过 3 年多的试验论证、架构调整和资源隔离优化,目前这个方案已经走向大规模生产。我们通过混部技术将集群平均资源利用率从 10% 大幅度提高到 45%。另外,通过各种优化手段,可以让更多任务运行在数据中心,将“双11”平均每万笔交易成本下降了 17%。

  那么,实施了一系列优化手段之后的计算机集群究竟是什么样子?混部的情况究竟如何?

  为了让有兴趣的学生以及相关研究人员,可以从数据上更加深入地理解大规模数据中心,我们特别发布了这份数据集(Alibaba Cluster Data V2018)。数据集中记录了某个生产集群中服务器以及运行任务的详细情况。我们希望这波数据的发布可以拉近我们与学术研究、业界同行之间的距离。

  在数据集中,你可以详细了解到我们是如何通过混部把资源利用率提高到 45%;我们每天到底运行了多少任务;以及业务的资源需求有什么特点。如何使用这份数据集,完全取决于你的需要。

  上面这几点,没有接触过类似数据的朋友,可能对于这份数据的用处并没有直观的印象,下面我举几个简单的例子:

  电商业务在白天和晚上面临的压力不同,我们如何在业务存在波峰波谷的情况下提高整体资源利用率?

  一个计算型任务的典型存在时间是多少?一个 Task 的多个 Instance 理论上彼此很相似,但是它们运行的时间都一样吗?

  实际上,学者们甚至可以用这些数据作出更加精彩的分析。2017年,我们开放的第一波数据(Alibaba Cluster Data V2017),已经产生了多篇优秀的学术成果。

  以下是学者们在论文中引用数据(Alibaba Cluster Data V2017)的例子,其中不乏被 OSDI 这样顶级学术会议收录的优秀文章。我们期待,未来你也能与我们共同分享你用这份数据产生的成果!

  我们加入了离线任务的 DAG 任务信息,据了解,这是目前来自实际生产环境最大的 DAG 数据。

  究竟什么是 DAG?离线计算任务,例如 Map Reduce、Hadoop、Spark、Flink 中常用的任务,都是以有向无环图(Directed Acyclic Graph,DAG)的形式进行编排的,其中涉及到任务之间的并行、依赖等方面。下面是一个 DAG 的例子。

  我们建立了一个关于Cluster Data V2018的交流钉钉群。使用钉钉搜索群号:23112775,即可加入。点击文末“阅读原文”,可填写调查问卷。

  想看到更多数据?我们长期招收研究型实习生,与我们一起发现问题、解决问题,挑战世界级技术问题,欢迎投递简历:/p>

  赞

  Intel 7nm工艺将对标台积电5nm,计划是2021年就投产并发布相关产品

  BrandZ 2019最具价值中国品牌100强”排行榜,阿里巴巴首次荣膺榜首

http://emeklishop.net/fenbushijisuanji/241.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有