您好、欢迎来到现金彩票网!
当前位置:星彩网 > 分布式计算机 >

36氪首发 加速分布式计算的传输「星云Clustar」获红杉中国天使轮

发布时间:2019-05-03 01:00 来源:未知 编辑:admin

  原标题:36氪首发 加速分布式计算的传输,「星云Clustar」获红杉中国天使轮投资 日前,“星

  原标题:36氪首发 加速分布式计算的传输,「星云Clustar」获红杉中国天使轮投资

  “无论是传统CPU的多核迭代,还是如今的FPGA、ASIC芯片,都是在单点/单服务器上提升算力。随着数据量增多,模型增多,大规模分布式处理成为必须途径。与此同时产生的问题是,很多资源在服务器传输间时被消耗。所以,提升单点算力固然重要,服务器之间的互联、参数在各个节点之间如何高效传输也是研究方向。”创始人陈凯说到,星云Clustar更偏向于后者,将超算的科研和技术成果应用到商用领域,为企业AI提供高效的分布式机器学习系统。核心团队由科学家陈凯和杨强组成。

  传统的TCP/IP技术在数据包处理过程中,要经过操作系统及其他软件层,占用大量的服务器资源和内存总线带宽,数据在系统内存、处理器缓存和网络控制器缓存之间来回进行复制移动,给服务器的CPU和内存造成了沉重负担,耗时且浪费资源,100G的带宽算下来可能只有20G用于传输。

  RDMA(Remote Direct Memory Access)即远程直接内存访问,可以让计算机直接存取其他计算机的内存,而不需要经过处理器。这样一来,一台服务器的网卡可以直接读取对方应用数据,而不对操作系统造成影响,计算在可编程的网络交换机进行,理论上可以做到100%的带宽利用以及微秒(us)级端对端传输时延 ( ~10us)。

  此前计算是在CPU上进行,网络只是负责传输数据。现在网络也能用于计算,星云通过可编程的交换机和智能网卡,分担了CPU⼀部分甚⾄至全部的计算任务。数据在边传输边计算的情况下,一来降低了CPU的负荷,二是边计算可以边消耗传输的数据量(比如对数据进行聚合以及整合),有利于提高传输效率。

  通过分析数据流所对应的应用层的语义,来确定数据流之间的相关性和优先级,用于制定路由路径和调度顺序,进而用同样的网络带宽极大化应用程序的执行速度。陈凯举例,假设一堆分布在不同节点的数据要算最大值,则需要完全传输到一个目标点才能计算,传输完成99%都不能执行后续的流程,星云的算法就是为了确定数据流之间的相关性,制定整体最优的传输策略,保证目标进程不会因为某些流的迟到而被拖延。

  诸如此类,星云所有技术的目的就为了提高AI环境下的高效运算。那么具体到应用上,微信的Amber深度学习平台就是由微信跟陈凯团队联合研发。Amber与TensorFlow、相同,也是一种深度学习计算框架。其中,陈凯团队负责将RDMA等技术应用到其数据传输环节,最终实现了平均提速3倍的计算效果。

  此外,星云还在钢铁、制造业、保险风控领域有正在实施的案例。陈凯概括下来,星云AI的目标客户可以分两类:一类是有大量数据的传统行业,希望做企业转型,所以会涉及到大规模数据计算;另一类是AI的应用公司,他们需要高效的底层设施,来实现上层算法、应用。

  目前,星云Clustar是项目制的方式帮企业落地,客单价在百万元级别。对于一些信息化、智能化较弱的企业,星云也提供软硬件一体化解决方案,包括以太网RDMA+智能网卡/自研交换机(最大网络带宽利用率提高AI效率),等等。

  据悉,星云公司在2017年注册,2018年境内重组,现在是人民币架构。目前团队共20多人,分布在北京、香港。 本轮融资将用于团队建设和产品研发。(若你也希望加入该团队,简历请戳)

  陈凯,星云AI创始人兼首席科学家。现任香港科技大学副教授、博导,网络系统实验室主任,港科大-微信人工智能联合实验室主任。主要研究方向包括数据中心网络,云计算系统,大数据和分布式机器学习的底层架构,专注于网络系统的设计和实现,曾多次在ACM SIGCOMM, USENIX NSDI,IEEE/ACM TON等国际顶尖学术会议和期刊上发表论文,其中SIGCOMM/NSDI论文近三年居亚洲第一,是全球网络通信业界首个基于机器学习的网络大脑核心设计者。

  杨强,星云AI联合创始人。港科大教授、博导,ACM/IEEE Fellow,首位AAAI华人院士,在数据挖掘、人工智能、终身学习和智能规划等研究领域都有着卓越贡献。

http://emeklishop.net/fenbushijisuanji/148.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有