《电子技术应用》
您所在的位置:首页 > 模拟设计 > 业界动态 > AI、HPC的助推器,下一代并行文件系统解决方案—EXA5

AI、HPC的助推器,下一代并行文件系统解决方案—EXA5

2019-07-05
关键词: AI HPC

  DataDirect Networks (DDN)推出了EXA5,这是该公司第五代Exascaler Lustre文件系统平台,将用于填充DDN的全闪存、中档和高端存储设备系列。Exascaler主要客户是针对HPC人群,但这个最新版本也吸引了更多面向企业客户的特性,尤其是那些从事人工智能工作的客户。

  DDN高级营销总监Kurt Kuckein表示:“对于那些不那么熟悉DDN的企业来说,这些需求变得越来越明显。因此这款产品结合了我们存储功能和一些企业特性。”

  多年来,DDN一直在有条不紊地为Exascaler软件添加一些利于企业的功能,人工智能市场正促使DDN对这一领域给予额外关注。对于EXA5,很多新特性都是相当标准的问题——增强型数据保护、升级安全性(包括多租户)、通过CIFS和NFS网关支持non-Lustre并行存储系统[1]以及审计功能。改进的small file性能也有所增加了,这也得到了传统的高性能计算客户的赞赏。

  据Kuckein介绍,他们在Lustre中做了大量工作来加速Smallfile(小文件存储)的性能。在硬件级别,这主要是通过利用基于闪存的存储组件的特殊随机访问性能实现的。Kuckein说,他们所做的优化不仅加快了Smallfile(小文件存储)的I/O速度,而且还跨越了一系列文件大小,从几kb到几mb。

  然而,EXA5最大的新特性是STRATAGEM,这是一个功能强大的数据编排引擎,它使用基于策略的布局为用户提供全面的数据驻留控制,并且提供了Flash和硬盘之间的自动分层。分层是通过将活动数据保存在闪存中,并将访问的数据放在旋转磁盘上,从而优化I/O性能。它通过扫描后台文件系统并在访问模式允许的情况下移动文件来实现这一点。EXA5中的其他几十个新特性为在云中部署要求最高的工作负载的用户提供了独特的价值。

1562139873379174.png

  到目前为止,DDN客户一直依赖于开放源码的Lustre策略引擎,比如Robinhood,根据Kuckein的说法,Robinhood在性能方面还有待改进。Strategem使用的开销要小得多,因此可以在不过度影响用户性能的情况下进行文件系统扫描。有趣的是,它将大多数基于闪存的文件镜像到硬盘上,以备快速需要闪存层上的空间。用户还可以自定义开发,在特定情况下自动进行数据升降级,还可以使用API对外部驱动的数据移动进行控制。

  DDN设置了策略引擎,所以无论Flash是在它自己基于NVMe(非易失性内存主机控制器接口规范)的存储阵列(比如ES200NV或ES400NV)中,还是在混合设备(比如ES7990)中与硬盘混合,都没有关系。它将解决所有的Flash 是否在文件名称空间或系统本身的问题。

  EXA5已经在德克萨斯高级计算中心(TACC)很快将拥有一台顶级超级计算机—“Frontera”上实现了应用。作为世界上第五大系统,同时由CPU和GPU驱动,新型TACC机器有望与传统HPC应用程序一起运行人工智能工作负载。它支持50 pb的DDN硬件,其中3 pb以基于NVMe的硬件的形式提供额外的快速划痕存储。

2.png


  在人工智能领域,一家提供实时视频分析软件公司正在应用EXA5,XXII分析软件可以用于无现金的零售环境中,监控商店客户,并根据他们放入购物车的内容计算费用。在最近的GTC会议上,XXII分析软件运行在了连接DDN存储的Nvidia硬件上进行了演示。

  EXA5可以运行在所有的Flash SFA200NV SFA400NV,混合SFA7990,高密度SFA18K,以及 A?I存储电器 (A1200和AI7990)上,它将在今年第三季度初上市。

  [1] Lustre,一种平行分布式文件系统,通常用于大型计算机集群和超级电脑。Lustre是源自Linux和Cluster的混成词。它是应用广泛的linux开源分布式存储文件系统,其容量可轻易扩容到PB级别,在HPC、云上有相应的使用。


本站内容除特别声明的原创文章之外,转载内容只为传递更多信息,并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题,请及时通过电子邮件或电话通知我们,以便迅速采取适当措施,避免给双方造成不必要的经济损失。联系电话:010-82306118;邮箱:aet@chinaaet.com。