像世界各地的许多系统架构师一样，我们对相变存储器（PCM）的变体3D XPoint寄予厚望，该技术在英特尔和美光科技共同开发多年之后于2015年7月大张旗鼓地发布。这代表了系统层次结构中的一种新型内存，它位于主内存和Tier 1存储之间，并有望使更大，更便宜的主内存和更快的Tier 1内存成为可能。

　　系统内存层次结构之间存在很大的差距，当中尤其以Tier 1存储和CPU中的主内存之间的差距最大，因此这会严重影响整体系统性能和系统成本。但是，也许3D XPoint必须克服的是英特尔和美光公司共同在犹他州莱希市投资的实验室和晶圆厂与世界数据中心的差距。

　　事实证明，这种差距很难弥合，这就是美光宣布关闭3D XPoint业务并宣布出售Lehi晶圆厂的原因之一。我们认为，既然英特尔是唯一一家销售3D XPoint的公司，并且在第二代PCM内存变体完善之后，美光公司在几年前就拥有了Lehi晶圆厂，因此英特尔将向美光公司购买该晶圆厂。但也许不是，因为美光没有说。

　　而且，随着英特尔即将推出具有八个存储通道的“ Ice Lake” Xeon SP处理器，而不是许多年来一直使用的至强处理器上的六个存储通道，英特尔已经拥有了一些存储容量和存储带宽新布局–这将有助于推动Optane DIMM在过去两代Xeon SP服务器上的采用–将会减少。这个时机也许不是巧合。但是美光的突然而完全的反应有点令人惊讶。

　　在与华尔街的电话会议中，美光公司总裁兼首席执行官Sanjay Mehrotra表示，美光公司将立即停止3D XPoint的开发，并将致力于利用Compute Express Link（CXL）协议将CPU链接到物理外部（但逻辑上连接）存储和加速器设备。

　　Mehrotra解释说：“我们相信这一转变将更好地满足客户的需求，并且重要的是，它将提高我们股东的回报。” “鉴于CXL和我们新兴的存储器产品对未来数据中心的预期影响，我们对3D XPoint市场机会的评估决定了我们的决定。”

　　3D XPoint未能按预期起飞并不是什么国家机密，而且我们多次说过，英特尔的Optane比预期晚上市得多，速度比预期慢，容量也不及预期，且价格比预期贵。这不是一件好事。换而言之，Optane SSD比闪存SSD快得多，并且Optane PMEM记忆棒具有持久性，然而而DDR DIMM需要通电才能记住事情。

　　美光拥有其制造3D XPoint内存的Lehi晶圆厂的限制因素之一是，该晶圆厂的未充分利用正在影响其非GAAP利润，每年达4亿美元。为了给您提供一些观点，美光在该年9月结束的2020财年的销售额为214.4亿美元，营业收入为11.6亿美元，净收入为9.88亿美元。因此，3D XPoint销售的这种短缺对美光中部和底线的利润造成了重大打击。

　　但是我们认为情况更加复杂。英特尔曾希望将3D XPoint与其“ Skylake”处理器和“ Purley”服务器平台一起使用，我们在他们于2015年5月的发布后不久就告诉了所有人。我们当时还不知道英特尔到底在计划什么，但是我们得到的文件确实说，Purley系统的容量是DRAM存储器的4倍，成本却比DRAM存储器低，而持久性数据在设备上的速度比DRAM快500倍。NAND闪存的时代。这就是“ Apache Pass” Optane DIMM，我们称为Optane 100系列，并且一直推迟到2019年4月交付到“ Cascade Lake” Xeon SP为止。

　　从3D XPoint首次面世到以至关重要的DDR DIMM形式交付，已经过去了将近四年的时间，即使在那时，也只有英特尔服务器，Cascade Lake，然后是后续的“ Cooper Lake”四路和八路可以使用它们。

　　系统架构师及其CIO客户（或视情况而定，是老板）对任何单一来源的技术都持谨慎态度，这些技术无法在各种CPU和主板上进行部署。因此，我们认为市场对Optane DIMM缺乏热情是英特尔自己的错。英特尔需要为Cascade Lake和Cooper Lake处理器的发布提供一些便利，与主流市场上的AMD Epyc 7002，IBM Power9，Ampere Altra和Altra Max以及Marvell ThunderX2替代品相比，这将减少内存容量和带宽。由于英特尔10纳米芯片制造工艺的延迟，Lake的Xeon SP迟到了数年。（因此，这是10纳米延迟的另一个意外影响；如果您愿意的话，这是一个级联故障。）

　　想象一下，如果英特尔（和美光）在2015年对3D XPoint内存采取的态度与英特尔在2019年对CXL协议采取的态度相同。那么拥有竞争性协议的每个人——IBM与CAPI和OpenCAPI，Xilinx和AMD以及Arm与CCIX，具有NVLink的Nvidia以及具有Gen-Z的惠普企业和戴尔-都落后于CXL，因为英特尔让他们参与了将成为批量市场的市场并提供了一些投入。

　　3D XPoint这种PCM内存的变体能够很好地扩展主内存而对性能几乎没有影响的，这不应在整个服务器行业中普遍存在，从而提高了销量并降低了价格，以至于英特尔和美光科技将不会再与之竞争。在最后一步中，只有英特尔才是唯一的拿手好戏，它本可以与美光（甚至是三星）合作，为全世界制。

　　那是理论。在实践中，很难在内存层次结构中添加另一层，并且英特尔在使3D XPoint对应用程序和操作系统透明方面做得还不是很出色–并没有比“Knights Landing”“中的MCDRAM和DDR4主内存块附近做得更多。

　　我们只需要看一下MemVerge，在2019年4月发布的时候，我们对其进行了介绍。当Cascade Lake服务器开始出货时，我们看到通过MemVerge创建的”内存管理程序“，确实有可能使DRAM和Optane内存的混合易于使用。Optane SSD从来没有使用太多，但是如果容量增加了10倍或100倍，那么对于系统设计人员来说也许会更有趣。

　　这似乎还不够，美光在与用户和系统构建者交谈之后，意识到读者会完全理解，那就是：在许多情况下，内存带宽对应用的限制甚于内存容量。当英特尔和美光科技通过硅通孔（TSV）共同开发3D堆叠内存并将其用于Knights Landing CPU时，三星HBM赢得了与Nvidia和AMD的游戏和计算卡业务。现在，HBM2和HBM2E以及规划的HBM3堆叠内存。

　　现在，美光科技将试图弄清楚，如何能在PCI-Express总线上，使用CXL将外部存储器和闪存链接到服务器上，并出售利用该功能的设备，而不是尝试出售DIMM中的3D XPoint。在2020年11月，美光（Micron）表示仍在前进的道路上），并试图以3D XPoint SSD外形与CXL脱钩，该产品已作为X100驱动器出售。

　　这个内存带宽问题是真实存在的，并且我们不确定如何在CXL总线上使用内存设备（无论它们是否使用主内存语义，还是位可寻址而不是字节可寻址）。大多数系统的PCI-Express总线也受到了重创，我们将再说一次，IBM将所有I / O集成在芯片上的想法（无论是内存访问，NUMA互连还是外围互连）都使用相同的高速信号SerDes。

　　在美光和IBM都看到的世界变得越来越有意思。

　　IBM的CPU设计人员可以做到这一点，并且正在使用DDR5缓冲存储器在Power10中实现它，然而我们看不到未来的处理器采用这种方法的可能。

　　美光公司四个部门的执行副总裁兼首席商务官Sumit Sadana总结了这样的情况：” 3D XPoint的价值主张是作为持久性存储器运行，而其成本要低于DRAM，或者作为显着的存储空间，比NAND快。自3D XPoint首次发布以来，多年来，数据中心的工作量和客户需求一直在不断发展。随着数据密集型工作负载的激增以及以数据为中心的应用中AI的增加，CPU-DRAM带宽已成为限制整体系统性能的因素。此外，随着CPU体系结构的发展，已经显着增加CPU内核数，为此我们需要更多的DRAM以确保每个CPU内核有足够的内存带宽。这种趋势推动了服务器DRAM内容的不断增长。“

　　公平地说，英特尔和MemVerge使用Optane的方式是增加内存容量，而不是增加带宽，因为内存控制器和内存插槽在系统中是恒定的。如果需要更多的内存带宽，则必须使用其他类型的内存，例如NEC的Aurora矢量加速器或Fujitsu的A64FX合理矢量的HPC风格CPU。在这些情况下，它们使用与高端图形卡和GPU计算加速器相同的HBM2内存。如果要增加CPU综合体中的内存带宽，则CPU制造商必须这样做，而美光必须采取一切措施，除非它想摆脱MCDRAM或成为HBM2内存的参与者。除了降低瓦特和提高存储器时钟外，美光对存储器带宽的控制极少。而且CXL不会改变这一点，尽管它将创建第二类较慢的内存，该内存位于PCI Express总线而不是内存总线上的CPU综合结构外部。

　　3D XPoint的另一个问题是NAND闪存的价格越来越便宜，而Optane SSD成本的变化率却没有跟上。就Sadana而言，持久性存储”始终是3D XPoint的战略长期市场机遇“，并且”随着时间的推移，基于3D XPoint的SSD产品预计将不再是利基市场。“

　　美光完全承认更改系统中的编程模型以将新的内存层添加到层次结构中的困难，并表示它将在使用CXL的内存产品上运行，并且采用障碍较小。虽然从长远来看3D XPoint可能是正确的答案，但是使用这些CXL内存设备以及我们认为它们的局限性和优势，将阻碍3D XPoint DIMM的采用，而Micron甚至没有这样做。到目前为止，也许我们还无法制造出一两个服务器。

　　美光表示将立即停止3D XPoint的开发，并在未来几个季度完成合同承诺后将停止制造3D XPoint芯片，并补充说正在参与出售Lehi晶圆厂的谈判，该公司希望在2021年年底之前这样做。

　　对英特尔来说，也是时候开始抉择了。