戴尔重新定义具有AI性能和可扩展性的多云

　　赞助功能鉴于企业现在部署支持 AI 的应用程序的趋势越来越大，迫切需要高效的新数据存储解决方案。

　　兆字节和太字节的存储负载曾经对于单文档和单个图像类型的工作负载来说很常见，而 PB 级（1K TB）甚至一些 EB 级 （1K PB） 作业现在已投入生产。

　　推动人工智能应用蓬勃发展的因素包括大型语言模型（LLM）被用于从面部识别软件到流媒体服务推荐引擎的所有领域，所有这些都是为了改善用户体验和业务流程。各行各业对自动化、数据分析和智能决策的需求不断增长。人工智能可以自动执行重复性任务，分析大量数据集以发现模式，并做出数据驱动的预测或建议。这意味着在各个领域都有可能提高效率、生产力和创新。

　　所有这些都需要来自社交网络、GPS 发射器、安全摄像头、销售点位置、远程气象站点和许多其他来源的大量数据。这一趋势需要高性能存储解决方案来处理 AI 训练和推理中涉及的大量非结构化数据，这些数据可以分布在本地和云环境中。

　　IEEE Spectrum最近的一份报告《为什么AI比以往任何时候都需要更多的内存》探讨了AI系统不断增长的数据存储需求，特别关注LLM的规模不断增长。这表明，除了对高性能、低功耗、低成本和高容量的需求外，对内存中或内存附近的更多智能管理功能的需求也在不断增长，以最大限度地减少数据移动。因此，部署混合云的趋势正在受到关注，所有这些都是可能的。

　　传统上，人工智能的实施一直以孤立的解决方案和分散的基础设施为标志。

　　戴尔首席产品经理 Kshitij Tambe 表示：“当您的应用程序和工具主要在云中运行时，用户必须将他们的数据放在更靠近这些工具和应用程序运行的位置。“所以现在，如果你的数据位于本地，并且你正在构建一些工具和应用程序以在云中运行，那么就会有很大的差异。如果你在云中运行一件事，在数据中心运行企业数据，这将变得非常成问题。因此，这就是对这些混合云模型的需求所在。

　　为什么 RAGS 为 AI 系统添加更多数据

　　它们功能强大，需要大量存储空间，但为 AI 应用程序和工作负载提供基础的 LLM 只能根据它们的训练方式生成响应。为了解决这个问题并确保访问最新信息，一些人工智能系统利用了一种称为检索增强生成 （RAG） 的过程。RAG 将信息检索与提示集成在一起，允许 LLM 访问和利用外部知识存储。这种方法需要存储基础 LLM 和它检索到的大量数据以供实时使用。

　　多年来，随着公司（尤其是老牌公司）在数据中心、边缘和云部署中构建和使用许多不同类型的存储和存储设备，同时跨多个位置管理数据成为一个复杂的问题。一些存储管理员不会提供单屏实时查看公司的所有存储工作负载（无论是否在生产环境中）的情况，无论它们位于世界何处！

　　在很长一段时间里，这都是一个白日梦。但也许现在不是了。

　　在过去一年左右的时间里，出现了新的数据管理平台和流程，以处理这些分散的下一代工作负载。一个例子是Microsoft Azure云中的戴尔APEX文件存储，这是一个NAS平台，旨在满足跨多云环境的AI容量，性能和数据管理要求，是戴尔AI就绪数据平台的一部分。

　　戴尔表示，适用于 Microsoft Azure 的戴尔 APEX 文件存储于 4 月 9 日全面推出，弥合了云存储和 AI 驱动的见解之间的巨大差距。它还允许客户在支付服务费用方面具有一定程度的灵活性。

　　适用于 Azure 的 Dell APEX 文件存储的核心是 PowerScale OneFS，这是一款高性能横向扩展文件存储解决方案，全球已有 16,000 多家客户部署。

　　Tambe 表示：“通过将 PowerScale OneFS 引入 Azure 云，戴尔使用户能够更有效地整合和管理数据，降低存储成本并增强数据保护和安全性，同时利用原生云 AI 工具更快地获得见解。

　　适用于 Azure 的 APEX 文件存储可作为多功能连接器，可在云转型期间平稳过渡，并实现与所有存储节点的安全连接，无论使用何种类型的存储。一个关键的好处是：Microsoft 界面和控制面板对 IT 管理员来说非常熟悉，而 PowerScale OneFS 复制了存储 IT 专业人员在本地熟悉的用户体验。

　　适用于 Azure 的 APEX 文件存储解决方案基于 PowerScale OneFS，并经过验证，可与其他戴尔解决方案（如 PowerEdge）配合使用。APEX 配置和规范包括在单个命名空间中支持多达 18 个节点和 5.6PiB;没有其他供应商可以提出这种说法，戴尔吹嘘道。因此，Dell APEX File Storage for Microsoft Azure将其赌注放在地上，声称它是目前市场上最有效的横向扩展NAS解决方案。

　　戴尔进行的分析表明，例如，与 Azure NetApp 文件相比，适用于 Microsoft Azure 的戴尔 APEX 文件存储可实现 6 倍的集群性能提高 6 倍、命名空间增加 11 倍、每个卷的快照数量增加 23 倍、集群恢复能力提高 2 倍以及更轻松、更强大的集群扩展。

　　“通常，客户可能有三个节点、四个或五个节点，但可以灵活地在单个集群中一直到 18 个节点，”Tambe 说。“APEX 的新架构是这样的，集群规模越大，数据集越大，它就会变得越来越高效——甚至从数据集中有多少可用空间的指标来看，它也是高效的。”

　　Microsoft Azure 上的集成和部署

　　在数据管理方面，适用于 Azure 的 APEX 文件存储提供了一条集成高性能存储功能的新路径，可部署在 Microsoft 的 Azure 基础架构上。这个想法是让管理员使用高级本机复制轻松地将数据从本地移动到云，而无需重构任何存储架构。戴尔表示，这可以节省大量时间，从而实现数据管理功能，帮助组织更快、更高效地设计、训练和运行支持人工智能的工作负载。

　　适用于 Azure 的 APEX 文件存储利用 Azure 的云基础结构和功能，以多种方式使 AI 任务受益。为高级 AI 模型开发基础设施需要大量投资，不仅要扩展强大的计算资源，还要涵盖关键数据存储基础设施。训练数据集的大小可以从 TB 到 PB 不等，并且可以通过多个进程进行并发访问。保存每个检查点可能包含数百 GB 的检查点同样重要。

　　APEX 文件存储直接与多种最常见的 AI 工具（包括 Azure AI Studio）集成，以改变开发人员处理生成式 AI 应用程序的方式，并帮助简化从概念到生产的旅程。戴尔表示，它是开发人员的游乐场，用于评估来自大型语言模型的响应并编排提示流，从而确保最佳性能和可扩展性。

　　由于 OneFS 支持将 S3 作为访问协议，因此获取 APEX 文件存储以使用 Azure AI Studio 应该很容易。例如，开发人员可以使用 OneLake 数据网关将 Azure AI Studio 直接指向 OneFS 目录。这允许他们在 OneFS 群集（AFS 或本地）上使用文件，而无需将数据复制到 Blob 存储，从而对 AI 模型进行微调，并将文件保留在 OneFS 文件系统中。

　　为了提供可伸缩性，APEX 文件存储利用 Azure 的云原生技术，使其能够根据 AI 工作负载需求弹性扩展存储容量和性能。这有助于确保平稳运行，即使在处理 AI 训练和处理中使用的大型数据集时也是如此。

　　为了集成，APEX 文件存储直接与 Azure 体系结构集成，从而促进本地和云环境之间的数据传输。这样，在将 AI 工作负载迁移到云时，无需重新设计存储基础架构。戴尔表示，这种组合为通用存储层奠定了基础，该存储层可简化多云环境中的存储管理。

　　对于数据管理和保护，APEX 文件存储提供了高级本机复制、重复数据删除和纠删码等功能。这些功能有助于数据冗余、安全性和高效的存储利用率，这些都是管理 AI 应用程序的大型数据集的关键方面。

　　去年，戴尔在Microsoft Azure APEX计划之前推出了AWS版本的服务。这是戴尔致力于为不同的云平台提供广泛的存储和数据管理选项以满足客户要求的一个例子。

免责声明：本文内容来源于第三方或整理自互联网，本站仅提供展示，不拥有所有权，不代表本站观点立场，也不构成任何其他建议，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性不作任何保证或承诺，请读者仅作参考，并请自行核实相关内容,不承担相关法律责任。如发现本站文章、图片等内容有涉及版权/违法违规或其他不适合的内容， 请及时联系我们进行处理。