2同行回答
- 底层硬件基础是我们的 NVIDIA-Certified Servers. 它是我们的 Ampere GPU 或 T4 + NVIDIA Mellanox SmartNIC/ DPU + OEM servers ，是经过我们测试认证的具有优良性能，易管理，高安全性，高扩展性的服务器配置。 在性能测试上，我们测试了 pytorch ， tensorflow 的训练性能，推理上测试了 TensorRT 以及 Triton inference server ， 以及 rapids ， spark 和核心的一些 library 如 HPC SDK 以及 cuda 的测试，还有一些 end to end 的 framework 如 deepstream, clara, javis 的测试，可视化上的 blender ， V-ray ， redshift 等测试， 另外在存储上我们测试 GPUDirect Storage 性能。 除了单机性能测试外，服务器配置 CX6 或 bluefiled ，测试多机之间的 RMDA 性能以及多机的 NCCL 性能以及训练性能。 在安全性上，我们有针对 TPM 模块的功能测试。 另外还有 redfish 管理功能测试。
https://www.nvidia.com/en-us/data-center/products/certified-systems;
https://docs.nvidia.com/ngc/ngc-deploy-on-premises/nvidia-certified-systems/index.html - 在底层硬件基础上，我们支持 baremetal 的部署，或者虚拟化方式的部署，支持 vGPU 。 这里 hypervisior 可以使 vmware vsphere, redhat open shift, 或者其他的 partner 的虚拟化方案。
- 在这基础上的应用层，就可以基于我们 NGC 上的大量的容器镜像，预训练模型以及 end-to-end 的方案。
- 还有就是 NVIDIA AI Enterprise ，它是 端到端的， cloud-native 的 AI 和数据分析套件， 它经过我们优化，认证，通过 VMware vSphere with Tanzu 运行在 nvidia-certificated 服务器上。 它包括 NVIDIA 用于 在现代混合云中快速部署、管理和扩展人工负载 的一些关键技术，如 magnum IO, DOCA, CUDA-x, GPU operator, Network Operator 。 在上层应用上，也是基于我们 NGC 上的一系列容器镜像和解决方案。
https://www.nvidia.com/en-us/data-center/products/ai-enterprise-suite
- 对于边缘设备的管理，我们有 FleetCommand ， Fleet Command 是一款混合云平台，可以跨数十台到最多数百万台服务器、以及对边缘设备进行管理和扩展 AI 部署，在云端运行的集中控制界面，精简的配置，详细的监控仪表板，以及大量的自动化流程。 使用一键式配置， FLEET COMMAND 可以轻松地与 NVIDIA EGX ™服务器配对。一旦配对成功， Fleet Command 就可以很方便的在边缘设备上部署 OS ，部分 AI 应用程序， 支持远程管理边缘设备，支持远程软件更新、远程调试和系统监控，以及其他功能，如自愈系统，负载迁移。这些远程管理功能使维护和维护变得更容易。 Fleet Command 内置端到端的安全性，确保知识产权、应用程序和传感器数据始终受到保护。它从应用程序开始。应用程序在加载之前会被扫描漏洞和恶意软件。此外，签名容器确保只有经过身份验证的软件被部署到边缘。
https://www.nvidia.com/en-us/data-center/products/fleet-command
收起Vince Xu的回复非常全面，咱们再换一个维度来看EGX的几个特点：
统一的架构
• 单一架构能够在多种工作负载中加速现代应用程序。
• NVIDIA 和合作伙伴提供广泛的服务器产品系列，适用于从数据中心到边缘等各种部署场景。客户可以选择适合其用例的产品。
全栈创新
• 该平台不断进行全面优化，并持续提升性能，更大限度提高投资回报率。
• 与传统设计相比，基于此平台的解决方案可提高电源和空间效率，且完成同样的工作所需的系统更少，这样便能降低 TCO 。
可扩展性与安全性
• 高性能且高效的网络架构使基础设施能够快速有效地进行横向扩展，同时提供创新功能，更大限度提高安全性。
• GPU 虚拟化软件使多台虚拟机能够共享一个 GPU ，或者对于要求更高的工作负载，可以将多个 GPU 配置到一台虚拟机，确保宝贵的 GPU 资源得到优化。
• 部分 GPU 型号提供的多实例 GPU (MIG) 可以将一个 GPU 分割成多个独立的 GPU 实例。它让基础设施管理员能够实现 GPU 加速基础设施的标准化，同时灵活地确保在所有计算工作负载中合理运用 GPU 资源。
庞大的应用程序基础
• 庞大且不断增长的应用程序意味着，投资此平台将带来持续的回报。数百种商业应用程序已通过 NVIDIA 技术加速，而且每年还在不断增加。
• 开发者可以通过框架、优化库、 SDK 、集成的编译器、预训练模型、推理优化器和其他软件快速提高工作效率。这些都得到了由 200 多万名开发者组成的庞大生态系统的支持。
基础设施平台生态系统
• 该平台与业内领先的 国内的主流OEM厂商的 IT 基础设施平台和 VMware、 Red Hat 以及标准的 DevOps 框架（如 Kubernetes 等）完全集成，使 IT 部门能进行全方位控制。
收起