Network design and software support shape AI-cloud performance
Network design is a major source of performance differences between providers, and networks built for 100,000 GPUs differ substantially from those for 10,000 GPUs or smaller clusters. Some providers build custom networks, with Amazon EFA cited as an example. The source names InfiniBand and “Rocky” as two NVIDIA networking options.
New inference features in open-source tools such as vLLM and SGLang may take months to work well on custom networks. The delay can frustrate customers waiting for features such as KVCache offloading and lead them to prefer NVIDIA’s standard networking. Configuration, software and firmware support, reliability, and storage can also affect performance.
Сетевой дизайн и поддержка ПО влияют на производительность AI-облаков
Сетевой дизайн — один из главных источников различий в производительности провайдеров, а сети для 100 000 GPU существенно отличаются от сетей для 10 000 GPU и меньших кластеров. Некоторые провайдеры создают собственные сети; в качестве примера приводится Amazon EFA. В источнике InfiniBand и «Rocky» названы двумя сетевыми вариантами NVIDIA.
Новые функции инференса в инструментах с открытым исходным кодом, таких как vLLM и SGLang, могут месяцами адаптироваться для эффективной работы на нестандартных сетях. Задержка может раздражать клиентов, ожидающих функций вроде выгрузки KVCache, и побуждать их предпочесть стандартные сетевые решения NVIDIA. На производительность также могут влиять конфигурация, поддержка ПО и прошивок, надежность и хранилище.