Сетевой дизайн и поддержка ПО влияют на производительность AI-облаков

Сетевой дизайн — один из главных источников различий в производительности провайдеров, а сети для 100 000 GPU существенно отличаются от сетей для 10 000 GPU и меньших кластеров. Некоторые провайдеры создают собственные сети; в качестве примера приводится Amazon EFA. В источнике InfiniBand и «Rocky» названы двумя сетевыми вариантами NVIDIA.

Новые функции инференса в инструментах с открытым исходным кодом, таких как vLLM и SGLang, могут месяцами адаптироваться для эффективной работы на нестандартных сетях. Задержка может раздражать клиентов, ожидающих функций вроде выгрузки KVCache, и побуждать их предпочесть стандартные сетевые решения NVIDIA. На производительность также могут влиять конфигурация, поддержка ПО и прошивок, надежность и хранилище.