ClusterMAX 3 highlights NeoCloud reliability gaps as customers rely heavily on providers
Work on SemiAnalysis’s ClusterMAX 3 took four or five months, with testing focused on B300 GPUs and 800-gigabit networks. Some companies have raised tens or hundreds of millions of dollars and put about 90% of it toward a NeoCloud, making provider choice critical. The evaluation includes performance tests and simulated failures to measure how quickly providers detect problems and recover; some real hardware failures were also induced when providers allowed it.
Top providers completed failure detection and recovery in about 20 minutes. At some others, problems went undetected for hours or days, sometimes until testers alerted the provider, and repairs could take hours or longer. One commentator suggested that high demand and a customer paying about $1 billion a year might affect providers’ priorities, while warning that reliability problems could affect future relationships. NeoClouds opt in to being graded.
ClusterMAX 3 выявил разрыв в надежности NeoCloud-провайдеров на фоне зависимости клиентов
Работа над ClusterMAX 3 от SemiAnalysis заняла четыре или пять месяцев; тестирование было сосредоточено на GPU B300 и сетях 800 Гбит/с. Некоторые компании привлекли десятки или сотни миллионов долларов и направляют около 90% этих средств NeoCloud-провайдеру, поэтому выбор поставщика критически важен. Оценка включает тесты производительности и моделирование отказов, чтобы измерить, как быстро провайдеры обнаруживают проблемы и восстанавливают работу; с разрешения некоторых провайдеров также вызывали реальные аппаратные сбои.
Лучшие провайдеры обнаруживали сбой и восстанавливали работу примерно за 20 минут. У некоторых других проблемы оставались незамеченными часами или днями, иногда пока тестировщики не сообщали о них провайдеру, а устранение могло занимать часы или дольше. Один из комментаторов предположил, что высокий спрос и наличие клиента, платящего около 1 млрд долларов в год, могут влиять на приоритеты провайдеров, и отметил, что проблемы с надежностью способны повлиять на будущие отношения. NeoCloud-провайдеры добровольно участвуют в оценке.