AI workloads may require specialized compute beyond GPU clusters
NeoCloud architecture depends on the workload: pre-training and inference clusters can differ, while reinforcement learning (RL) may require environments and sandboxes built with non-GPU chips that mimic phones or laptops during training.
Understanding the workload can open alternatives to deploying the latest NVIDIA GPUs; Semi Analysis plans to test these options in the coming months.
Для ИИ-нагрузок могут потребоваться специализированные вычисления помимо GPU-кластеров
Архитектура NeoCloud зависит от рабочей нагрузки: кластеры предварительного обучения и инференса могут различаться, а для обучения с подкреплением (RL) могут понадобиться среды и песочницы на чипах, не являющихся GPU, которые имитируют работу телефонов или ноутбуков.
Понимание рабочей нагрузки позволяет рассматривать варианты без развёртывания новейших GPU NVIDIA; Semi Analysis планирует протестировать такие варианты в ближайшие месяцы.