Positron планирует открытое ПО для инференса с оптимизацией под клиентов

Positron AI заявляет, что его программный стек для инференса будет построен на открытой инфраструктуре, совместимой с экосистемой Nvidia и PyTorch, включая vLLM и SGLang. Компания делает основной акцент на инференсе и считает обучение существенно более сложной задачей для альтернативных чипов.

Предлагаемый подход сочетает широко совместимый слой с индивидуальной доработкой для крупных и технически продвинутых клиентов, включая передовые лаборатории и гиперскейлеров. Positron утверждает, что его команда запустила модель Muse Glimmer на системе Atlas первого поколения за несколько часов, однако отмечает: быстрый запуск сам по себе не обеспечивает максимальной эффективности или минимальной стоимости.

Компания ожидает, что подключение новых моделей станет быстрее и более автоматизированным, но считает индивидуальную оптимизацию важной для полного раскрытия экономической ценности оборудования. В материалах не уточняются лицензии на ПО, график его выпуска, перечень поддерживаемых моделей или количественные показатели прироста эффективности.