Baba publishes benchmark for AI in care coordination
Baba uses AI while keeping its service human-led. The company tests how open and closed models perform on care-coordination tasks, such as applying for food assistance, verifying income, managing medications and addressing transportation needs.
According to CEO Connor Sweeney, the company’s published Baba Bench found that AI can handle many tasks but still makes mistakes. Models may, in particular, share too much information; Sweeney said that in healthcare this can have serious consequences, including a risk of losing insurance. The benchmark is available at calmbaba.com/bench. Sweeney said better models would benefit Baba, but that this is not a deliberate company strategy.
Baba опубликовала бенчмарк для оценки ИИ в координации медицинского ухода
Baba использует ИИ, сохраняя человеческий формат сервиса. Компания проверяет, насколько открытые и закрытые модели справляются с задачами координации ухода: например, с оформлением продовольственных пособий, проверкой доходов, управлением лекарствами и решением транспортных вопросов.
По словам CEO Коннора Суини, опубликованный компанией бенчмарк Baba Bench показал, что ИИ успешно выполняет многие задачи, но всё ещё допускает ошибки. В частности, модели могут раскрывать слишком много информации; в медицинском контексте это, по его словам, может иметь серьёзные последствия, включая риск потери страховки. Бенчмарк размещён на сайте calmbaba.com/bench. Суини сказал, что продвижение моделей было бы полезно Baba, но не является намеренной стратегией компании.