В России создали тест для оценки медицинских ИИ-систем
Специалисты Сбера, ВШЭ и Института системного программирования РАН разработали систему тестирования медицинских помощников на базе искусственного интеллекта (ИИ). Методика моделирует реалистичные сценарии общения между врачом и пациентом с использованием жалоб, снимков и данных о характере пациента.
Тест включает около трех тысяч клинических случаев с 34 диагнозами, основанных на реальных медицинских документах и изображениях. Роли врачей и пациентов выполняют ИИ-агенты на базе больших языковых и мультимодальных моделей. Разработка доступна компаниям бесплатно для оценки диагностических возможностей их систем.
Испытания показали, что способность ИИ вести диалог повышает точность диагностики на 6,5%, а умение классифицировать медицинские показатели в отдельных случаях улучшает результаты на 20%. Система поможет развивать телемедицинские платформы и повышать качество удаленных консультаций.