Специалисты Центра практического искусственного интеллекта Сбербанка разработали и представили первую открытую платформу для оценки способностей нейросетей к долгосрочному прогнозированию событий. Об этом сообщает пресс-служба компании.
"До сих пор у нас не было адекватных инструментов, чтобы сравнивать разные модели в таком сложном сценарии. Наш бенчмарк и метрика заполняют эту пустоту. Они позволяют объективно оценить, какая ИИ-модель действительно хорошо "видит" будущее, а какая — лишь удачно угадывает ближайший шаг", — приводятся в сообщении слова научного директора Центра практического искусственного интеллекта Сбербанка Андрея Савченко.
Уточняется, что бенчмарк HoTPP — "измерительная линейка" для долгосрочных прогнозов — работает с данными из разных сфер, в том числе финансов, электронной коммерции, медицины. Также ученые создали новую метрику T-mAP, которая оценивает точность предсказания одновременно по двум параметрам — типу будущего события и времени его наступления, что дает полную картину качества работы модели.
Как подчеркнул Савченко, особенно важно, что была выявлена проблема "схлопывания" предсказаний, когда сложные модели выдают однотипные прогнозы, игнорируя редкие события. "Это открытие задает вектор для новых исследований. Мы надеемся, что наша открытая платформа станет общим стандартом для научного сообщества и поможет быстрее создавать ИИ, который понимает многогранность и неопределенность мира", — отметил он.
Разработка может найти широкое применение в разных областях: банкам и финтех-компаниям поможет лучше прогнозировать транзакционную активность клиентов, ретейлеры и логисты смогут точнее планировать товарные запасы, а в сфере здравоохранения технология позволит анализировать последовательности визитов к врачу для ранней диагностики.