Готов ли искусственный интеллект признавать отсутствие знаний в каких-либо областях? Оказавшись в ситуации незнания, усомнится ли ИИ в своей компетентности или проигнорирует? Ответы на эти и другие вопросы получили слушатели лекции «Зачем искусственному интеллекту сомневаться и как его этому научить?», которая 23 марта прошла в Информационном центре по атомной энергии (ИЦАЭ) Новосибирска.

Научный сотрудник лаборатории прикладных цифровых технологий Матцентра ММФ НГУ, старший преподаватель кафедры фундаментальной и прикладной лингвистики Гуманитарного института НГУ Иван Бондаренко уверен, что искусственный интеллект должен испытывать сомнения при обработке нетипичных данных и сообщать об этом человеку-наблюдателю. А иначе человек не сможет ему доверять.

«Когда мы разрабатываем искусственный интеллект, то мы ожидаем, что он может своему партнёру – человеку – не только сообщать о своих прогнозах, но и выражать уверенность или неуверенность в них», – начал своё выступление Иван Бондаренко.

Как правило, современные системы искусственного интеллекта основаны на машинном обучении с использованием специально подготовленной обучающей выборки. Но никто не может гарантировать, что входные данные в ходе эксплуатации обученной системы всегда будут типичными, то есть похожими на те, которые использовали для обучения алгоритма, или, говоря другим языком, из той же генеральной совокупности. Внезапно может произойти то, что специалисты по машинному обучению называют «сдвигом данных», когда условия получения этих данных меняются.

И проблема сдвига данных, ситуации, когда алгоритмы, обученные на одних данных, попадают в новые условия, как раз и является одной из проблем машинного обучения. От того, насколько хорошо алгоритм умеет действовать в этих условиях, будет зависеть эффективность его работы и широта применения.

«Учёные очень любят соревноваться. И часто проблема, которую необходимо решить, формулируется в ходе соревнования. В одном из таких соревнований по сдвигу данных, которое проходило в 2021 году, я принял участие», – рассказал Иван Бондаренко.

Организаторы соревнований – Яндекс вместе с учёными Оксфорда и Кембриджа – поставили цель разработать модели, либо устойчивые к сдвигу данных, либо способные обнаружить такой сдвиг за счёт оценки неопределенности в своих прогнозах.

Для работы взяли несколько соревновательных дорожек: прогнозирование погоды, прогнозирование поведения участников дорожного движения среди беспилотников и машинный перевод.

«Я участвовал в работах, связанных с прогнозом погоды, где проблема заключалась в том, сможет ли искусственный интеллект найти изменившиеся данные и сообщить об этом человеку. Модель должна давать хорошее качество прогноза распознавания на тех данных, которые ей знакомы, уметь определять, когда новые данные выходят за границы её компетентности, и, определив, говорить «Нет, я не знаю, я сомневаюсь», – поделился Иван Бондаренко.

Сдвиг данных моделировался по таким параметрам, как время (разные годы) и разные климатические пояса.  И вот здесь возникает вопрос: а как такую модель создать и как измерить умение сомневаться?

Как отправную точку организаторы предложили свой базовый вариант решений, где ключевыми элементами, обеспечивающими моделирование неопределённости, являлись ансамбль из 10 алгоритмов CatBoost и специальная функция потерь RMSEWithUncertainty.

Алгоритм CatBoost основан на градиентных деревьях решений, и при обучении этой модели последовательно строится набор деревьев решений. По мере обучения каждое последующее дерево строится с меньшими потерями по сравнению с предыдущим деревом. А функция потерь в теории статистических решений характеризует потери при неправильном принятии решений на основе наблюдаемых данных.

Но, как показала практика, дерево решений не справляется с поставленной задачей. Оно не умеет экстраполировать, переносить выводы, сделанные относительно какой-либо части объектов или явлений, на всю совокупность данных объектов или явлений, а также на их другую какую-либо часть.

Преодолеть недостатки деревьев решений и других классических приемов машинного обучения оказались способны нейронные сети.

«С одной стороны, нейросеть – это модель иерархических представлений, создаваемых в процессе обучения градиентным методом, а с другой – это эффективная форма нелинейной регрессии, и она умеет экстраполировать. С усложнением своего размера, с увеличением времени обучения они это делают лучше и лучше, – пояснил учёный. – Это всё привело меня к выводу, что основные проблемы, связанные с возможностью научить искусственный интеллект сомневаться, можно решить сочетанием специальных техник машинного, в частности, глубокого обучения. Речь идёт о глубоких нейросетях, функциях потерь с учётом неопределённости, ансамблирования, иерархического многозадачного обучения, нормализации и самонормализации, дискретизации входных данных».

Такое решение позволило Ивану Бондаренко победить в конкурсе.

В дальнейшем работа по разработке рецепта сомневающегося искусственного интеллекта продолжилась уже в лаборатории, где работает учёный, и нашла реализацию в таких проектах, как отказ от распознавания интента в чат-боте, селекция мусора внутри фандомата, самомониторинг вашей ML-модели с течением времени и других.

«Важно умение искусственного интеллекта моделировать сомнение, так как данные на практике могут быть какими угодно. Если наш алгоритм привык работать на данных из той же генеральной совокупности, что и обучающая выборка, по-настоящему полезным его назвать нельзя. Так что, друзья, если вы интересуетесь искусственным интеллектом и хотите научить свой собственный искусственный интеллект, то учите его не только принимать решения, но и сомневаться», – завершил лекцию Иван Бондаренко.

Лекция Ивана Бондаренко стала частью программы еженедельного проекта «ИЦАЭ OPEN», который был посвящён теме интеллекта.