Звери, зарплаты и data leak: как разрабатываются задания для олимпиады школьников по ИИ

© Высшая школа экономики

В этом году участники Всероссийской олимпиады школьников по искусственному интеллекту впервые смогут зачесть ее результаты при поступлении в вузы. Елена Кантонистова, председатель методической комиссии олимпиады и академический руководитель онлайн-магистратуры факультета компьютерных наук «Машинное обучение и высоконагруженные системы», рассказала новостной службе «Вышка.Главное» о том, как ученые ВШЭ составляли задания для соревнований 2023 года, откуда взялась задача об уссурийских тиграх и почему школьникам полезно осваивать ИИ.

Во Всероссийской олимпиаде школьников по искусственному интеллекту могут участвовать ученики 8–11-х классов. Первые два этапа, отборочный и основной, проходят онлайн. Лучшие 50 участников, отобранные по их результатам, приезжают в Москву на заключительный очный финал.

В олимпиаде есть задания по математике, алгоритмам, машинному обучению. В 2023 году в отборочном и основном этапах было по два задания по каждому направлению. В отборочном этапе задания несложные и доступные всем участникам, добросовестно изучившим школьную программу по математике и информатике. В основном этапе задания уже сложнее, а в заключительном — всего две задачи по машинному обучению, но обе довольно непростые.

Елена Кантонистова

В прошлом году большинство членов методической комиссии, которая разрабатывает задания, были сотрудниками факультета компьютерных наук Вышки.

Расскажу подробнее о заданиях по машинному обучению, так как они представляют наибольший интерес и являются основными в олимпиаде. В 2023 году в отборочном этапе была классическая задача регрессии, то есть прогноз на основе набора данных с различными признаками. Участникам нужно было предсказать стоимость домов по различным характеристикам.

Вторая задача была посвящена несложному и интересному анализу данных. Летом один из российских заповедников предоставил нам данные о наблюдениях за животными: например, где и когда видели северных оленей, волков, уссурийских тигров, что они при этом делали и так далее. Участникам нужно было ответить на вопросы по этим данным, от несложных (сколько пропусков в данных, какой зверь встречается людям чаще всего) до довольно хитрых (например, какое животное было замечено осенью 2022 года ближе всего к центру Москвы или какое животное чаще всего уличают в кражах).

Такие несложные, но содержательные по смыслу задачи — очень хорошее подспорье, чтобы заинтересовать школьников, только начинающих свой путь в анализе данных. Для решения не нужно знать никаких сложных алгоритмов, но при этом придется поизучать данные и их особенности, чтобы получить ответ.

В основном этапе задачи были уже сложнее. Одна задача требовала построения рекомендательной системы: на основе информации о пользователях «ВКонтакте» нужно было порекомендовать им группы, которые могут им понравиться. Вторая задача тоже была нестандартная: по описанию вакансии спрогнозировать среднюю зарплату, которую будет получать сотрудник. Для решения этих задач уже нужно иметь опыт в решении разнообразных задач машинного обучения.

© Высшая школа экономики

Все задачи подобраны таким образом, чтобы от тура к туру их сложность возрастала. Кроме того, нам не хотелось повторяться в темах, поэтому все задачи были разнотипными и из разных областей. Наконец, самое непростое: так как олимпиада имеет статус всероссийской, то в ней не могут использоваться стандартные открытые наборы данных (датасеты). Необходимо было найти новые датасеты для задач, а это всегда большая проблема. В итоге, конечно, все разрешилось: какие-то данные члены методической комиссии собрали сами, а какие-то предоставили коллеги из больших технологических компаний (а также заповедник).

В заключительном этапе была одна относительно несложная задача — предсказать вероятность клика по рекламному объявлению (на табличных данных) — и одна очень интересная: image-text matching. Здесь нужно было обучить модель, которая по паре (картинка и текст) предсказывает степень их смыслового соответствия. Разработчики задач пытались поставить участников в ситуацию из реальной жизни, где данные не идеальны. Особенностями обеих задач был умышленный data leak (утечка данных). При нахождении утечки можно было значительно улучшить качество прогноза в задаче и подняться на первые позиции в рейтинге.

В итоге многие ребята успешно справились с задачами, и участники из топа рейтинга показали очень хорошие результаты.

Для школьников участие в этой олимпиаде не только интересно, но и полезно. Перед каждым этапом проходят подготовительные вебинары — их тоже проводила по большей части команда преподавателей ФКН. После окончания этапов проводились разборы заданий. Также участникам предоставили список материалов для изучения, чтобы им легче было справиться с заданиями олимпиады.

У команды разработчиков было много трудностей. Одна из основных — составить задачи так, чтобы их нельзя было решить современными генеративными моделями (речь, в частности, о ChatGPT). То есть сами задачи не должны быть стандартными, а также должны иметь формулировки, в которых разберется человек, но пока не разбираются генеративные модели. В прошлом году нам удалось составить такие задания. Дальше, конечно, будет сложнее.

В этом году олимпиада примет еще большие масштабы, так как ее результаты можно будет учесть для поступления в вузы. Мы надеемся поучаствовать в составлении заданий и для следующих олимпиад.