;
100% пройдено
05.09
01.11

Competition is over

Описание AIJ

Задача

Необходимо разработать алгоритм, который способен успешно ответить на вопросы экзаменационного теста, основываясь на информации из открытых источников. Участникам предоставляются тестовые варианты заданий, которые можно использовать для валидации решений и для обучения. Решения участников отправляются в автоматическую проверяющую систему и оцениваются на скрытом наборе вопросов.

 Тестовые варианты

Формат решений

Решение представляет собой архив с кодом, который запускается в контейнерном окружении Docker. Архивы с решениями загружаются в автоматизированную проверяющую систему. Задания с вопросами проверяются автоматически, задания с написанием сочинений оцениваются профессиональными экспертами раз в неделю. Метрика соревнования - суммарный балл за все задания теста.

 Baseline решение  SBER&HUAWEI BASELINE

Призы

Призовой фонд - 3 000 000 ₽!
Команда-победитель получит 1 000 000 ₽, второе и третье места по 500 000 ₽ и 300 000 ₽ соответственно. Четвертое и пятое места получат по 200 000 ₽, с шестого по десятое место - 100 000 ₽.
Кроме того, участникам доступны 2 специальные номинации «Лучшее решение тестовой части» и «Лучшее сочинение» с призами в 150 000 ₽ каждая.

 Правила соревнования

Формат данных

Экзаменационный билет передается решению в формате JSON. В билете содержится набор заданий, ограничения по времени решения и ресурсам, метаинформация (например, основной язык теста).

Объект с описанием задания содержит следующие поля:

  • text - Текст задания. Возможно использование markdown-style форматирования. Внутри текста могут содержаться ссылки на прикрепленные файлы, например — графические иллюстрации к заданию.
  • attachments - Набор прикрепленных файлов (с указанием id, mime-type).
  • meta - Метаинформация. Произвольные пары ключ-значение, которые доступны решению и проверочной системе. Предназначено для указания структурированных данные о вопросе. Пример: источник вопроса, предмет экзамена, из которого пришел вопрос.
  • answer - Описание формата, в котором необходимо дать ответ. Допускаются разные типы ответов, каждый из которых имеет свои дополнительные параметры и поля:
    • choice - выбор одного варианта из списка;
    • multiple_choice - выбор подмножества вариантов из списка;
    • order - расстановка вариантов в правильном порядке;
    • matching - верное соотнесение объектов из двух множеств;
    • text - ответ в виде произвольного текста.
  • score - Максимальное количество баллов за задание. За счет этого поля, решение может выставлять приоритеты по вычислительным ресурсам между различными заданиями.

Процедура проверки решений

1. Check-фаза
Решение запускается на публично доступном наборе вопросов с известными ответами. Этот запуск необходим для того,чтобы протестировать решение на наличие ошибок в коде и во взаимодействии с проверяющей системой. Выводstdout/stderr и результат проверки полностью доступны участнику.

2. Public Test
Решение запускается на скрытой части вопросов, доступных только организаторам. Порядок вопросов и вариантов ответов в них компонуются случайным образом.

3. Private Test
Решение запускается на финальной скрытой части вопросов, по результатам на которых подводится итог соревнования.

Технические ограничения решений

  • Контейнеры изолированы от внешнего мира:
    нет доступа в интернет, нет связи с участниками.
  • RAM: 16 Gb;
  • Максимальный размер архива с решением: 20Gb;
  • Максимальный размер Docker-образа (публично доступен): 20Gb;
  • Лимит времени на разогрев (до получения вопросов): 10 минут
    Это время выделено на подгрузку моделей в оперативную память.
  • Лимит времени на получение ответа на один запрос: 30 минут.

Оценка качества

Ответ на каждый вопрос оценивается при помощи метрики, соответствующей своему типу вопроса:

  • choice - accuracy;
  • multiple_choice - union / intersection;
  • order - доля инверсий;
  • matching - доля верно сопоставленных вариантов;
  • text - вызывается специализированная функция оценки качества, либо ответ отправляется на ручную оценку качества.

Итоговый результат формируется путем суммирования баллов за все задания. Затем баллы переводятся в 100-балльную систему по официальной таблице соответствия заданий.

Оценка качества сочинений

При участии в решении задания написания сочинения, участники получают двухфазную проверку своего решения: сначала автоматическую, затем ручную.

Автоматическая проверка подразумевает поверхностные показатели сгенерированного текста:

  • отсутствие плагиата;
  • соответствие текста данной теме;
  • орфографическая грамотность;
  • связность предложений, тавтология;
  • наличие речевых ошибок (сленг, мат);
  • наличие абзацной структуры;
  • выполнение заданного объема (не слишком короткое/длинное).

Автоматическая оценка дается участникам сразу и не является окончательной, а служит для удобства участников.

Ручная проверка осуществляется профессиональными асессорами в соответствии со стандартами оценки части С.

По результатам ручной проверки лидерборд обновляется 1-2 раза в неделю.

Если по результатам автоматической проверки очевидно, что результат ручной проверки даст 0 баллов, участнику сообщается об этом и предлагается подготовить новый вариант для ручной проверки.

Baseline

Участникам предлагается пример рабочего решения задачи соревнования:

  • Классификатор номеров заданий (1-27)
  • 27 моделей решения заданий, включая тесты и сочинение

Модели предоставляются участникам для примера и сравнения качества с собственными сложными моделями.

Baseline модели сочинения проходит формальные критерии автоматической проверки. Но не проходит содержательные критерии оценки асессора.

 Github репозиторий  Baseline решение  SBER&HUAWEI BASELINE

При поддержке

logo-huawey

FAQ

Как поучаствовать в соревновании AI Journey?

Для участия необходимо пройти регистрацию, заполнив форму, разработать и загрузить свое решение в соответствие с правилами. Вы можете посмотреть, как ваше решение выглядит на фоне других. Решения можно улучшать и загружать снова.

Какие будут призы?

Первое место — 1 000 000 рублей, второе место 500 000 рублей, третье место 300 000 рублей, четвертое и пятое места 200 000 рублей, с шестого по десятое места 100 000 рублей. Победители специальных номинаций получат приз 150 000 рублей.

Участие бесплатно?

Да, регистрация и участие бесплатны.

Можно ли участвовать жителям других городов и стран?

Да, к участию в соревновании допускаются жители всех городов и стран мира без ограничений.

Когда будет открыта регистрация?

AI Journey стартует 4 сентября и продлится до 01 ноября, включительно. Регистрация и отправка решений будут доступны до 23:59:59 01 ноября по московскому времени.

Соревнование индивидуальное, или разрешены команды?

Участники могут организовывать команды до 4 человек. Все участники команды должны быть зарегистрированы и быть отражены в команде на платформе.

Можно присоединиться к участию позже?

Да. Загрузка решений будет доступна до 23:59:59 01 ноября по московскому времени включительно.

Организован ли для участников выбор финальных решений?

Да. Участникам необходимо в своем кабинете выбрать до 2 финальных решений, по которым пройдет итоговая оценка решений. Результат лучшего из двух выбранных будет итоговым результатом конкурса.

Когда можно выбирать финальные решения?

Выбор лучших решений доступен участникам с 4 сентября до 23:59:59 01 ноября по московскому времени.

Как будут оцениваться решения?

Решения оцениваются автоматически, на основе запуска на закрытых тестовых данных, и их сопоставления с истинными ответами, доступными только организаторам.

Когда будут определены победители?

ТОП 10 победителей будут определены и размещены на сайте до 23:59 4 ноября.

Будет ли церемония награждения победителей?

Да. Церемония награждения победителей пройдет в Москве 9 ноября в рамках конференции AI Journey в Москве. Также, на AI Journey пройдет награждение победителей в специальной номинации.

Кто может участвовать в AI Journey?

В соревновании могут принимать участие дееспособные физические лица, достигшие восемнадцати лет, которые выразили согласие с Правилами и выполнили задачу соревнования.

Если ли ограничения на участие в AI Journey?

К участию в соревновании не допускаются лица, прямо или косвенно участвующие в подготовке задач, данных, а также организации проведения данного Конкурса. Согласные с правилами участники соревнования, подпадающие под это ограничение, могут отправлять решения, однако они не могут претендовать на денежный приз.