;
76% пройдено
05.09
01.11

До конца: 13 дней

Задача

Необходимо разработать алгоритм, который способен успешно ответить на вопросы экзаменационного теста, основываясь на информации из открытых источников. Участникам предоставляются тестовые варианты заданий, которые можно использовать для валидации решений и для обучения. Решения участников отправляются в автоматическую проверяющую систему и оцениваются на скрытом наборе вопросов.

 Тестовые варианты

Формат решений

Решение представляет собой архив с кодом, который запускается в контейнерном окружении Docker. Архивы с решениями загружаются в автоматизированную проверяющую систему. Задания с вопросами проверяются автоматически, задания с написанием сочинений оцениваются профессиональными экспертами раз в неделю. Метрика соревнования - суммарный балл за все задания теста.

 Baseline решение  SBER&HUAWEI BASELINE

Призы

Призовой фонд - 3 000 000 ₽!
Команда-победитель получит 1 000 000 ₽, второе и третье места по 500 000 ₽ и 300 000 ₽ соответственно. Четвертое и пятое места получат по 200 000 ₽, с шестого по десятое место - 100 000 ₽.
Кроме того, участникам доступны 2 специальные номинации «Лучшее решение тестовой части» и «Лучшее сочинение» с призами в 150 000 ₽ каждая.

 Правила соревнования

Формат данных

Экзаменационный билет передается решению в формате JSON. В билете содержится набор заданий, ограничения по времени решения и ресурсам, метаинформация (например, основной язык теста).

Объект с описанием задания содержит следующие поля:

  • text - Текст задания. Возможно использование markdown-style форматирования. Внутри текста могут содержаться ссылки на прикрепленные файлы, например — графические иллюстрации к заданию.
  • attachments - Набор прикрепленных файлов (с указанием id, mime-type).
  • meta - Метаинформация. Произвольные пары ключ-значение, которые доступны решению и проверочной системе. Предназначено для указания структурированных данные о вопросе. Пример: источник вопроса, предмет экзамена, из которого пришел вопрос.
  • answer - Описание формата, в котором необходимо дать ответ. Допускаются разные типы ответов, каждый из которых имеет свои дополнительные параметры и поля:
    • choice - выбор одного варианта из списка;
    • multiple_choice - выбор подмножества вариантов из списка;
    • order - расстановка вариантов в правильном порядке;
    • matching - верное соотнесение объектов из двух множеств;
    • text - ответ в виде произвольного текста.
  • score - Максимальное количество баллов за задание. За счет этого поля, решение может выставлять приоритеты по вычислительным ресурсам между различными заданиями.

Процедура проверки решений

1. Check-фаза
Решение запускается на публично доступном наборе вопросов с известными ответами. Этот запуск необходим для того,чтобы протестировать решение на наличие ошибок в коде и во взаимодействии с проверяющей системой. Выводstdout/stderr и результат проверки полностью доступны участнику.

2. Public Test
Решение запускается на скрытой части вопросов, доступных только организаторам. Порядок вопросов и вариантов ответов в них компонуются случайным образом.

3. Private Test
Решение запускается на финальной скрытой части вопросов, по результатам на которых подводится итог соревнования.

Технические ограничения решений

  • Контейнеры изолированы от внешнего мира:
    нет доступа в интернет, нет связи с участниками.
  • RAM: 16 Gb;
  • Максимальный размер архива с решением: 20Gb;
  • Максимальный размер Docker-образа (публично доступен): 20Gb;
  • Лимит времени на разогрев (до получения вопросов): 10 минут
    Это время выделено на подгрузку моделей в оперативную память.
  • Лимит времени на получение ответа на один запрос: 30 минут.

Оценка качества

Ответ на каждый вопрос оценивается при помощи метрики, соответствующей своему типу вопроса:

  • choice - accuracy;
  • multiple_choice - union / intersection;
  • order - доля инверсий;
  • matching - доля верно сопоставленных вариантов;
  • text - вызывается специализированная функция оценки качества, либо ответ отправляется на ручную оценку качества.

Итоговый результат формируется путем суммирования баллов за все задания. Затем баллы переводятся в 100-балльную систему по официальной таблице соответствия заданий.

Оценка качества сочинений

При участии в решении задания написания сочинения, участники получают двухфазную проверку своего решения: сначала автоматическую, затем ручную.

Автоматическая проверка подразумевает поверхностные показатели сгенерированного текста:

  • отсутствие плагиата;
  • соответствие текста данной теме;
  • орфографическая грамотность;
  • связность предложений, тавтология;
  • наличие речевых ошибок (сленг, мат);
  • наличие абзацной структуры;
  • выполнение заданного объема (не слишком короткое/длинное).

Автоматическая оценка дается участникам сразу и не является окончательной, а служит для удобства участников.

Ручная проверка осуществляется профессиональными асессорами в соответствии со стандартами оценки части С.

По результатам ручной проверки лидерборд обновляется 1-2 раза в неделю.

Если по результатам автоматической проверки очевидно, что результат ручной проверки даст 0 баллов, участнику сообщается об этом и предлагается подготовить новый вариант для ручной проверки.

Baseline

Участникам предлагается пример рабочего решения задачи соревнования:

  • Классификатор номеров заданий (1-27)
  • 27 моделей решения заданий, включая тесты и сочинение

Модели предоставляются участникам для примера и сравнения качества с собственными сложными моделями.

Baseline модели сочинения проходит формальные критерии автоматической проверки. Но не проходит содержательные критерии оценки асессора.

 Github репозиторий  Baseline решение  SBER&HUAWEI BASELINE

При поддержке

logo-huawey

FAQ

Как поучаствовать в соревновании AI Journey?

Для участия необходимо пройти регистрацию, заполнив форму, разработать и загрузить свое решение в соответствие с правилами. Вы можете посмотреть, как ваше решение выглядит на фоне других. Решения можно улучшать и загружать снова.

Какие будут призы?

Первое место — 1 000 000 рублей, второе место 500 000 рублей, третье место 300 000 рублей, четвертое и пятое места 200 000 рублей, с шестого по десятое места 100 000 рублей. Победители специальных номинаций получат приз 150 000 рублей.

Участие бесплатно?

Да, регистрация и участие бесплатны.

Можно ли участвовать жителям других городов и стран?

Да, к участию в соревновании допускаются жители всех городов и стран мира без ограничений.

Когда будет открыта регистрация?

AI Journey стартует 4 сентября и продлится до 01 ноября, включительно. Регистрация и отправка решений будут доступны до 23:59:59 01 ноября по московскому времени.

Соревнование индивидуальное, или разрешены команды?

Участники могут организовывать команды до 4 человек. Все участники команды должны быть зарегистрированы и быть отражены в команде на платформе.

Можно присоединиться к участию позже?

Да. Загрузка решений будет доступна до 23:59:59 01 ноября по московскому времени включительно.

Организован ли для участников выбор финальных решений?

Да. Участникам необходимо в своем кабинете выбрать до 2 финальных решений, по которым пройдет итоговая оценка решений. Результат лучшего из двух выбранных будет итоговым результатом конкурса.

Когда можно выбирать финальные решения?

Выбор лучших решений доступен участникам с 4 сентября до 23:59:59 01 ноября по московскому времени.

Как будут оцениваться решения?

Решения оцениваются автоматически, на основе запуска на закрытых тестовых данных, и их сопоставления с истинными ответами, доступными только организаторам.

Когда будут определены победители?

ТОП 10 победителей будут определены и размещены на сайте до 23:59 4 ноября.

Будет ли церемония награждения победителей?

Да. Церемония награждения победителей пройдет в Москве 9 ноября в рамках конференции AI Journey в Москве. Также, на AI Journey пройдет награждение победителей в специальной номинации.

Кто может участвовать в AI Journey?

В соревновании могут принимать участие дееспособные физические лица, достигшие восемнадцати лет, которые выразили согласие с Правилами и выполнили задачу соревнования.

Если ли ограничения на участие в AI Journey?

К участию в соревновании не допускаются лица, прямо или косвенно участвующие в подготовке задач, данных, а также организации проведения данного Конкурса. Согласные с правилами участники соревнования, подпадающие под это ограничение, могут отправлять решения, однако они не могут претендовать на денежный приз.