Blank page

Бакалавриат

09.03.01 (пpoфиль подготовки — ПРИКЛАДНАЯ МАТЕМАТИКА и ИНФОРМАТИКА)

Основы современных методов прикладной математической статистики
Избранные главы математики (линейная алгебра, дифференциальная геометрия, теория оптимизации и пр.)
Введение в прикладной анализ данных, машинное и глубокое обучение
Углубленное программирование на Python
Методы современной обработки изображений, основы цветовой репродукции и алгоритмы вычислительной фотографии

Читаемые курсы

Основные методы кластеризации и распознавания — Гончаров М.Ю.
Фундаментальные принципы современных методов глубокого обучения — Карпенко С.М.
Основы цветовой репродукции и алгоритмы вычислительной фотографии — к.ф.-м.н. Ершов Е. И.
Основы математической статистики — Лагутин М.Б.

Прикладная линейная алгебра — к.ф.-м.н. Горючкина И.В.
Избранные главы теории оптимизации. Приложения теории экстремума — д.ф.-м.н., профессор Магарил-Ильяев Г. Г.
Программирование на Python — Дербышев Д.Ю.

Методы оптимизации в машинном обучении — к.ф.-м.н. Безносиков А.Н.
Анализ моделей и оптимизация в условиях стохастической неопределенности —д.ф.-м.н. Ильин А.А.
Обработка изображений — д.ф.-м.н., доцент Николаев Д.П.

Обновление программы

С 2026 года будет действовать актуализированная образовательная программа:

Избранные главы теории оптимизации. Приложения теории экстремума — д.ф.-м.н., профессор Магарил-Ильяев Г. Г.
Методология науки — к.ф.-м.н. Светличный А.О.
Основные методы кластеризации и распознавания — Гончаров М.Ю.
Программирование на Python — Дербышев Д.Ю. (Факультатив)

Фундаментальные принципы современных методов глубокого обучения — Карпенко С.М.
Матричные и тензорные вычисления — к.ф.-м.н. Рахуба М.В.
Основы математической статистики — Лагутин М.Б. (Факультатив для ФПМИ, обязательный для ФРКТ)
Основы цветовой репродукции и алгоритмы вычислительной фотографии — к.ф.-м.н. Ершов Е. И.(Факультатив для ФРКТ, обязательный для ФПМИ)

Генеративные модели на основе состязательного обучения — к.ф.-м.н. Коротин А.
Математические основы машинного обучения. Дополнительные главы — к.ф.-м.н. Безносиков А.Н.
Обработка изображений — д.ф.-м.н., доцент Николаев Д.П.

Расписание

Весенний семестр, 2024-2025 учебный год

Профиль «Прикладная математика и информатика»

Поступление в Бакалавриат

Заполните регистрационную форму (coming soon)

Выберите из списка интересную для Вас задачу и решите её

Полученные результаты оформите в виде доклада с презентацией. Убедитесь, что доклад занимает не более 7 минут (регламент жесткий во избежание накладок в расписании)

март 2025

Выступите с подготовленным докладом перед комиссией на собеседовании. На собеседование отводится 15 минут: не более 7 минут на доклад, оставшееся время — на беседу с комиссией.

Координационная информация будет разослана зарегистрировавшимся.

Дождитесь результатов собеседований

Критерии отбора

Рейтинг студента формируется из трех компонент:

Качества доклада;
Общего впечатления о студенте, которое складывается на основе ответов студента на вопросы комиссии и информации в анкете;
Среднего балла (коэффициенты при суммировании сбалансированы таким образом, чтобы средний балл не играл решающей роли).

Бонусные баллы можно получить за участие в Журнальном Клубе.

Члены комиссии оценивают студента независимо друг от друга, и при этом они не видят среднего балла студента. После собеседования оценки всех членов комиссии агрегируются.

июль 2025

Летняя школа

Принятых на кафедру мы приглашаем в летнюю школу.

Участникам летней школы, как правило, удается подготовить свою первую статью и представить ее на конференции «Информационные технологии и системы».

В статье разбирается алгоритм денойзинга, основанный на классических методах анализа изображений. Несмотря на то, что алгоритм был создан в 2007 году, из-за своей эффективности он до сих пор используется как референс при сравнении с новыми методами обесшумливания изображений.
Задача
Разобрать статью, подробно рассказать об алгоритме и реализовать его на языке по выбору*.
Вопросы

Что такое шум? Какой есть типы шума?
Из каких основных этапов состоит алгоритм? Расскажите о главных идеях этапов.
Как реализуется агрегация патчей, как оцениваются пиксели? Как взвешиваются патчи в первом и втором этапе?
Каким образом происходит совместная фильтрация? Расскажите о математическом аппарате оценки 3D-группы в первом и втором этапе.
Преобразование Уолша-Адамара. Как применяется, какие особенности присутствуют в алгоритме?
Способы оценки результата. Плюсы и минусы метрик.

Бонусные задания

Как применить алгоритм для цветных изображений? Расскажите об особенностях применения алгоритма, переходе из одного цветового пространство в другое.
Самостоятельно реализуйте алгоритм на языке по выбору. Предоставьте код и результаты работы алгоритма на своих изображениях.

По любым возникающим вопросам обращаться к Олегу Карасёву @yasnohmuro.

Исследователей в области цвета и цветовой вычислительной фотографии давно интересует вопрос: а насколько точно можно определить спектр окраски наблюдаемого объекта используя обычную камеру? Ведь если можно, то это позволит решить кучу задач удалённой медицины, точного определения цвета продуктов для интернет-рынка и так далее. Этой теме посвящено много научных работ, в том числе сотрудников Сектора 11.1 ИППИ РАН. Вам предлагается разобраться в одной из них. Необходимо разобраться со следующими частями:
— В чем состоит задача спектральной реконструкции?
— В чем заключается идея, предложенная авторами в этой работе?
— Как работает предложенный авторами алгоритм? Что такое метамеры и как это связано с линейной алгеброй?
— Какие сильные и слабые стороны у предложенного решения?
Так как время доклада существенно ограничено, не следует акцентировать внимание на базовых вещах. Тем не менее, подразумевается, что вы полностью понимаете то, о чем говорите. Собственная имплементация предложенного алгоритма или более простых (например линейных) алгоритмов повысит ваши шансы и поможет лучше разобраться в задаче.

Вопросы по задаче @AgentKolobok.
Удачи!

В статье исследуется проблему оценки качества изображений (IQA) с использованием модели глубокого обучения CLIP (Contrastive Language-Image Pretraining). Основная идея заключается в том, чтобы использовать эмбеддинги изображений и текста, полученные из модели CLIP, для предсказания качества изображений. Этот подход предлагает эффективный способ IQA без необходимости обучения модели на больших наборах данных оценок качества.
Задача
Разобрать статью (и статью про сам CLIP), подробно рассказать об идеях обеих статей и воспроизвести результаты работы, связанные с IQA (таблица 1 в статье)*.
Вопросы

что такое IQA? В чем отличие объективного IQA от субъективного?
В чем основная идея CLIP? (как его обучали?)
Каким образом формировался рейтинг для изображения (вопрос про cosine similarity + softmax)?
Что такое SROCC и PLCC?
Какое нововведение сделали авторы статьи для повышения метрик?
Зачем вообще изначально нужен был positional embedding в CLIP?

Бонусные задания

Посчитать SROCC/PLCC для KonIQ-10k, LIVE-itW или SPAQ. Нарисовать зависимость MOS и выдаваемых метрик, по МНК оценить коэффициенты прямой зависимости.
Рассказать про энкодеры у CLIP: небольшой экскурс в мир ViT и ResNet

По любым возникающим вопросам тыкаться к Артёму Паншину @neverlios.

Имеется распределенная система, состоящая из M вычислительных узлов. Узел k имеет c_k ядер с производительностью p_k (число выполняемых операций в секунду). Характеристики разных узлов могут отличаться друг от друга. Узлы соединены сетью с пропускной способностью B (число передаваемых байтов в секунду).
В этой системе требуется выполнить некоторый расчет, состоящий из T отдельных вычислительных задач. Задачи могут зависеть от данных, вычисляемых другими задачами. Таким образом, расчет можно описать в виде направленного ациклического графа (DAG), вершинами которого являются задачи, а дуги описывают зависимости по данным между задачами. Для каждой задачи i известен требуемый объем вычислений - число операций w_i, откуда можно вычислить время исполнения задачи на узле по его производительности. Для каждой зависимости (i,j) известно число байтов d_ij, передаваемых от задачи i к задаче j. Данная модель описывает многие реальные вычислительные приложения, такие как научные workflow, инженерные расчёты или пайплайны обработки данных.
Задача. Опишите, реализуйте и протестируйте алгоритм, строящий расписание выполнения задач в системе (на каком узле и когда будет запущена каждая задача) с целью минимизации времени выполнения всего расчета (время окончания последней задачи) при следующих ограничениях:

В каждый момент времени узел может выполнять одновременно не более c_k задач (каждая задача потребляет одно ядро).
Задача может начать выполняться на узле только тогда, когда завершатся все родительские задачи и данные от них будут переданы на этот узел. Если задачи выполняются на разных узлах, то данные между ними передаются за время d_ij/B. В случае выполнения на одном узле передача происходит мгновенно.

Алгоритм может не гарантировать оптимальность построенного расписания, но должен стремиться как можно больше уменьшить время расчета. Можно придумать алгоритм самому или же, изучив литературу по теме DAG scheduling, взять алгоритм из одной из статей. Для тестирования алгоритма можно воспользоваться примерами систем и расчетов из этого репозитория и фреймворком DSLab DAG.

По любым возникающим вопросам обращаться к Олегу Сухорослову @osukhoroslov.

Представьте себя Иоганном Кеплером или Исааком Ньютоном, которые разглядывают астрономические схемы движения планет Солнечной системы и пытаются на основании этих (в тому же — неточных !!!) данных вывести закономерности орбитальной динамики. Вспомните насколько «просто» выглядит закон всемирного тяготения Ньютона, который вместе со его же 2-ым законом движения (в дифференциальной форме) позволяет неплохо моделировать движение небесных тел.
В некотором смысле, эта «историческая аналогия» неплохо иллюстрирует типовую ситуацию: исследователь пытается вывести строгие математические закономерности поведения динамической системы на основании имеющихся у него неполных и неточных сведений о «положениях» этой системы в некоторые моменты времени. Если наш исследователь имеет основания полагать, что эти закономерности имеют вид дифференциального уравнения, то ему понадобится определить вид правой части такого уравнения. Именно эту проблему, иногда, называют обратной задачей, т.к. здесь не требуется рассчитать траекторию (решая «прямую» задачу Коши), а, наоборот, по набору точек на траектории определить сам диффур.
В предлагаемая вашему разбору статье намечаются способы решения таких обратных задач в рамках технологии сбалансированной идентификации математических моделей, которая, для краткости, названа SvF-технологией (Simplicity vs Fitting). Эта технология развивается сотрудниками нашего института уже несколько лет, доведена до программной реализации, https://github.com/distcomp/SvF и ее представлена на портале сервисов оптимизационного моделирования на платформе Everest. Можно отметить, что SvF-технология успешно применяется в различных исследованиях, где требуется построить структурную математическую модель изучаемого явления: в биологии, популяционной динамике, биологии растений, физике плазмы, метеорологии, экологии.
После опубликования предлагаемой к разбору статьи, изложенный там метод был доработан до случая обычных (а не только автономных) дифференциальных уравнений с одной или двумя переменными. При этом стало ясно, что предлагаемое тема решения обратных задач на основе конечномерной оптимизации подразумевает много возможностей для дипломных и, даже, кандидатских работ как по развитию численных методов «дискретизации», так и по важным вопросам их программной реализации с использованием современных солверов для задач математического программирования, включая задачи глобальной оптимизации.
По всем возникающим вопросам по этой теме можно обращаться к Владимиру Волошинову @VladVol или vladimir.voloshinov@gmail.com

EM алгоритм и алгоритм KMeans являются двумя популярными методами кластеризации данных. Оба алгоритма используются для разделения набора данных на группы или кластеры на основе их сходства.
Задача: Вам нужно реализовать EM алгоритм и сравнить работу EM алгоритма и KMeans на заданном датасете. Используйте библиотечную реализацию KMeans из sklearn. Для инициализации EM алгоритма используйте KMeans.

Разобраться в EM алгоритме (знать в чём состоят шаги и понимать почему они работают) [можно начать с конспекта]
Написать код для разделения смеси нормальных распределений и применить его к датасету (2-мерный torch. Tensor)
Построить как алгоритмы разделяют датасет на кластеры и изолинии для каждого из получившихся распределений
Модифицируйте свой код для разделения смеси 2х нормальных и одного лапласовского распределения. Запустите свой код на данном датасете. Должно получиться как-то так

Вопросы:

Как работает EM алгоритм
Почему EM алгоритм работает ?
Какие недостатки у EM алгоритма ?
В чём сложность разделения разных классов распределений ?

По любым возникающим вопросам обращаться в тг к Всеволоду Плохотнюку @vsevolod-pl.

В интернете несколько лет назад распространилась публикация, что во время ядерных испытаний (45-63 гг.) снизилось количество сильных землетрясений, в частности не было землетрясений с магнитудой больше 8.3.
Задача. Ваша задача — разобраться в этом вопросе и проверить, насколько справедлива такая гипотеза. Результат заранее мне не известен.
Землетрясения образуют график повторяемости, следующий из закона Гутенберга – Рихтера log₁₀N= a - bM, где N – число землетрясений, a – число, пропорциональное активности и b – наклон графика повторяемости, а M – магнитуда. Очевидно, что если у нас стало меньше сильных землетрясений, то наклон b должен быть больше во время ядерных испытаний, чем после их запрещений. В этом и состоит первичная задача. На следующем этапе можно проверить, как изменяется b в разных регионах и что из этого можно извлечь (не только ведь ядерные испытания влияют на b). Хороший каталог землетрясений можно брать из ISC (https://doi.org/10.31905/D808B830) или NEIC (https://earthquake.usgs.gov/earthquakes/search/). Надо разобраться какие магнитуды бывают, в чем их отличие друг от друга (например, https://doi.org/10.1093/gji/ggu264, https://doi.org/10.1007/s10950-006-9012-4) и выбрать какую-либо одну. Оценивать параметр b можно по этой статье (http://hdl.handle.net/2122/1017) или по этой (https://doi.org/10.1007/s10950-016-9589-1). Дополнительная информация для изучения в этих статьях (https://doi.org/10.1016/j.tecto.2013.12.001, https://doi.org/10.1016/j.earscirev.2017.07.008)

По любым возникающим вопросам обращаться в тг к Александру Дерендяеву @wintsa

Естественный язык постоянно меняется. В нем, в частности, не только появляются новые слова, но и меняются значения существующих. Эти изменения не обязательно связаны с изменением значения во времени. Например, они могут быть связаны с особенностями употребления слова в текстах различных областей знаний (не путать с явлением омонимии). Для обнаружения этого явления, называемого семантическим сдвигом, хорошо зарекомендовали себя неконтекстуализированные векторные представления слов.
Вам предлагается реализовать один из подходов к решению этой задачи и проверить его эффективность качественно на конкретных примерах.

Разобраться со статьей https://aclanthology.org/P16−1141/. Уметь формулировать постановку задачи, предлагаемый авторами подход к решению и алгоритмы получения векторных представлений слов.
Скачать корпус текстов OpenCorpora (https://www.opencorpora.org/?page=downloads)
Выбрать два типа текстов из набора: ЧасКор (новости), Википедия, Блоги, Худ. литература, Нон-фикшн (см. https://www.opencorpora.org/?page=genre_stats). Извлечь из корпуса все тексты выбранных типов и сгруппировать по типу.
Выбрать (и обосновать выбор) один из алгоритмов получения векторных представлений слов, упомянутых в статье, и реализовать его. Например, можно использовать библиотеку gensim (https://radimrehurek.com/gensim/), и тогда реализация любого из алгоритмов из статьи будет сводиться скорее к предобработке текстов корпуса.
Получить векторные представления слов для каждого из двух выбранных типов текстов.
Обнаружить семантические сдвиги, обусловленные различиями в типах текстов, как минимум для трех слов, используя подход, предложенный в статье. Проанализировать эти сдвиги на качественном уровне исходя из собственного понимания языка.

Доп. задания:

Найти слово, для которого семантический сдвиг нельзя объяснить различиями в типах текстов, а можно объяснить только в диахронии.
Найти слово, для которого семантический сдвиг нельзя объяснить различиями в типах текстов, а можно объяснить только явлением омонимии.

Контакт для связи: @derise (Андрей)

Написать VAEGAN, описанный в статье, без оптимизации формы (оптимизировать веса модели очевидно нужно 😀)
Аэродинамические профили (двумерный срез крыла) намного проще обучать, чем картинки, поскольку представление данных одномерное. Более того, это решает задачу параметризации аэродинамического профиля для последующего поиска оптимальной формы.
Вопросы:

Почему форма шумит, т. е. в целом пытается выдать форму профиля, но сами линии ломанные?
Почему вывод иногда коллапсирует в одну точку?
Поможет ли линейная свертка на выходе сгладить результат и чем это грозит?
Построить TSNE визуализацию и график лосса, чем отличается с математической точки зрения поиск наилучшей точки в GAN от обычных нейронок?
На TSNE построить траекторию изменения одного из эмбеддинговых параметров случайного профиля и вывести как меняется его форма.
Почему нужно понизить размерность пространства для того чтобы сэмплить из случайного распределения, причем тут генеративные сети.
Какой уже реализованный baseline подойдет для этой задачи?

Любые вопросы и активность по задаче категорически приветствуются: @leo_sabantsev.

Требуется разработать систему определения суммарного номинала монет по фотографии.
Вход: Изображение (фотография) плоской поверхности, на которой в произвольном порядке расположены монеты. Все монеты из известного набора (напр., российские рубли и копейки), но могут также присутствовать посторонние объекты, не перекрывающие обзор.
Выход: Оценка суммарного номинала монет. При невозможности дать однозначный ответ указать возможный интервал либо варианты ответа.
Допущения: рассмотрите следующие случаи, предложите методы решения и повышения точности распознавания. Выберете, для какой их комбинации реализация вам по силам, и запрограммируйте решение:

Все монеты расположены номиналом («решкой») вверх;
На снимке присутствуют монеты всех возможных номиналов;
Снимок сделан камерой с известными параметрами с известным положением относительно плоскости стола;
Положение и параметры камеры неизвестны;
Оптическая ось камеры перпендикулярна поверхности стола;
Оптическая ось камеры наклонена на небольшой (до 20 градусов) неизвестный угол от вертикали;
Стол нетекстурированный;
Текстура стола не содержит окружностей;
Монеты могут частично перекрываться;
И т.п. — можете сформулировать свои допущения.

Обращаться к @bocharo.

Одной из стандартных задач обработки изображений является задача бинаризации. Она заключается в определении для каждого пикселя изображения определённого класса (1 или 0). Классический пример — у нас на входе фотография изображения с текстом, а нам нужно определить какой пиксель относится к фону, а какой к тексту. В рамках этого трека вам предлагается прочитать 3 классические статьи: «A threshold selection method from gray-level histograms» за авторством Otsu и две её модификации: «Maximum likelihood thresholding based on population mixture models» от Kurita и «Minimum error thresholding» за авторством Kittler-Illingworth.
После чтения статей вам нужно ответить на ряд вопросов:

Когда задача бинаризации в целом имеет смысл? Приведите примеры использования помимо в анализе исторических текстов.
Какие методы использовались для решения задачи бинаризации?
В чём их преимущества и недостатки?
Какой из этих методов работает лучше для задачи бинаризации исторических документов и почему?
Как можно расширить методы, представленные в статье на случай бинаризации многих классов?
Оцените сложность этих методов.
Какие метрики используются для оценки качества бинаризации? В чём их преимущества и недостатки?

Прочитайте дополнительно статью «A generalization of Otsu method for linear separation of two unbalanced classes in document image binarization». Расскажите, в чём основной посыл статьи? Каким образом авторы предлагают расширить метод оцу на случай двумерного признакового пространства? Какие проблемы это помогает решать?
Оригинальные алгоритмы (Оцу, Курита, Китлер-Иллингворт) нужно реализовать и протестировать на открытом датасете снимков исторических текстов: https://vc.ee.duth.gr/dibco2019/. Посчитайте для них метрику Pseudo F-measure, проанализируйте ошибки, отрисуйте гистограммы яркости и выясните какой метод работает лучше.
Обращаться к https://t.me/@korch_sergey.

Задача прогнозирования засухи состоит в том, чтобы спрогнозировать индекс засухи для конкретной территории на некоторое время вперед (например, на несколько месяцев) по заданной истории. В нашем случае мы будем использовать Индекс серьезности засухи Палмера (PDSI). Кроме того, используя некоторые пороговые значения, можно рассматривать прогнозирование засухи как задачу классификации.
Основное задание заключается в том, чтобы предсказать PDSI на 12 месяцев вперед по данным. Разбиение на обучающую и тестовую выборку делайте в пропорции 0,7:0,3. Используйте линейные модели (Linear, NLinear и DLinear) из статьи. Поскольку эти модели предназначены только для временных данных, вам следует расширить их для эффективного учета как пространственных, так и временных зависимостей (попробуйте свои собственные гипотезы). Качество предсказания оценивайте с помощью метрик R², MSE, MAE, RMSE.
Бонусные задания:

Вместо предсказания PDSI, попробуйте решить классификационные задачи:

бинарная классификация: порог = -2, PDSI < -2 => засуха есть. Метрики: ROCAUC, PRAUC, F1.
трёхклассовая классификация: пороги = [-2, 2]. Метрика: Accuracy.

Вместо линейных моделей попробуйте использовать для предсказания:

По вопросам писать Alexander.Marusov@skoltech.ru.

Адверсальные атаки — это специальные методы преобразования исходных данных для снижения качества прогнозов модели. Адверсальные атаки очень популярны в области компьютерного зрения, но они также могут быть применимы и к области временных рядов. Основная проблема использования адверсальных атак в области временных рядов заключается в том, что их легко обнаружить с помощью специальной модели классификатора (дискриминатора).
Базово ваша задача заключается в том, чтобы разобраться с двумя статьями про существующие методы адверсальных атак в области временных рядов: IFGSM и DeepFool.
Бонусное задание является практическим:

Обучите TimesNet, в качестве набора данных используйте датасет FordA для бинарной классификации. Вы можете использовать другой классификатор временных рядов и/или другой набор данных для классификации на свой выбор.
Атакуйте эту модель с помощью IFGSM и/или DeepFool.
Обучите дискриминатор для проверки наличия адверсальной атаки.
Оцените скрытность и эффективность атак с помощью следующих метрик:

effectiveness = 1 — accuracy_{attacked model}
concealability = 1 — accuracy_{discriminator model}

По вопросам обращаться к @Petr_Sokerin.

Желаем вдохновения и удачи!

Проект со звёздочкой для уже знакомых с нейросетями и pytorch/jax студентов.
Вам необходимо разобраться с тем, как работают (обучаются) потоковые генеративные модели (flow generative models), а также как проходит дистилляция потоковых генеративных моделей с использованием метода Flow Generator Matching, [1].

Введение
1. Генеративные модели - модели, способные генерировать новые данные, похожие на исходные. А именно, имея выборку x1, x2, …, xn из неизвестного распределения P, генеративная модель некоторым образом приближает Pg ≈ P и позволяет генерировать новые данные, похожие на исходную выборку

2. Flow models, flow matching - Потоковые модели - генеративные модели, задаваемые обыкновенным дифференциальным уравнением, векторным полем v(x, t), зачастую зависящим от времени. На практике v(x, t) задается нейронной сетью. Для генерации из таких моделей, семплируется случайный нормальный вектор z ~ N(0, I), пропускается через ОДУ dx = v(x, t) на временном интервале [0, 1], и на выходе получается семпл xg(z) из генеративной модели, похожий на целевые данные.
а. Популярной техникой обучения потоковых моделей является Flow Matching, см. [1], параграф 3, или [2], параграф 2.1.

3. Недостатком потоковых (и диффузионных:) генеративных моделей является долгое время генерации. Необходимо проинтегрировать ОДУ на интервале [0, 1] (для диффузионных моделей - стохастическое ДУ), чтобы получить семпл из генеративной модели. Поэтому появляются методы дистилляции таких моделей, которые учатся сразу предсказывать xg(z) по входу z. Для этого обучается генератор G, который учится предсказывать xg(z) ≈ G(z). В работе Flow Generator Matching [1] - как раз предложен один из методов дистилляции

Задание: Необходимо обучить потоковую модель методом Flow Matching, затем продистиллировать её с использованием Flow Generator Matching [1].
1. Возьмите в качестве неизвестного распределения P - swiss roll, спроецированный на двумерное распределение. В качестве исходного (латентного) распределения шума используйте стандартное нормальное распределение (см. Рис. 1).

2. Обучите потоковую модель, используя Flow matching loss. (см. [1] , формула (3.6)). Модель должна уметь приближенно генерировать двумерный swiss roll датасет.
а. Визуализируйте работу обученной модели: нарисуйте семплы из исходного, целевого и сгенерированного распределения; нарисуйте траектории OДУ c обученным векторным полем v(x, t) (cм. Рис. 1)

3. Продистиллируйте обученную потоковую модель, используя метод Flow Generator Matching. Обученный генератор G должен уметь из шума приближенно генерировать двумерный swiss roll датасет.
а. Визуализируйте работу обученной модели: нарисуйте семплы из исходного, целевого и сгенерированного распределения; покажите пары (z, G(z)) (cf. Рис. 2)

4.Сделайте выводы

Задание необходимо выполнить в jupyter notebook. Рекомендуем использовать сервис google colab.

Литература
[1] Huang et. al., 2024. Flow Generator Matching, https://arxiv.org/pdf/2410.19310 ;
[2] Liu et. al., 2022. Flow Straight and Fast: Learning to Generate and Transfer Data with Rectified Flow, https://arxiv.org/pdf/2209.03003 .

Контакты для связи
(tg) @PVMokrov , @akorotin

Представьте себя Иоганном Кеплером или Исааком Ньютоном, которые разглядывают астрономические схемы движения планет Солнечной системы и пытаются на основании этих (в тому же - неточных !!!) данных вывести закономерности орбитальной динамики. Вспомните насколько “просто” выглядит закон всемирного тяготения Ньютона, который вместе с (его же, Ньютона) 2-ым законом движения (в дифференциальной форме) позволяет неплохо моделировать движение небесных тел.
В некотором смысле, эта “историческая аналогия” неплохо иллюстрирует типовую ситуацию: исследователь пытается вывести строгие математические закономерности поведения динамической системы на основании имеющихся у него неполных и неточных сведений о “положениях” этой системы в некоторые моменты времени. Если наш исследователь имеет основания полагать, что эти закономерности имеют вид дифференциального уравнения, то ему понадобится определить вид правой части такого уравнения. Именно эту проблему, иногда, называют обратной задачей, т.к. здесь не требуется рассчитать траекторию (решая “прямую” задачу Коши), а, наоборот, по набору точек на траектории определить сам диффур.

Предлагаемая вашему вниманию технология сбалансированной идентификации позволяет формализовать выбор подходящей математической модели, включающей различные уравнения, не только и не обязательно дифференциальные, но и произвольные соотношения с заранее неизвестными (!) функциями, подлежащими идентификации. Рабочее название технологии: SvF, Simplicity vs Fitting, поскольку применяемые алгоритмы используют идеи регуляризации (математический прием выражения интуитивной идеи “простоты”, “гладкости”, подбираемых функций), чтобы уравновесить тенденцию “подгонки” модели под имеющийся набор экспериментальных данных, содержащих ошибки измерений.

Основными публикациями по SvF-технологии являются
1. Sokolov A.V., Voloshinov V.V. Model Selection by Balanced Identification: the Interplay of Optimization and Distributed Computing // Open Computer Science, 2020, 10 — p. 283–295. https://doi.org/10.1515/comp-2020-0116
2. Соколов А.В., Волошинов, В.В. Выбор математической модели: баланс между сложностью и близостью к измерениям // International Journal of Open Information Technologies, 2018, 6(9) C. 33-41, http://injoit.org/index.php/j1/article/view/612

Технология активно развивается вместе со своей, свободно доступной, программной реализацией, https://github.com/distcomp/SvF, использующей программный инструментарий распределенных вычислений Everest, http://everest.distcomp.org/. Полный цикл расчетов можно запустить через Everest-приложение https://optmod.distcomp.org/apps/vladimirv/svf-remote.

По ссылке https://github.com/distcomp/SvF/blob/main/svf-reference.md
приведен список публикаций по теме, включая результаты применения SvF-технологии в различных прикладных исследованиях (биологии, физике пазмы, метеорологии и т.д.).

Надо отметить, что SvF-технология, интересна еще как пример сочетания методов вычислительной математики, локальной и глобальной оптимизации, распределенных вычислений для организации трудоемких расчетов.

Задание. Попробуйте самостоятельно разобрать и рассказать пример идентификации моделей “маятник с трением”, представленный в двух вышеуказанных статьях.

Подумайте над тем, как можно практически решать возникающую там обратную задачу определения правой части диффура, где, фактически приходится иметь дело с композицией двух неизвестных функций: траектории маятника (как функции времени) и самой правой части (как функции траектории). Речь идет о замене исходной задаче с непрерывными функциями на их дискретизированные аппроксимации... Подсказка в статье
Оптимизационные методы и кусочно линейные аппроксимации в обратных задачах с автономными дифференциальными уравнениями.

Контакты для связи: https://t.me/VladVol, vladimir.voloshinov@gmail.com

Автоматическое извлечение наиболее значимых (по смыслу), содержательных фрагментов научно-технических текстов является важной задачей аннотирования документов. Исследователь или аналитик вместо прочтения документа целиком на ранней стадии может ознакомиться с ключевыми положениями статьи, автореферата, патента или диссертации, чтобы определить, соответствует ли документ его информационной потребности, стоит ли тратить время на его детальный анализ. Кроме того, результат извлечения содержательных фрагментов научно-технических текстов может быть использован для подготовки резюме как отдельных документов [1,2], так и множеств документов. Если значимые фрагменты текстов подаются на вход большой языковой (генеративной) модели (БЯМ), то этот подход называется RAG[3].

Существуют разные способы выделения значимых фрагментов текстов. Согласно исследованиям, формулировки определений и полученных результатов в тексте научной статьи важны с точки зрения понимания её смысла [4, 5].

Классические реализации метода извлечения результатов [4, 5] для русского языка основаны на использовании правил, лексических и грамматических маркеров (слов, словосочетаний, синтаксических конструкций). Однако такой подход, будучи реализованным для русского языка, неприменим для текстов на других языках.

Пример работы существующей системы (https://sciapp.ru/ ) на основе алгоритма на правилах приведён на рисунке выше.

Современные подходы позволяют решать сформулированную задачу различными методами машинного обучения (например, с использованием LSTM или классификаторов на основе векторных представлений текстов). Но для решения этой задачи необходимо составить большой корпус размеченных текстов, из которых выделены результаты.
При этом составление корпуса вручную является трудоёмкой и дорогостоящей задачей (в качестве асессоров должны выступать специалисты в соответствующих отраслях знаний, имеющие высшее образование и т.п.). Что нецелесообразно.
Для создания размеченного корпуса определений можно использовать БЯМ. В качестве набора научных текстов предлагается использовать http://nlp.isa.ru/fulltext_datasets/russian_journals_ml_dataset.tar.gz. В качестве БЯМ можно использовать любую открытую реализацию через API. Предлагается реализовать для каждого текста следующую процедуру:
I. Подача текста в БЯМ с промптом "Какие результаты получены в этом тексте? Отвечай предложениями исходного текста!" (поле для исследований и творчества).
II. Наложение ответа БЯМ на текст с указанием позиций (в абсолютных смещениях начала и конца фрагмента от начала текста).

Задание:
1. Реализуйте предложенный метод для двух или более БЯМ.
2. Выполните эксперименты на наборе данных.
3. Сопоставьте результаты разных БЯМ, полученные разными промптами.

Дополнительное задание (с *****):
1. Возьмите какую-либо модель (BERT для русского языка, doc_enc[5] и т.п. ) и реализуйте классификатор (результат - не результат) на его основе.
2. Выполните эксперименты на полученном наборе данных.
3. Рассчитайте метрики (полнота, точность) выделения результатов на наборе данных.

Источники.
1 http://www.machinelearning.ru/wiki/images/e/e4/Voron-2019-10-24-human-machine.pdf
2. Osipov G. et al. Exactus expert—search and analytical engine for research and development support //Novel Applications of Intelligent Systems. – 2016. – С. 269-285.
3. Gao Y. et al. Retrieval-augmented generation for large language models: A survey //arXiv preprint arXiv:2312.10997. – 2023. – Т. 2.
4. Швец А. В. Взаимодействие информационных и лингвистических методов в задачах анализа качества научных текстов : дис. – Фед. исслед. центр" Информатика и управление" РАН, 2015.
5. Кузнецова, Ю. М., Осипов, Г. С., Чудова, Н. В., & Швец, А. В. (2012). Автоматическое установление соответствия статей требованиям к научным публикациям. Труды Института системного анализа Российской академии наук, 62(3), 132-138.
6. https://github.com/SemVectors/doc_enc

Контакт для связи: https://t.me/ivsochenkov +7 909 650 52 90 Илья Соченков, к.ф.-м.н.

[ КОНТАКТЫ ПРИЁМНОЙ КОМИССИИ ]

Зайченкова Екатерина Евгеньевна

iitp.interview@gmail.com

Чат для поступающих в Telegram