1. Что такое шум? Какой есть типы шума?
2. Из каких основных этапов состоит алгоритм? Расскажите о главных идеях этапов.
3. Как реализуется агрегация патчей, как оцениваются пиксели? Как взвешиваются патчи в первом и втором этапе?
4. Каким образом происходит совместная фильтрация? Расскажите о математическом аппарате оценки 3D-группы в первом и втором этапе.
5. Преобразование Уолша-Адамара. Как применяется, какие особенности присутствуют в алгоритме?
6. Способы оценки результата. Плюсы и минусы метрик.

1. Как применить алгоритм для цветных изображений? Расскажите об особенностях применения алгоритма, переходе из одного цветового пространство в другое.
2. Самостоятельно реализуйте алгоритм на языке по выбору. Предоставьте код и результаты работы алгоритма на своих изображениях.

1. Какие проблемы встречает исследователь в сфере распознавания ценных фракций отходов?
2. Набор данных в статье. Какие плюсы и минусы конкретных датасетов вы можете выделить.
3. Какие метрики оценки качества моделей используются в статье? Плюсы и минусы метрик, в каких случаях они используются и почему.
4. Что такое hierarchical detector? Расскажите про идею и реализацию в статье.
5. Реализация трёх топовых моделей детекции, презентация кода и результатов инференса.
6. * Реализация всех моделей детекции.

1. Зачем решать задачу перехода из пространства камеры в пространство стандартного наблюдателя? Почему это различные пространства?
2. В чем основная сложность задачи перехода из одного цветового пространства в другое? Что такое метамеризм? Что такое условие Лютера?
3. В чем заключаются недостатки линейной и полиномиальной регрессии?
4. Как измеряется ошибка цветопередачи?
5. Почему нейросети всё ещё уступают в данной задаче классическим алгоритмам?

1. что такое IQA? В чем отличие объективного IQA от субъективного?
2. В чем основная идея CLIP? (как его обучали?)
3. Каким образом формировался рейтинг для изображения (вопрос про cosine similarity + softmax)?
4. Что такое SROCC и PLCC?
5. Какое нововведение сделали авторы статьи для повышения метрик?
6. Зачем вообще изначально нужен был positional embedding в CLIP?

1. Посчитать SROCC/PLCC для KonIQ-10k, LIVE-itW или SPAQ. Нарисовать зависимость MOS и выдаваемых метрик, по МНК оценить коэффициенты прямой зависимости.
2. Рассказать про энкодеры у CLIP: небольшой экскурс в мир ViT и ResNet

• В каждый момент времени узел может выполнять одновременно не более c_k задач (каждая задача потребляет одно ядро).
• Задача может начать выполняться на узле только тогда, когда завершатся все родительские задачи и данные от них будут переданы на этот узел. Если задачи выполняются на разных узлах, то данные между ними передаются за время d_ij/B. В случае выполнения на одном узле передача происходит мгновенно.

1. Разобраться в EM алгоритме (знать в чём состоят шаги и понимать почему они работают) [можно начать с конспекта]
2. Написать код для разделения смеси нормальных распределений и применить его к датасету (2-мерный torch. Tensor)
3. Построить как алгоритмы разделяют датасет на кластеры и изолинии для каждого из получившихся распределений
4. Модифицируйте свой код для разделения смеси 2х нормальных и одного лапласовского распределения. Запустите свой код на данном датасете. Должно получиться как-то так

• Как работает EM алгоритм
• Почему EM алгоритм работает ?
• Какие недостатки у EM алгоритма ?
• В чём сложность разделения разных классов распределений ?

1. Разобраться со статьей https://aclanthology.org/P16−1141/. Уметь формулировать постановку задачи, предлагаемый авторами подход к решению и алгоритмы получения векторных представлений слов.
2. Скачать корпус текстов OpenCorpora (https://www.opencorpora.org/?page=downloads)
3. Выбрать два типа текстов из набора: ЧасКор (новости), Википедия, Блоги, Худ. литература, Нон-фикшн (см. https://www.opencorpora.org/?page=genre_stats). Извлечь из корпуса все тексты выбранных типов и сгруппировать по типу.
4. Выбрать (и обосновать выбор) один из алгоритмов получения векторных представлений слов, упомянутых в статье, и реализовать его. Например, можно использовать библиотеку gensim (https://radimrehurek.com/gensim/), и тогда реализация любого из алгоритмов из статьи будет сводиться скорее к предобработке текстов корпуса.
5. Получить векторные представления слов для каждого из двух выбранных типов текстов.
6. Обнаружить семантические сдвиги, обусловленные различиями в типах текстов, как минимум для трех слов, используя подход, предложенный в статье. Проанализировать эти сдвиги на качественном уровне исходя из собственного понимания языка.

1. Найти слово, для которого семантический сдвиг нельзя объяснить различиями в типах текстов, а можно объяснить только в диахронии.
2. Найти слово, для которого семантический сдвиг нельзя объяснить различиями в типах текстов, а можно объяснить только явлением омонимии.

1. Почему форма шумит, т. е. в целом пытается выдать форму профиля, но сами линии ломанные?
2. Почему вывод иногда коллапсирует в одну точку?
3. Поможет ли линейная свертка на выходе сгладить результат и чем это грозит?
4. Построить TSNE визуализацию и график лосса, чем отличается с математической точки зрения поиск наилучшей точки в GAN от обычных нейронок?
5. На TSNE построить траекторию изменения одного из эмбеддинговых параметров случайного профиля и вывести как меняется его форма.
6. Почему нужно понизить размерность пространства для того чтобы сэмплить из случайного распределения, причем тут генеративные сети.
7. Какой уже реализованный baseline подойдет для этой задачи?

Вопросы по задаче: ershov@iitp.ru с темой письма: «собеседование ИППИ»

Удачи!

1. Все монеты расположены номиналом («решкой») вверх;
2. На снимке присутствуют монеты всех возможных номиналов;
3. Снимок сделан камерой с известными параметрами с известным положением относительно плоскости стола;
4. Положение и параметры камеры неизвестны;
5. Оптическая ось камеры перпендикулярна поверхности стола;
6. Оптическая ось камеры наклонена на небольшой (до 20 градусов) неизвестный угол от вертикали;
7. Стол нетекстурированный;
8. Текстура стола не содержит окружностей;
9. Монеты могут частично перекрываться;
10. И т.п. — можете сформулировать свои допущения.

1. Когда задача бинаризации в целом имеет смысл? Приведите примеры использования помимо в анализе исторических текстов.
2. Какие методы использовались для решения задачи бинаризации?
3. В чём их преимущества и недостатки?
4. Какой из этих методов работает лучше для задачи бинаризации исторических документов и почему?
5. Как можно расширить методы, представленные в статье на случай бинаризации многих классов?
6. Оцените сложность этих методов.
7. Какие метрики используются для оценки качества бинаризации? В чём их преимущества и недостатки?

1. Вместо предсказания PDSI, попробуйте решить классификационные задачи:

• бинарная классификация: порог = -2, PDSI < -2 => засуха есть. Метрики: ROCAUC, PRAUC, F1.
• трёхклассовая классификация: пороги = [-2, 2]. Метрика: Accuracy.

1. Вместо линейных моделей попробуйте использовать для предсказания:

• Earthformer
• ConvLSTM

1. Обучите TimesNet, в качестве набора данных используйте датасет FordA для бинарной классификации. Вы можете использовать другой классификатор временных рядов и/или другой набор данных для классификации на свой выбор.
2. Атакуйте эту модель с помощью IFGSM и/или DeepFool.
3. Обучите дискриминатор для проверки наличия адверсальной атаки.
4. Оцените скрытность и эффективность атак с помощью следующих метрик:

• effectiveness = 1 — accuracy_{attacked model}
• concealability = 1 — accuracy_{discriminator model}

1. Разбор статей:

• SECURITYNET: Assessing Machine Learning Vulnerabilities on Public Models Zhang et al., 2024
• В этой статье авторы анализируют широкий спектр публично доступных ML-моделей (в т. ч. на платформах HuggingFace, GitHub, TF Hub и других) на предмет различных уязвимостей.
• IvySyn: Automated Vulnerability Discovery in Deep Learning Frameworks Christou et al., 2023 Авторы применяют методики fuzzing-тестирования, специальную генерацию графов вычислений и анализ граничных случаев, приводящих к сбою или некорректному поведению фреймворка.

• Выбор ML-моделей. Найдите (или используйте уже готовую подборку) несколько публично доступных моделей: например, классификаторы изображений, языковые модели, модели для рекомендаций и т. д. Убедитесь, что у вас есть как минимум три разных модели, желательно разных типов или из разных источников (Hugging Face, TensorFlow Hub, GitHub-репозитории).
• Установите и настройте Ivy или аналогичные зависимости для воспроизведения подхода IvySyn (если авторы инструмента сделали публичную версию).

• Конфиденциальность и защита данных: возможные утечки пользовательских данных в ходе обучения/использования модели.
• Управление правами доступа: наличие ошибочных открытых endpoint’ов для инференса без авторизации.
• Неправильная настройка окружения/конфигурации: отсутствие шифрования каналов, скомпрометированные зависимости и т. д.
• Необработанные исключения/ошибки: случаи, когда модель падает/зависает при некорректном вводе.

• Для каждой выбранной модели выполните базовое «сканирование» согласно пунктам из статьи SECURITYNET:

• Зафиксируйте найденные потенциальные проблемы или подтвердите их отсутствие

• Какие типы уязвимостей рассматривались, какие из них обнаружены в каждой модели (или доказано, что все в порядке).

• Тестирование фреймворков на уязвимости (по мотивам IvySyn)
• Сбор тестовых сценариев. Возьмите минимум 2 разные версии одного и того же фреймворка (например, PyTorch 1.X и PyTorch 2.X или TensorFlow 2.6 и 2.10), либо разные фреймворки (PyTorch vs TensorFlow).
• Используйте (или попытайтесь воспроизвести fuzz-тесты) подход IvySyn, описанный в статье черезгенерацию случайных графов вычислений; комбинирование слоёв и операций, часто приводящих к неопределённому поведению (batch normalization, custom ops и т. д.); прогон этих тестовых графов через выбранные фреймворки.

1. Разбор статьи:

• Изучите статью Lightweight Graph RAG for Structured Text Analysis (код).
• Сформулируйте постановку задачи: как авторы используют graph RAG для анализа текстовых данных? Какие компоненты архитектуры (граф знаний, эмбеддинги, механизмы поиска) они предлагают?
• Опишите алгоритмы предобработки данных, построения графа и извлечения информации.

• Используйте датасет писем (например c Kaggle, Enron Email Dataset).
• Проведите предобработку: очистка текста, извлечение метаданных (отправитель, получатель, дата), токенизация.
• Реализуйте EDA.
• (Опционально - используйте алгоритмы кластеризации (например, Louvain или Girvan-Newman для выявления сообществ в графе).

• Настройте легковесный graph RAG, используя фреймворки типа DGL или PyTorch Geometric (студенту будет предоставлен доступ к облачном GPU-кластеру).
• Постройте граф, где узлы — письма/сущности, ребра — семантические или мета-связи (например, общие темы, участники).
• Реализуйте механизм поиска и ранжирования связей между узлами.

• Визуализируйте граф для подмножества данных (например, переписки по одному проекту).
• Выявите кластеры писем по темам (например, "бюджет", "планирование", "отчетность").

• Настройка графической оболочки на Streamlit:

• Извлечение именованных сущностей (NER):

• Анализ диахронических связей:

• Сравните производительность graph RAG с классическими методами (например, TF-IDF + кластеризация).
• Реализуйте интерактивную визуализацию графа (например, с помощью Gephi или Plotly).

• Для работы с большими данными используйте батчевую обработку и оптимизацию запросов к графу.
• В качестве метрик оценивайте точность поиска связанных писем и интерпретируемость кластеров.
• Примеры кода можно найти в репозитории статьи или адаптировать туториал по graph RAG.

• Ознакомиться с работой «CodeBERT: A Pre-Trained Model for Programming and Natural Languages» (Feng et al., 2020) или с аналогичной статьёй/подходом, в которой описаны методы предобучения языковых моделей на коде.
• На высоком уровне понять, как именно авторы обучают и применяют модели для анализа кода, в том числе для задач генерации, перевода или восстановления структуры программ.

• Найдите небольшой открытый набор кода (например, часть репозиториев на GitHub или фрагменты из CodeSearchNet), содержащий примеры на одном или нескольких языках программирования (C/C++, Java, Python и т.п.).
• Соберите две выборки:

1. Исходный высокоуровневый код (можно ограничиться одним языком на первых порах).
2. Соответствующие ему скомпилированные бинарные файлы (или байт-код, если это Java/кроссплатформенная сборка).

• Организуйте данные в структуре «исходник ↔ бинарный/байт-код».

• Используйте любой простой (или уже имеющийся в проекте LLM4Decompile) инструмент декомпиляции, чтобы получить черновой вид восстановленного кода (это может быть, к примеру, Ghidra или любая удобная утилита). Студенту будет предоставлен доступ к облачному GPU-кластеру.
• Проанализируйте качество этого чернового кода: какие фрагменты восстанавливаются хорошо, а какие нет?

• Выберите один из подходов из статьи (CodeBERT, GraphCodeBERT и т.д.) или аналогичную модель (например, из библиотеки Hugging Face Transformers – есть специализированные чекпойнты для кода).
• Сформулируйте задачу декомпиляции как задачу восстановления или улучшения фрагментов исходного кода на основе сырого декомпилированного текста. Например, можно представить задачу как «коррекцию кода» (code correction), где модель получает на вход фрагмент «шумного» кода после простой декомпиляции и пытается восстановить более «чистый» высокоуровневый код.
• Реализуйте минимальный прототип: подайте модель на вход декомпилированные фрагменты, пусть она генерирует гипотезы о том, как эти фрагменты должны выглядеть в идеальном случае.

• Сравните результаты «чистой» декомпиляции (из утилиты) с результатами, полученными при участии модели.
• Как минимум для трёх нетривиальных примеров (где есть циклы, условия, функции со сложной логикой) определите, какую часть семантики удалось восстановить, а какие детали модель исказила.
• При необходимости используйте ручную разметку/экспертизу, чтобы оценивать, насколько сгенерированный код соответствует исходному.

1. Обфусцированный код. Возьмите примеры программ, прошедших обфускацию (то есть со специально запутанной логикой и «шумными» именами переменных/функций). Проверьте, насколько модель справляется с восстановлением «чистого» кода.
2. Кросс-языковая декомпиляция. Попробуйте обучить или применить модель, чтобы восстанавливать код на языке Python по байт-коду Java (или наоборот). Оцените, насколько обучение на многоязычных данных помогает или мешает задаче.
3. Сравнительный анализ нескольких моделей. Сравните CodeBERT, GraphCodeBERT и/или любую другую LLM (например, StarCoder), чтобы выяснить, какая даёт наилучший результат в задаче декомпиляции/коррекции кода.
4. Временной аспект. У нас есть исторические версии бинарных файлов (например, из разных релизов одного проекта с гитхаба). Проверьте, как изменяется успешность декомпиляции при переходе от одной версии к другой, и есть ли у модели «семантический сдвиг» в понимании старых и новых конструкций.

1. Разобраться со статьей.
2. Опираясь на линейную часть графика из рис. 6, заданную в явном виде, выбрать произвольное значение ранга и посчитать для него частотность.
3. Повторить вычисления для этого же ранга, численно решив уравнения (31)-(32), используя параметры из рис. 6. Сравнить результаты с п. 2.
4. Опираясь на материал статьи, привести вывод уравнений (31)-(32). Нужно уметь объяснять все переходы.
5. Взять корпус китайского языка GSD. Построить график зависимости частотности символов от их ранга. Качественно сравнить с результатами из статьи.

1. Определить параметры в уравнениях (31)-(32) по данным из п. 5. Для этого нужно написать программу.
2. Построить график на основе результатов из предыдущего пункта, определяя частотность для каждого ранга численно с помощью программы, и сравнить с графиком из п. 5.

1. Разобраться со статьей. Уметь описывать разметку в корпусе AMR и работу алгоритма smatch.
2. Опираясь на код авторов и на два примера семантических структур (там же), убедиться, что алгоритм дает согласованность 100 % при сравнении каждой структуры с самой собой.
3. Рассматривая те же два примера, предложить для них возможные типы рассогласования разметки (чем больше, тем лучше).
4. Для каждого предложенного типа рассогласования придумать модификацию семантической структуры на каждый пример, иллюстрирующую этот тип рассогласования.
5. Применить алгоритм smatch к парам (пример, модифицированный пример), сделать выводы. В частности, посмотреть, как значение метрики коррелирует с изменением (или, наоборот, неизменностью) смысла предложения после модификации.

1. Предложить модификацию метрики smatch, которая будет более точно оценивать согласованность для модификаций, предложенных в п. 4.
2. Разобраться со статьей. Оценить применимость метрики smatch к семантическим структурам такого вида и влияние модификаций, аналогичных п. 4, на значение метрики.

1. Разобраться со статьей. Уметь формулировать постановку задачи, предлагаемый авторами подход к решению и алгоритмы получения векторных представлений слов.
2. Скачать корпус текстов OpenCorpora.
3. Выбрать два типа текстов из набора: ЧасКор (новости), Википедия, Блоги, Худ. литература, Нон-фикшн (см. https://www.opencorpora.org/?page=genre_stats). Извлечь из корпуса все тексты выбранных типов и сгруппировать по типу.
4. Выбрать (и обосновать выбор) один из алгоритмов получения векторных представлений слов, упомянутых в статье, и реализовать его. Например, можно использовать библиотеку gensim, и тогда реализация любого из алгоритмов из статьи будет сводиться скорее к предобработке текстов корпуса. Можно использовать и код авторов.
5. Получить векторные представления слов для каждого из двух выбранных типов текстов.
6. Обнаружить семантические сдвиги, обусловленные различиями в типах текстов, как минимум для одного слова, используя подход, предложенный в статье. Проанализировать эти сдвиги на качественном уровне исходя из собственного понимания языка.

1. Найти слово, для которого семантический сдвиг нельзя объяснить различиями в типах текстов, а можно объяснить только в диахронии.
2. Найти слово, для которого семантический сдвиг нельзя объяснить различиями в типах текстов, а можно объяснить только явлением омонимии.

1. Изучить работу On Calibration of Modern Neural Networks. Разобраться в определениях, проблематике, базовых методах калибровки.
2. Обучить архитектуру на ваш выбор (например, ResNet-18) на классификационном наборе данных на ваш выбор (например, MNIST).
3. Можно ограничиться двумя классами для упрощения. Проверить скалиброванность ответов модели после обучения.
4. Применить методы Isotonic Regression и Platt Scaling из работы (подсказка: можно взять готовые реализации из популярных библиотек) к ответам вашей модели, сравнить полученные результаты.

1. Провести эксперименты с другими методами калибровки, например, бета-калибровкой (Beta calibration: a well-founded and easily implemented improvement on logistic calibration for binary classifiers).
2. Проверить тезис из статьи: более ранние нейросетевые модели были лучше откалиброваны. Для этого обучить более простую модель (например, LeNet) и провести сравнения.
3. Провести аналогичные эксперименты для многоклассового случая.

1. Прочитать про методы template matching и RANSAC
2. Ознакомиться с статьей https://habr.com/ru/companies/airi/articles/884176/, чтобы понять специфику данных
3. Используя данные с train_data имплементировать сопоставление для jpg данных. Хорошим показателем будет среднее качество выше 0.9. В качестве примера можно взять реализацию, описанную в https://habr.com/ru/companies/airi/articles/884176/
4. * До этого вы сопоставляли обработанные данные. Теперь нужно заменить данные с Huawei на сырые (.png) и сопоставить их. Сложностью будет наличие дисторсии, который придется устранить. Для этого нужно с помощью chess_huawei научиться делать преобразование так, чтобы структура изображения совпадала. Посчитать метрики

1. Какие метрики вообще можно использовать для сравнения изображений?
2. Что такое корреляция Пирсона? Почему она тут подходит или не подходит?
3. Какие способы выделения фичей для RANSAC вы знаете?
4. Что такое дисторсия?
5. Почему просто координатного сдвига в сопоставлении не хватит?

1. Какие системы цветовых координат являются линейными?
2. Какими свойствами обладает проективное преобразование?
3. Что такое психофизическая равномерность?
4. Что такое STRESS?
5. Что такое гетероскедастичность шума?

1. Нужно найти реальный бездымный RGB-снимок ДЗЗ и нанести на него синтетическую дымку, используя модель формирования задымленного изображения. Ознакомиться с этой моделью можно в работе Каминга Хе (формулы 1 и 2, публикация доступна по ссылке). Заметьте, что в случае наземной съемки плотность дымки считается однородной, а глубина сцены – различной, она обозначена как d(x). В случае ДЗЗ будем считать, что глубина сцены во всех пикселях примерно одинаковая, однако, дымка всё равно может быть существенно неоднородной по причине различной плотности или различной толщины слоя. Эта неоднородность моделируется также через d(x). Попробуйте при синтезе дымки задавать различные варианты пространственного распределения d(x).
2. Примените к задымленному изображению различные проективные искажения, моделирующие съемку с других точек обзора поверхности Земли.
3. Оцените параметры преобразования с помощью выделения и сопоставления особых точек на исходном изображении и изображении задымленном и геометрически искаженном (https://docs.opencv.org/4.x/db/d27/tutorial_py_table_of_contents_feature2d.html)
4. Сравните различные методы детекции и дескрипции особых точек в этой задаче и охарактеризуйте зависимость точности оценки от параметров дымки. Для оценки качества сопоставления рекомендуется использовать как субъективный анализ, так и количественную оценку (критерий точности нормализации). В качестве критериев рекомендуется использовать максимальную и среднеквадратичную невязки координат (см. работу И.А. Коноваленко, раздел 1.2.3, стр. 25).

1. Метод Винера (Wiener Deconvolution)
2. Метод Ричардсона-Люси (Richardson-Lucy Deconvolution).
3. Метод с использованием TV-регуляризации (Montalto).
4. Метод половинного квадратичного сплиттинга (Half-Quadratic Splitting -- HQS)
5. Нейросетевые методы: USRNET или DWDN.