Тема: remosaicing, demosaicing, hyperspectral imaging

Описание: Текущие наборы данных не позволяют собрать экстенсивный и физически корректный набор данных для анализа алгоритмов по дебаерингу и ребаерингу. В то же время гиперспектральные данные позволяют симулировать любые паттерны и создавать корректный GT.

Что предстоит:

• разобраться в симуляции из гиперспектральных данных
• завести ряд моделей по дебаерингу, ремозаикингу

Ожидаемый результат: набор симулированных данных для задачи баеровских паттернов, бенчмарк решений.

Куратор: Паншин Артём, @neverlios

Тема: баланс белого, CST, нейронные сети

Описание: В задачах ISP ключевым этапом является CST, Современные решения сильно зависят от конкретного сенсора. Этой весной вышла статья «CCMNet: Leveraging Calibrated Color Correction Matrices for Cross-Camera Color Constancy», которая представляет доменно-инвариантную модель CST

Что предстоит:

• Разобраться в статье
• Репродуцировать результаты

Ожидаемый результат: Репродуцированные результаты и код по статье.

Куратор: Паншин Артём, @neverlios

Тема: open-source, разработка библиотеки по обработке спектральных изображений

Описание: Текущие задачи сектора часто требуют реализации очень схожих функции по обработке гиперспектральных и трехканальных сырых изображений. Есть существующий пакет AWB, но он сильно устарел: не хватает многих функций и, что самое главное, этот пакет нельзя использовать в внешних проектах, так как он не является открытым пакетом.

Что предстоит:

• реализовать основной функционал по обработке сырых гиперспектральных изображений
• выложить код в открытый доступ

Ожидаемый результат: Открытая и удобная библиотека по обработке спектральных и трехканальных данных.

Куратор: Мамедов Ясин, @yasinowo

Тема: дисторсия, преобразование Хафа

Описание: Коррекция дисторсии присутствует во всех ISP-пайплайнах. Она осуществляется с помощью математической модели, в которой надо подобрать ряд параметров. Задачей является разработать метрику оценки коррекции и алгоритм автоматического подбора параметров.

Что предстоит:

• Разработать метрику на основе преобразования Хафа
• Интегрировать метрику в фреймворк автоматического подбора параметров

Ожидаемый результат: Реализация метрики и функции автоматического подбора параметров дисторсии

Куратор: Мамедов Ясин, @yasinowo

Тема: детекция, фитопатология

Описание: Есть довольно большой real-life датасет с томатами. Часть растений болеет, и это можно определять по снимкам с камеры. Задача разработать модель по детекции фитопатологий.

Что предстоит:

• разобраться с структурой данных
• реализовать YOLO для данной задачи

Ожидаемый результат: Модель по предсказанию болезней листьев

Куратор: Паншин Артём, @neverlios

Тема: детекция, подсчет частиц в сцене

Описание: По трубе пролетает поток частиц, нужно подсчитать разницу количества влетевших/вылетевших частиц.

Что предстоит:

• разобраться с структурой данных
• реализовать YOLO для данной задачи

Ожидаемый результат: Модель по трекингу и подсчету частиц.

Куратор: Паншин Артём, @neverlios

Тема: IQA, стили, доменный сдвиг

Описание: У нас есть датасеты и модели по анализу качества искажений изображений. А еще у нас есть размеченный fivek датасет с retouch. Хочется проверить, можно ли малыми усилиями обучить модель сразу на две области IQA.

Что предстоит:

• разработать систему сравнения обучения на двух задачах
• обучить IQA модель на двух датасетах отдельно и совместно
• сравнить изменение качества в разных подходах

Ожидаемый результат: Разработанный способ оценки качества изображений в двух доменах, но в одной числовой шкале. Проверка гипотезы обучаемости.

Куратор: Плохотнюк Всеволод, @vsevolodpl

Тема: IQA, color appearance model,

Описание: в процессе проведения челленджа нами был собран набор троек изображений, где люди сравнивали референсное изображение с 2 мя оставшимися. Для будущих соревнований хотелось бы оценить скоррелированность mean opinion score и CIE ΔE 2000, с целью экономии на разметке.

Что предстоит:

• Разобраться в устройстве CIE ΔE 2000 и модели Бредли-Терри
• Обработать разметку и измерить корреляцию

Ожидаемый результат: значение корреляции между CIE ΔE 2000 и MOS.

Куратор: Плохотнюк Всеволод, @vsevolodpl

Тема: гиперспектральная реконструкция из RGB, словарные методы, manifold learning

Описание:  методы ГР можно разделить на нейросетевые и словарные. Для качественного анализа нового подхода к ГР нужно сравнивать различные типы методов. Словарные реализованы на Matlab, что не позволяет удобно их модифицировать.

Что предстоит:

• Разобрать статью и репродуцировать результаты, представленные в ней.
• Имплементировать и встроить A+ в существующий пайплайн ГР .
• *Модифицировать A+, за счет использования нелинейных преобразований отдельных областей RGB пр-ва

Ожидаемый результат: python реализация A+.
*Улучшение A+ за счет нелинейных преобразований.

Куратор: Владимиров Даниил, @AgentKolobok

Тема: CST, многообразие гиперспектральных данных.
Описание: в одной из последних работ Finlayson  предложил аппроксимировать распределение отражательных способностей равномерным распределением (вписать все данные в куб). Такой трюк позволяет вычислительно легко считать мат. ожидание по спектральным данным.
Что предстоит:

• Разобрать статью Integrating the space of reflectance spectra и воспроизвести ее результаты.
• Обернуть основной объект статьи (гиперспектральный куб) в отдельный модуль.

Ожидаемый результат: воспроизведенные результаты и код статьи. Python модуль для работы с выпуклой оболочкой спектральных данных.

Куратор: Владимиров Даниил, @AgentKolobok

Тема:  метамерия, color constancy

Описание: эффект, при котором два различных спектра интегрируются в один цвет при заданном освещении, называется метамерией. Для анализа различных методов выч. фото, использующих спектры, хочется иметь возможность генерировать метамерные спектры по заданному отклику.

Что предстоит:

• Разобрать две работы “Metamer sets without spectral calibration” и “Metamer sets” и репродуцировать их результаты.
• Модифицировать предложенные подходы на случай спектров-стимулов.

Ожидаемый результат: python модуль  способный по цветовому отклику и чувствительностям сенсора возвращать метамерные спектры. Расширение существующих методов на случай спектров-стимулов.

Куратор: Владимиров Даниил, @AgentKolobok

Тема: Распознавание границ лунок на медицинских планшетах в задаче автоматизации антикардиолипиновых тестов

Описание: В настоящее время активно развивается автоматизация процессов в медицинской практике. Одной из важных задач является автоматизация срочных анализов путем внедрения алгоритмов, основанных на использовании ИИ и компьютерного зрения. В данной работе рассматриваются антикардиолипиновые тесты (анализ крови на сифилис).

Что предстоит:

• Разработаться в предложенных существующих решениях для похожих задач;
• На их основе разработать собственный алгоритм —  можно как детерминированный, так и с использованием ИИ.

Ожидаемый результат: разработанный алгоритм для нахождения границ лунок с реакциями по изображениям медицинских планшетов.

Куратор: Зайченкова Екатерина, @zay_rina

Тема:  Функция соответствия цвета (color matching function, CMF) метод строгого замещения, акустооптический колориметр

Описание: CMF - это математическая модель, которая описывает, как разные длины волн света воспринимаются человеческим глазом и как они соотносятся с основными цветами (обычно красным, зеленым и синим). Ранее, эта функция была оценена при помощи метода полуполей, однако собранный уникальный колориметр позволяет оценивать её при помощи метода строгого замещения (мигание стимула).

Что предстоит:

• Построить алгоритм оценки CMF на уникальном колориметре;
• Сравнить полученную функцию с аналогами из литературы.

Ожидаемый результат: функция соответствия цвета

Куратор: Корчагин Сергей, @korch_sergey

Тема:  Функция соответствия цвета (color matching function, CMF) метод строгого замещения, акустооптический колориметр

Описание: CMF - это математическая модель, которая описывает, как разные длины волн света воспринимаются человеческим глазом и как они соотносятся с основными цветами (обычно красным, зеленым и синим). Ранее, эта функция была оценена при помощи метода полуполей, однако собранный уникальный колориметр позволяет оценивать её при помощи метода строгого замещения (мигание стимула).

Что предстоит:

• Построить алгоритм оценки CMF на уникальном колориметре;
• Сравнить полученную функцию с аналогами из литературы.

Ожидаемый результат: функция соответствия цвета

Куратор: Корчагин Сергей, @korch_sergey

Тема: Колориметрия, цветоразличения, нейронные сети, регрессия

Описание: Разработка метрики цветовых различий – до сих пор нерешённая задача в колориметрии. Текущее представленное SOTA решение было разработано более 20 лет назад, что наводит нас на мысль о применении современных методов машинного обучения для решения поставленной задачи.   

Что предстоит:

• Собрать и обработать базу данных цветоразличений;
• Попробовать выучить пороги цветоразличения при помощи нейросетевых и регрессионных методов;
• Сравнить полученный результат с SOTA метриками.

Ожидаемый результат: Новая цветовая метрика

Куратор: Корчагин Сергей, @korch_sergey

Тема: физиологическая цветовая метрика, мультимодальные нейросети

Описание: Получение интерпретируемой физиологической цветовой метрики — фундаментальная задача колориметрии. Современные нейросетевые подходы ведут к плохо интерпретируемым метрическим пространствам. Возможно ли научить мультимодальную модель воспринимать различия цветов подобно человеку?

Что предстоит:

• Изучить устройство и научиться запускать модель Qwen
• Разобраться с существующими цветовыми метриками
• Дообучить модель на наборе данных цветовых различий

Ожидаемый результат: Знание о топологии цветового пространства MLLM, физиологически правдоподобное цветовое пространство мультимодальной модели

Куратор: Лобарев Георгий, @lobarev_e

Тема: вычислительная фотография, искусственный интеллект

Описание: для обучения нейросетевых алгоритмов обработки видео требуется набор пар видеорядов – “хорошего” и “плохого”. Многообещающим подходом для получения такого набора является технология beam-splitter куба, который позволяет регистрировать один и тот же видеоряд на два устройства. Тем не менее, такие данные нуждаются в последующем выравнивании.

Что предстоит:

• Разработать алгоритм, эффективно выполняющий переход из цветового пространства одной камеры в цветовое пространство другой.
• Собрать небольшой набор сцен, применить к ним алгоритм, оценить работу алгоритма.

Ожидаемый результат: алгоритм с реализацией (Python, PyTorch), набор видеорядов для оценки качества.

Куратор: Халин Алексей, @zythorn

Тема: Персонализированная нейросетевая предкомпенсация изображений и видео с учетом параметров зрительной системы человека.

Описание: Задача предкомпенсация изображений направлена на улучшение визуального восприятия цифрового контента близорукими пользователями без использования оптической коррекции. Мы уже разработали несколько нейросетевых решений для предкомпенсации изображений. Теперь планируем расширить подход на видео и внедрить локальную тоновую коррекцию (local tone mapping) для более точной адаптации визуального контента. 

Что предстоит: 

• Ознакомиться с классическими и нейросетевыми методами предкомпенсации.
• Изучить постановку задачи как оптимизации с ограничениями.
• Улучшить уже реализованные двухвходовые нейросетевые модели, добавив поддержку видео и локального тонового отображения (local tone mapping).
• Оценить влияние улучшений по численным метрикам и субъективному восприятию.

Ожидаемый результат: Ожидается разработка усовершенствованных моделей для изображений и видео с поддержкой локального тонового отображения, обеспечивающих прирост качества по численным метрикам и субъективным оценкам, а также подготовка публикации в научный журнал.

Куратор: Аль-Казир Нафанаил, @nafe93

Тема: Оценка глубины сцены по видео данным

Описание: Рассматривается конкретная прикладная задача измерения объёмов перевозимых сыпучих грузов, где для измерения глубины используются двумерные лидары. Необходимо исследовать эффективность существующих методов и алгоритмов оценки глубины по видео данным.

Что предстоит: 

• Сделать обзор современных методов и алгоритмов оценки глубины
• Запрограммировать и/или использовать готовые имплементации алгоритмов. Провести их экспериментальное сравнение на реальных данных

Ожидаемый результат: выводы о сравнении эффективности выбранных методов и алгоритмов на конкретных реальных данных из прикладной задачи.

Куратор: Дмитрий Бочаров, @btschrw

Тема: Сегментация кузова грузовых транспортных средств

Описание: Рассматривается задача сегментации кузова грузового автотранспорта. Данные от лидара, по которым осуществляется анализ, подвержены искажению от пыли и тумана, в то время как на видеоданных объект различим. 

Что предстоит: 

• Познакомиться с данными и существующим бейзлайном [1].
• Предложить алгоритм сегментации по видео данным и экспериментально сравнить с бейзлайном.

Ожидаемый результат: новый алгоритм, результаты его экспериментального исследования.

Куратор: Дмитрий Бочаров, @btschrw

Тема: Фильтрация искажений в лидарных данных

Описание: Рассматривается задача измерений объёма перевозимых сыпучих грузов. Вследствие зашумлений сигналов лидара часть данных оказывается существенно повреждена, что влияет на оценки. Ставится задача исследования методов детектирования шумовых значений и их интерполяции.

Что предстоит: 

• Познакомиться с лидарными данными и алгоритмами детектирования шумовых значений.
• Исследовать существующие алгоритмы интерполяции данных, предложить алгоритм для рассматриваемой задачи, провести эксперименты

Ожидаемый результат: новый алгоритм

Куратор: Дмитрий Бочаров, @btschrw

Тема: нейронные сети, функция ошибки

Описание: При фотографировании высокочастотных текстур (ткани, дома, дисплеи) возникает нежелательный узор, называемый муаром и искажающий исходное изображение. Наиболее эффективные методы удаления муара – нейросетевые. Одну из таких моделей (demoiréing multi-
scale fusion network) предстоит воспроизвести и улучшить.

Что предстоит: 

• Воспроизвести state-of-the-art модель.
• Заменить функцию ошибки так, чтобы минимизировать остаточные искажения.

Ожидаемый результат: обученная нейронная сеть с новой функцией ошибки и код для ее обучения на Torch.

Куратор: Ольга Басова, @BasovaO

Тема: нейронные сети, GAN

Описание: При фотографировании высокочастотных текстур возникает искусственный узор (муар). Для обучения методов удаления муара нужен большой набор пар “муаровых” и “чистых” изображений одной и той же сцены. Собрать такие пары весьма затруднительно, поэтому становится актуальна задача симуляции муара по “чистым” изображениям.

Что предстоит: 

• Сделать обзор GAN симуляторов муара и датасетов.
• Воспроизвести несколько GAN моделей и выбрать лучшую. Дополнительно можно предложить свою модификацию.

Ожидаемый результат: обученная модель GAN, симулирующая муар, и код для ее обучения на Torch.

Куратор: Ольга Басова, @BasovaO

Тема: Обработка и анализ изображений космического мониторинга

Описание: Алгоритмы оконтуривания сельскохозяйственных полей чувствительны к наличию облаков и теней от них. Предлагается исследовать влияние алгоритмов компенсации теней от облаков на качество оконтуривания.

Что предстоит: 

• Познакомиться с данными, существующими алгоритмами детекции облаков и компенсации теней [1] и алгоритмом оконтуривания полей [2].
• Поставить и провести вычислительные эксперименты, проанализировать результаты.

Ожидаемый результат: обоснование улучшения результатов оконтуривания.

Куратор: Мария Павлова, @pavlovamar

Тема: оптический поток, нейросети, особые точки, индустриальные распознающие системы

Описание: Предлагается рассмотреть прикладную задачу зрительного интеллекта, в которой требуется исследовать качество разных подходов для измерения мгновенных скоростей движения транспорта. 

Что предстоит: 

• Ставить вычислительные эксперименты с современными алгоритмами на реальных данных
• Анализировать результаты, слабые места алгоритмов, предлагать пути улучшения
• Готовить материалы для публикации в высоко рейтинговом журнале

Ожидаемый результат: результаты вычислительных экспериментов

Куратор: Иван Конюшенко, @idkon

Описание: Разметка семантически аннотированного корпуса в лаборатории находится на начальной стадии и содержит всего несколько тысяч предложений, чего для обучения эффективной нейросети недостаточно. Нужно оценить, используя параллельные данные, размер корпуса, достаточный для обучения нейросети

Что предстоит:

• Разобраться с двумя типами семантической разметки
• Реализовать нейросетевую модель и исследовать зависимость качества от размера корпуса

Ожидаемый результат: Рекомендация по размеру корпуса

Куратор: Мовсесян Андрей Арсенович, @derise

Описание: Семантическая разметка характеризуется неоднозначностью описания. Это ведет к расхождениям в разметке разных аннотаторов, что требует оценки этого расхождения

Что предстоит:

• Разобраться со способом представления смысла текста в логической форме на примере SemOntoCor
• Реализовать алгоритмы оценки согласованности разметки и применить их к семантической разметке

Ожидаемый результат: Численная оценка согласованности и качественный анализ расхождений

Куратор: Мовсесян Андрей Арсенович, @derise

Описание: Морфологически аннотированный корпус должен быть сбалансированным. Определение сбалансированности подразумевает частотный анализ морфологической разметки корпуса

Что предстоит:

• Разобраться с морфологической разметкой в корпусах русского языка
• Провести частотный анализ компонентов морфологической разметки

Ожидаемый результат: Закон распределения морфологических признаков, категорий и тегов

Куратор: Мовсесян Андрей Арсенович, @derise

Описание: Существующие алгоритмы порождения леммы по словоформе используют только символьный уровень, хотя осмысленной с точки зрения лемматизации являются морфемы, а не символы

Что предстоит: 

• Разобраться в одном из алгоритмов порождения леммы по словоформе
• Модифицировать алгоритм так, чтобы он учитывал не только отдельные символы, но и морфемы

Ожидаемый результат: Алгоритм, порождающий леммы с использованием морфем

Подробности: @derise

Описание: Алгоритмы лемматизации, решающие эту задачу как задачу классификации, используют в качестве классов правила преобразования словоформы в лемму, полученные полностью автоматически. В связи с этим возникает вопрос применимости лингвистически мотивированной классификации

Что предстоит:

• Разобраться со структурой словаря Зализняка
• Реализовать алгоритм порождения классов на основе модифицированной версии словаря Зализняка

Ожидаемый результат: Новая постановка задачи лемматизации

Куратор: Мовсесян Андрей Арсенович, @derise

Описание: Выбрать корректное значение многозначного слова часто можно по контексту. Но если эта задача решается с помощью большой языковой модели и модель ошиблась, то нужно определить, обусловлена ли эта ошибка недостатком модели или недостаточностью контекста

Что предстоит:

• Разобраться с лексико-семантической разметкой
• Оценить влияние больших языковых моделей и контекста на качество разрешения лексической многозначности

Ожидаемый результат: Границы применимости больших языковых моделей при кластеризации многозначных слов

Куратор: Мовсесян Андрей Арсенович, @derise

Описание: Известно, что слова в языке со временем могут менять свое значение. Векторные представления слов хорошо зарекомендовали себя для решения этой задачи, но для русского языка исследования покрывают относительно небольшой объем данных

Что предстоит:

• Разобраться с алгоритмом детектирования семантических сдвигов
• Реализовать алгоритм на представительном корпусе и провести численный и качественный анализ

Ожидаемый результат: Программный комплекс, позволяющий обнаруживать семантические сдвиги

Куратор: Мовсесян Андрей Арсенович, @derise

Описание: Построение метода сегментации и определения точного положения проекции центра якорного объекта в полностью автоматическом режиме. Детектирование якорных объектов – важный этап, определяющий достижимую точность калибровки геометрии в компьютерной томографии.

Что предстоит: 

• Разобраться в методах регистрации и сегментации рентгеновских проекции.
• Реализовать метод детектирования маркеров и метод доуточнения положения проекции центра маркера.

Ожидаемый результат: Программа для автоматического определения положения маркеров

Куратор: Гильманов Марат, @wlesavo

Описание: Калибровка геометрии – первый и зачастую самый важный этап в КТ исследованиях. Предлагается изучить существующие SotA методы и реализовать наиболее подходящих к реальным калибровочным данным с микро-томографической КТ установки.

Что предстоит: 

• Изучить существующие маркерные методы калибровки геометрии в компьютерной томографии.
• Реализовать метод определения геометрических параметров для реальной физической КТ установки.

Ожидаемый результат: Программа для определения параметров геометрии КТ эксперимента

Куратор: Гильманов Марат, @wlesavo

Тема: анализ причин ДТП

Описание: На сайте ГИБДД есть реестр ДТП с пострадавшими, где для каждого события есть точные координаты, схема, описание и погодные условия. Хотелось бы знать, что является наиболее вероятными причинами ДТП и построить карту опасных участков.

Что предстоит: 

• Сделать обзор существующих работ
• Провести валидацию данных
• Построить вероятностную модель причин
• Построить карту опасных участков в зависимости от времени

Ожидаемый результат: вероятностная модель и прогнозная карта опасных мест

Куратор: Дерендяев Александр Борисович, @wintsa

Тема: стохастический градиентный спуск

Описание: Рассмотрим стохастический градиентный спуск. Пускай для некоторых компонент с вероятностью p мы обнуляем градиент. Показать зависимость скорости оптимизации от p

Что предстоит: 

• Прочитать формулировку и доказательство для существующего результата в 1, Теорема 1 [1].
• Получить доказательство для случая из описания.
• При успешном решении - произвести анализ более общих случаев

Ожидаемый результат: анализ задачи и ее решение

Куратор: Зайцев Алексей Алексеевич, @likzet

Тема: статистический LLM и генеративный подходы

Описание: EHR являются ценным источником информации, однако, огромное количество таких данных не позволяет провести качественный анализ взаимосвязей болезней путём человеческих усилий. Предлагается исследовать корреляции кодов ICD у реальных пациентов, используя статистические методы и методы машинного обучения. 

Что предстоит: 

• Построить матрицы взаимосвязи болезней: 
• наблюдаемые у реальных пациентов (MIMIC-IV) с помощью следующих методов: статистический, MLM (Masked Language Modelling), классификаторы с механизмом внимания;
• полученные путём использования текстовых описаний болезней и следующих методов: медицинский BERT, medGAN, LLM. 
• Сравнить полученные матрицы.

Ожидаемый результат: результаты экспериментов, оформленные в виде статьи

Куратор: Алина Ермилова, @alina_ermilova

Тема: Адверсальные атаки на нейронные сети для последовательных данных

Описание: Адверсальные атаки - популярная техника воздействия на нейронные сети [1] недоисследована в области последовательных данных. Во временных рядах стандартные атаки порождают шумные данные. Нужно создать скрытую адверсальную атаку на модели последовательностей [2] и доказать сходимость таких атак в результат итерационного улучшения атак и защит.

Что предстоит: 

• Проверить гипотезу, что атаки через модель сопоставимы с градиентными
• Доказать сходимость адверсальной атаки
• Проверить эмпирически полученные результаты 

Ожидаемый результат: теоретическое доказательство, подкрепленное экспериментами в формате статьи

Куратор: Петр Сокерин, @petr_sokerin

[1] I. J. Goodfellow at. el. “Explaining and harnessing adversarial examples,’’ in International Conference on Learning Representations, ICLR 2015
[2] Sokerin P. et al. Concealed Adversarial attacks on neural networks for sequential data //arXiv preprint arXiv:2502.20948. – 2025.

Тема: генерация синтетических данных МРТ с патологиями

Описание: генерация синтетических данных помогает расширять небольшие датасеты МРТ с патологиями, использующиеся для обучения сегментационных моделей. Однако, задача генерации реалистичного МРТ довольно сложна. В этой задаче, мы предлагаем вам применить метод LeFusion [1] для получения синтетических данных МРТ головного мозга с патологией ФКД

Что предстоит:

• разобраться в методе LeFusion
• адаптировать его компоненты для работы с МРТ мозга с ФКД
• получить синтетические данные и сравнить качество сегментации патологии

Ожидаемый результат: адаптированный код модели; метрики сегментации, обученной с добавлением синтетических данных

Куратор: Павел Бартенев, @pavel_jr

Тема: сегментация, анализ медицинских изображений

Описание: Некоторые патологии на МРТ снимках малозаметны для непрофессионалов, например, фокально кортикальная дисплазия (ФКД). Но они обладают некоторыми визуальными признаками, которые можно использовать для интерпретируемой сегментации.

Что предстоит:

• Протестировать существующие признаки на открытом датасете.
• Предложить алгоритм интерпретируемой сегментации на основе этих признаков.

Ожидаемый результат: новый алгоритм, результаты его экспериментального исследования.

Куратор: Надежда Алсаханова, @NadezdaAlsahanova

Тема: интеграция больших языковых моделей с графами знаний для постановки диагнозов

Описание: На основе результатов статьи EMERGE: Enhancing Multimodal EHR Predictive Modeling with Retrieval-Augmented Generation (CIKM 2024), объединяем временные ряды, клинические заметки и медицинский knowledge graph (PrimeKG) с помощью RAG-пайплайна и кросс-модального внимания для улучшения задач клинического прогнозирования.

Что предстоит:

• Построить пайплайн извлечения признаков: временные ряды → z-score → аномалии, заметки → LLM → болезни
• Совместить с PrimeKG (semantic retrieval)
• Сгенерировать summary
• Реализовать fusion network (cross-attention)
• Провести обучение и тестирование на MIMIC-III/IV

Ожидаемый результат:  Алгоритмы, пайплайн, метрики (AUROC, AUPRC)
на двух задачах: смертность и 30-дневная реадмиссия

Куратор: Александра Беляева, @Squirk

Тема: оценка схожести гистологических изображений для задачи виртуального окрашивания

Описание: Виртуальное окрашивание — перспективный метод в цифровой патологии, позволяющий ускорить дорогостоящие лабораторные процедуры генерацией изображений с нужным типом окрашивания с помощью нейросетей. Для обучения моделей pix2pix используются пары изображений, полученные с разных срезов ткани, окрашенных разными красителями. Даже после хорошей регистрации между изображениями могут сохраняться различия — локальные смещения, деформации или частичная потеря структуры. Чтобы исключить "плохие" пары, требуется надежная оценка их схожести.

Что предстоит: 

• Провести сравнительный анализ методов оценки схожести пар изображений:

— классические метрики (SSIM, PSNR, Mutual Information)
— глубокие метрики на основе нейросетей (LPIPS, DISTS)
— пространственные методы, учитывающие локальные и глобальные смещения (non-rigid transformation)

• разработать и обучить собственную модель оценки схожести, сравнить ее с существующими методами
• подготовить рекомендации по фильтрации данных перед обучением моделей виртуального окрашивания

Ожидаемый результат:  Обученная модель оценки схожести; анализ и сравнение существующих подходов; выводы о пригодности разных методов для фильтрации пар изображений

Куратор: Светлана Илларионова, @illarionova_svetlana

Тема: распознавание биологических структур и классификация тканей на гистологических снимках

Описание: Выделение биологических структур на гистологических срезах является одной из первичных задач для анализа и состояния пациента и выбора оптимальной стратегии лечения. Количественный и качественный анализ на основе алгоритмов компьютерного зрения способны существенно ускорить время обработки данных и повысить его качество.

Что предстоит: 

• Анализ датасета
• Разработка базового решения многоклассовой сегментации и подготовка продвинутого решения с учетом специфики медицинских данных
• Анализ результатов

Ожидаемый результат:  Обученная модель сегментации биологических структур, анализ эффективности применения методов компьютерного зрения

Куратор: Светлана Илларионова, @illarionova_svetlana

Тема: Обработка текстов, семантический анализ, обнаружение аномалий, диахронические системы

Описание: Рассматривается задача выявления семантических аномалий в тематических кластерах текстов. Вследствие семантических сдвигов часть терминов отклоняется от тематического ядра (например, финансовые термины с нетипичной семантикой), что влияет на интерпретацию данных. Ставится задача исследования методов детектирования семантических аномалий и их диахронического анализа.

Что предстоит:

• Ознакомиться с методами векторного представления слов и алгоритмами детектирования семантических сдвигов (semantic shifts).
• Исследовать алгоритмы кластеризации аномалий во временных срезах, предложить комбинированный подход для анализа корпусов (например, BERT + адаптивные пороги).
• Провести эксперименты на исторических данных с оценкой точности детектирования.

Ожидаемый результат: Новый алгоритм обнаружения аномалий (на основе контекстных эмбеддингов и кластеризации сдвигов) + результаты экспериментов по метрикам F1 и силуэтному коэффициенту.

Куратор: Олег Рогов, o.rogov@skoltech.ru

Тема: Обработка текстов, семантический анализ, обнаружение аномалий, диахронические системы

Описание: Рассматривается задача ускорения поискового этапа в Retrieval-Augmented Generation архитектурах. Вследствие экспоненциального роста вычислительной сложности семантического поиска в больших данных предлагается исследовать методы предварительного тегирования на основе легковесных моделей для фильтрации релевантных подмножеств документов перед точным ранжированием.

Что предстоит: 

• Изучить принципы RAG-конвейеров и метрики эффективности поиска (Recall@k, MRR, latency).
• Дистилляциии LLM, методологий few-shot обучения, нейросетевой кластеризации
• Реализовать двухуровневую систему индексирования. Провести эмпирическую оценку на датасете MS MARCO.

Ожидаемый результат: алгоритм гибридного индексирования документов и результаты сравнительного анализа по latency (мс) и Recall.

Куратор: Олег Рогов, o.rogov@skoltech.ru