В этой статье представлена новая методология дистилляции с учетом границ принятия решений для инкрементного обучения на уровне экземпляров, которая не требует доступа к старым данным.В этой статье представлена новая методология дистилляции с учетом границ принятия решений для инкрементного обучения на уровне экземпляров, которая не требует доступа к старым данным.

Синтез медицинских изображений: S-CycleGAN для RUSS и сегментации

2025/11/05 23:30

Резюме и 1 Введение

  1. Связанные работы

  2. Постановка проблемы

  3. Методология

    4.1. Дистилляция с учетом границы принятия решений

    4.2. Консолидация знаний

  4. Экспериментальные результаты и 5.1. Настройка эксперимента

    5.2. Сравнение с методами SOTA

    5.3. Исследование абляции

  5. Заключение и дальнейшая работа и Ссылки

    \

Дополнительные материалы

  1. Детали теоретического анализа механизма KCEMA в IIL
  2. Обзор алгоритма
  3. Детали набора данных
  4. Детали реализации
  5. Визуализация запыленных входных изображений
  6. Больше экспериментальных результатов

4. Методология

Как показано на Рис. 2 (a), возникновение концептуального дрейфа в новых наблюдениях приводит к появлению внешних образцов, с которыми существующая модель не справляется. Новый IIL должен расширить границу принятия решений до этих внешних образцов, а также избежать катастрофического забывания (CF) на старой границе. Традиционные методы, основанные на дистилляции знаний, полагаются на некоторые сохраненные примеры [22] или вспомогательные данные [33, 34] для противодействия CF. Однако в предложенной настройке IIL у нас нет доступа к каким-либо старым данным, кроме новых наблюдений. Дистилляция, основанная на этих новых наблюдениях, конфликтует с изучением новых знаний, если в модель не добавляются новые параметры. Чтобы найти баланс между обучением и отсутствием забывания, мы предлагаем метод дистилляции с учетом границы принятия решений, который не требует старых данных. Во время обучения новые знания, полученные учеником, периодически консолидируются обратно в модель учителя, что обеспечивает лучшую обобщаемость и является пионерской попыткой в этой области.

\ Рисунок 3. Сравнение между (a) предыдущим методом, основанным на дистилляции, который делает выводы с помощью модели ученика (S), и (b) предложенной дистилляцией с учетом границы принятия решений (DBD) с консолидацией знаний (KC). Мы используем модель учителя (T) для вывода.

\

:::info Авторы:

(1) Цян Не, Гонконгский университет науки и технологии (Гуанчжоу);

(2) Вэйфу Фу, Лаборатория Tencent Youtu;

(3) Юхуань Линь, Лаборатория Tencent Youtu;

(4) Цзялинь Ли, Лаборатория Tencent Youtu;

(5) Ифэн Чжоу, Лаборатория Tencent Youtu;

(6) Юн Лю, Лаборатория Tencent Youtu;

(7) Цян Не, Гонконгский университет науки и технологии (Гуанчжоу);

(8) Чэнцзе Ван, Лаборатория Tencent Youtu.

:::


:::info Эта статья доступна на arxiv под лицензией CC BY-NC-ND 4.0 Deed (Attribution-Noncommercial-Noderivs 4.0 International).

:::

\

Отказ от ответственности: Статьи, размещенные на этом веб-сайте, взяты из общедоступных источников и предоставляются исключительно в информационных целях. Они не обязательно отражают точку зрения MEXC. Все права принадлежат первоисточникам. Если вы считаете, что какой-либо контент нарушает права третьих лиц, пожалуйста, обратитесь по адресу [email protected] для его удаления. MEXC не дает никаких гарантий в отношении точности, полноты или своевременности контента и не несет ответственности за любые действия, предпринятые на основе предоставленной информации. Контент не является финансовой, юридической или иной профессиональной консультацией и не должен рассматриваться как рекомендация или одобрение со стороны MEXC.

Вам также может быть интересно