Есть ли разница между «трансферным обучением» и «адаптацией предметной области»?
Я не знаю насчет контекста, но, насколько я понимаю, у нас есть некоторый набор данных 1, и мы обучаем его, после чего у нас есть еще один набор данных 2, для которого мы хотим адаптировать нашу модель без переобучения с нуля, для которого «трансферное обучение» и «адаптация домена» поможет решить эту проблему.
Согласно области сверточных нейронных сетей:
Ответы:
Кажется, что между исследователями существуют некоторые разногласия по поводу того, в чем разница между «трансферным обучением» и «адаптацией предметной области».
От {0}:
С 1}:
Ссылки:
{0} Ли, Ци. «Обзор литературы: алгоритмы адаптации предметной области для обработки естественного языка». Факультет компьютерных наук Центр выпускников, Городской университет Нью-Йорка (2012): 8-10. https://scholar.google.com/scholar?cluster=2828982016930721315&hl=ru&as_sdt=0,22 ; https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf ; http://nlp.cs.rpi.edu/paper/qisurvey.pdf ( зеркало )
{1} Пан, Синно Цзялин и Цян Ян. «Опрос по трансферному обучению». IEEE Сделки по знаниям и проектированию данных 22, нет. 10 (2010): 1345-1359. https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22 ; http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( зеркало ) (2,6 тыс. ссылок)
источник
Из статьи Хала Даума [1]:
источник
В литературе по трансферному обучению существует ряд несоответствий терминологии. Такие фразы, как трансферное обучение и адаптация предметной области, используются для обозначения аналогичных процессов. Адаптация домена - это процесс адаптации одного или нескольких исходных доменов к средствам передачи информации для повышения производительности целевого ученика. Процесс адаптации домена пытается изменить исходный домен, пытаясь приблизить распределение источника к распределению цели. В настройке «Адаптация домена» исходный и целевой домены имеют разные предельные распределения p (X). Согласно исследованию Пана, «Трансферное обучение» - это более широкий термин, который также может включать случай, когда существует различие в условных распределениях p (Y | X) исходного и целевого доменов. Напротив,
источник
Я думаю, что «трансферное обучение» является более общим термином, а «адаптация домена» - сценарием «трансферного обучения».
[1] Переносимое внимание для доменной адаптации. http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf
источник
Согласно [1], адаптация домена - это обучение передаче в NLP: «Обучение передаче в области NLP иногда называют адаптацией домена».
[1] Пан, SJ и Q. Ян. «Опрос по трансферному обучению». IEEE Труды по знаниям и проектированию данных 22, нет. 10 (октябрь 2010 г.): 1345–59. https://doi.org/10.1109/TKDE.2009.191 или https://www.cse.ust.hk/~qyang/Docs/2009/tkde_transfer_learning.pdf
источник