Я защитил кандидатскую диссертацию по глубоким генеративным моделям и сейчас ищу новый предмет.
В: Какие самые «горячие» темы исследований привлекают к себе внимание сообщества глубоких знаний в последнее время?
Несколько уточнений:
- Я просматривал похожие вопросы, и никто из них не ответил на мой вопрос.
- Я имею чисто математическое образование, год назад я перешел к глубокому обучению, и мои исследования генеративных моделей были в основном теоретическими. Это означает, что большая часть моей работы вращалась вокруг структурированных вероятностных моделей и приблизительного вывода. Тем не менее, мне еще предстоит изучить реальные приложения глубокого обучения.
- Я сделал домашнее задание, прежде чем задавать вопрос. Моей целью было получить информацию от SE и посмотреть, над чем работают люди.
deep-learning
ai-field
Ахраф Уссиди
источник
источник
Ответы:
Горячие темы сегодняшнего дня могут быть холодным, влажным пеплом завтрашнего дня. Например, скорость конвергенции подходов CNN и LSTM, особенно в сочетании, отвлекла значительное внимание от базовых конструкций RNN.
Точно так же холодные темы сегодняшнего дня могут быть горящими углями завтрашнего дня. Конечно, некоторые из холодных тем останутся холодными. Сладким местом может быть выявление тех, которые становятся теплее и, вероятно, будут устойчивыми строительными блоками будущих технологий.
Сети остаточного внимания
Сети с остаточным вниманием, такие как сети LSTM, являются улучшением по сравнению с сетями RNN, использующими другой подход. Поскольку сети внимания предназначены для экономии ресурсов, они либо сходятся быстрее, либо с меньшими требованиями к оборудованию и сети для поддержки параллельного выполнения.
Автоматизированная разработка не декартовых моделей
Исследования в области автоматизации моделирования являются ключевыми для многих приложений ИИ. Некоторые из разрабатываемых алгоритмов не просто извлекают тензоры признаков (массивы, матрицы, кубы и гиперкубы), но и разрабатывают графовые модели, направленные или ассоциативные, с допустимыми циклами или без них.
Топологии сигналов, поддерживающие равновесие
Многие игнорируют важность GAN не потому, что они могут делать интересные вещи с изображениями, а из-за того, как они отклоняются от простой топологии пути прохождения сигнала, где сходимость по обученному набору параметров достигается в одномерном массиве слоев и блоков слои.
Дискриминирующие и порождающие компоненты в дизайне GAN описаны более подробно в другом вопросе об обмене стеками AI: * Понимание функции потери GAN . Хотя создание изображений из подхода GAN и его концептуальных дочерних элементов демонстрирует новую возможность в искусственном сетевом пространстве, широта этого значения для нескольких сетей может быть не сразу очевидна. Это не стек глубинных слоев, а стек двух глубоких сетей в топологии "восьмерка", концептуально очень похожий на полосу Мёбиуса.
Эта топология создает баланс между двумя сетями, порождающей (G) и дискриминационной (D). Его дизайнер назвал это состязательными отношениями, потому что G и D играют противоположные роли. Однако их действие в системе на самом деле является совместным, создавая баланс, который очень похож на химическое равновесие или симбиоз в биологии, так что конкретная цель достигается. Это может выявить наиболее перспективное направление в ИИ сегодня.
Проектирование топологий сигналов, которые поддерживают дополнительные формы сотрудничества и симбиоза между сетями, где каждая сеть является компонентом, который изучает свою роль в связке с другими сетями компонентов, так что совокупная система узнает, что ее функция может синтезировать формы искусственного интеллекта, которые DNN не может.
Системы на основе правил и глубокие сети являются одномерными с точки зрения потока сигналов. Сами по себе никогда не могут приблизиться к наиболее заметным чертам человеческого мозга.
Параллельная обработка с использованием графических процессоров в качестве DSP
Внедрение VLSI сетей с заострением внимания имеет важное значение, и в настоящее время существуют реализации, такие как https://github.com/Hananel-Hazan/bindsnet, которые используют аппаратное ускорение графического процессора для их исследования без доступа к микросхемам VLSI, разрабатываемым крупными корпорациями.
Распознавание речи и синтез для сквозного TTS
Недавнее появление передового опыта в синтезе с использованием таких систем, как Google WaveNet, открыло двери для более точных приложений TTS (текст в звук), так что, вероятно, сейчас хорошее время стать экспертом в области записи голоса для использования в учебных примерах, но плохое время для создания собственного производства речи с использованием динамиков.
Автоматизированные транспортные средства
Автоматизированные транспортные средства различных типов нуждаются в специалистах по физике транспортных средств, автомобильному производству, аэронавтике и потребительским товарам для широкого спектра типов транспортных средств с сильными экономическими и безопасными стимулами вождения полуавтоматики и полной автоматизации.
Резюме
Может быть трудно заранее определить, какие из горячих технологий в области искусственного интеллекта будут оставаться доминирующими в течение пяти лет или какие из технологий потепления будут чертовски горячими в то время, но вышеизложенные являются надежными технологиями, демонстрирующими значительные перспективы на раннем этапе и для которых существует высокий бизнес, промышленные и потребительские требования.
источник
Ну, конечно, есть много областей, где вы можете внести свой вклад в исследования. Поскольку вы говорите, что сделали магистерскую диссертацию по глубоким генеративным моделям, я предполагаю, что вы хорошо знакомы с машиной и глубоким обучением.
Цифровая эпидемиология является одной из областей, где вы, безусловно, можете применять глубокое обучение. Это все еще относительно новая область по сравнению с другими отраслями вычислительной биологии. В качестве примера можно было бы увидеть влияние онлайновой цифровой записи на прогноз и дальнейшую распространенность заболеваний.
Такие онлайн-записи могут быть получены из различных поисковых систем, социальных сетей, а иногда и государственных учреждений. Например, вы можете увидеть здесь пример поискового термина «Рак кожи», и соответствующая запись показывает интерес этого термина ко всему земному шару, эти данные могут быть использованы для поиска новых гипотез. Например, если данные показывают, что у нас больше интереса к конкретному региону мира / страны, это может показать, что конкретное заболевание чаще встречается в этом регионе / части / стране мира. Подобные гипотезы могут быть построены, нарисованы и проверены. И, конечно же, глубокое обучение может повысить точность традиционных моделей, используемых при проверке таких гипотез.
Еще одной интересной областью исследований может быть сравнение долгосрочных краткосрочных нейронных сетей с традиционными моделями временных рядов. Я не верю, что существует серьезное исследование в этой области. Может быть, вы можете начать с этого хорошего блога здесь .
Обработка сигналов может быть еще одна очень интересная, а также очень практичная область для построения и проверки теорий на основе моделей глубокого обучения. Тем не менее, математика в обработке сигналов может быть довольно трудно получить. Однако все эти варианты потребуют от вас совместной работы с людьми из определенных доменов. Это если вы хотите производить высококачественные исследования.
Другими областями могут быть НЛП, особенно в случае языкового перевода с хинди на урду или персидский язык, онлайн-маркетинг, поведенческие науки, производство и инвестиции. Конкретные области исследований могут быть улучшены, если вы знаете экспертов в этих областях.
источник