基於參數生成網路的遷移學習進行情感分析和歌手命名識別

摘要

當訓練資料有限時,如何應用已標記的訓練資料,幫助目標任務的模型快速建構,是遷移式學習(Transfer Learning)的重要議題。在本論文中,以多任務學習(Multi-task Learning)的方式進行中文歌手命名實體辨識(Name Entity Recognition, NER)和基於面向的情感分析(Aspect-Based Sentiment Analysis, ABSA)的任務。我們應用參數生成網路(Jia et al., 2019)結合梯度對抗層(Gradient Adversarial Layer, GRL)(Ganin and Lempitsky, 2015)架構來建立模型,並且使用Tie Break規則進行標記,動態調節權重的機制(Dynamic Weight Average, DWA)(Lin et al., 2019),依據每個任務的損失變化率來調整任務權重。實驗結果顯示,我們的擴展參數生成網路模型(Extended Parameter Generation Network, EPGN),在僅考慮NER任務時,F1可以達到90%,和IBHB效能86%相比,有所改善,加入ABSA任務後,平均F1龍夠達到78%, 和IBHB(Chiu, 2020)效能相差了22%,明顯的大幅成長。