同時具壓縮、挑選與擴充之不遺忘持續學習系統
更新時間: 2020-07-08 21:09:50
同時具壓縮、挑選與擴充之不遺忘持續學習系統
本院覽號
05T-1081017
公告日期
2019-11-04
智財權狀態
著作權
摘要
持續終生學習是許多應用的基礎。我們的系統經由模型權重修剪,關鍵權重選擇以及逐漸式網路擴增,達成不遺忘終生學習。透過迭代式套用整合這三個步驟,我們提出一套可以擴充持續學習連續增加新任務之漸進式學習。本系統具有三個優點:一、避免遺忘先前的任務。二、可同時保持緊緻性質下,容許模型擴充來處理新增任務。三、透過壓縮、選擇與擴充機制,先前的知識可以幫助新任務的學習適應到更好的模型。
技術優勢
- 避免遺忘先前的任務。
- 可同時保持緊緻性質下,容許模型擴充來處理新增任務。
- 透過壓縮、選擇與擴充機制,先前的知識可以幫助新任務的學習適應到更好的模型。
應用範圍
- 智慧物流、智慧製造
- 智慧機器人
- 智慧城市、保全監控
圖1.CPG流程說明圖。給定妥善訓練之Task 1模型後,我們會先將其權重逐步修剪。接下來新任務進入之後,透過同時挑選舊模型與填入新權重一起訓練,得到新任務的模型。若新模型的準確未達標準,我們可以將模型擴充,以增強效能。
創作人
陳祝嵩
聯絡人
對本技術有興趣,請於本處網頁廠商選項下(廠商需求與諮詢)網頁填寫資料,承辦人將跟您聯絡。