具備有效率且多功能推論功能之結合妥善訓練深度模型之系統
更新時間: 2021-11-15 15:44:17
具備有效率且多功能推論功能之結合妥善訓練深度模型之系統
本院覽號
05A-1081018
公告日期
2020-01-03
智財權狀態
專利申請中
摘要
許多應用需要同時執行多目的深度學習模型。當部署多個已經妥善訓練卷積類神經網路CNN在單一系統上時,各自單獨執行它們可能效率不彰。因此,我們需要合併這些模型以有效率執行在資源有限的裝置上。為了部署兩個或多個已經妥善訓練深度學習模型來推論,我們設計了一套方法來一統眾模型成一個緊緻模型。這套方法由三個階段組成:濾波器對齊、共享權重初始化、與模型校正。它可以合併相同架構之已經妥善訓練之前饋式神經網路,成為單一網路,減低線上儲存空間與推論時間。我們的方法可以在有好效能之下,同時改進合併後之已經妥善訓練的CNN之執行時間記憶體壓縮率以及加速。
技術優勢
- 少見可以有效結合多個異質性卷積神經網路之系統。
- 因為結合已妥善訓練之模型,可以確保結合後之系統效能。
- 僅需要少量校正用資料,大幅減少所需訓練時間。
應用範圍
- 深度學習端點裝置(如智慧手機AI應用程式,智慧家庭裝置,數位相機)
- 智慧機器人、人機互動
- 智慧城市、保全監控
圖1.原本(a)是兩個針對不同任務已經妥善訓練之CNN,(b)是我們所提的漸進式整合的過程,從第一層開始,逐層結合兩種任務,最後可以得到結合程度由低到高多個模型,這些模型都具備可以執行兩個任務之能力,使用者可以依照所需準確率或速度來選擇。
圖2.對於結合兩個模型層中之Filters,我們會先找出最佳的對應關係。找出的最佳組合後,將兩者取平均值,作為結合起始共享權重。
創作人
陳祝嵩
聯絡人
對本技術有興趣,請於本處網頁廠商選項下(廠商需求與諮詢)網頁填寫資料,承辦人將跟您聯絡。