智財技轉處 Department of Intellectual Property and Technology Transfer 智財技轉處 Department of Intellectual Property and Technology Transfer

本院覽號：05T-891002

創作人：陳克健、馬偉雲（中央研究院詞庫小組）

智財權：專門技術

摘要：

詞是最小有意義且可以自由使用的語言單位。任何語言處理的系統都必須先能分辨文本中的詞才能進行進一步的處理，例如機器翻譯、語言分析、語言了解、資訊抽取。因此中文自動分詞的工作成了語言處理不可或缺的技術。

本系統整合了分詞及線上新詞辨識技術，為唯一具有新詞辨識能力並附加詞類標記的選擇性功能之中文斷詞系統。此一系統包含一個約拾萬詞的詞彙庫及附加詞類、詞頻、詞類頻率、雙連詞類頻率等資料。分詞依據為此一詞彙庫及定量詞、重疊詞等構詞規律及線上辨識的新詞，並解決分詞歧義問題。除了基本詞彙庫外，使用者可依需要附加領域專屬詞庫。一般文件若不考慮新詞平均切分正確率達99%以上。詞類標記為選擇性功能，可附加文本中切分詞的詞類解決詞類歧義，正確率在95%以上。分詞用詞典俱可擴充性，使用者可依據不同領域文件，補充領域詞典做為分詞之用。

可能的應用範圍：

1. 資訊檢索
2. 機器翻譯
3. 語言分析
4. 語言了解
5. 訊息抽取
6. 自然語言人機介面

此項發明的優點：

由於中文詞集是一個開放集合，不存在任何一個詞典或方法可以盡列所有的中文詞。當處理不同領域的文件時，領域相關的特殊詞彙或專有名詞，常常造成分詞系統因為參考詞彙的不足而產生錯誤的切分。為了解決這個問題，最有效的方法是補充領域詞典加強詞彙的搜集。因此新的詞彙或關鍵詞的自動抽取成為分詞的先期準備步驟。領域關鍵詞彙多出現在該領域的文件中而少出現在其它領域，因此抽取關鍵詞時多利用此特性。高頻的關鍵詞比較容易抽取，少數低頻的新詞不容事先搜集，必須線上辨識。構詞律、詞素、詞彙及詞彙共現訊息，為線上新詞辨識依據。此一問題至今尚未有完整的解答，部分的研究成果包括人名、地名、公司名辨識，未知詞偵測，複合詞構詞律等。

本系統整合了分詞及線上新詞辨識技術，為唯一具有新詞辨識能力並附加詞類標記的選擇性功能之中文斷詞系統。

智財技轉處聯絡人：

對本技術有興趣，請於本處網頁廠商選項下(廠商需求與諮詢)網頁填寫資料，承辦人將跟您聯絡。

If you are interested in this technology, please fill in the information on the webpage under the manufacturer option (Apply for Technology Licensing, Material Transfer, or Sponsored Research) on the website of this office, and the undertaker will contact you