Noob's Space

Chatbot 開發前的那兩三事(三):中文語意分析、使用分析平台

上次提到最後一個部分是人工智慧,但人工智慧要用在哪裡好呢?除了功能設計本身可以用到 AI 以外,比較常用到的是自然語言分析。

什麼是功能設計本身?比方說使用者上傳一張圖片去辨認它是什麼水果,再去做相對應的動作。這件事情無關 Chatbot 的流程,普通的 App 也有可能有這部分,所以算是功能設計裡面的一部份。

而自然語言分析(NLP,Natural Language Processing),正是在使用者輸入一段文字後,主機處理資料前,先去把這段文字分析成機器看得懂的格式。例如把「我要買兩顆蘋果」處理成 {intent: “buy”, product: “蘋果”, quantity: 2} 之類的格式。

中文語意分析演算法與服務

先來講點技術吧。

語意分析首先是斷詞,之前有說過,所謂的斷詞就是把「我現在真的非常想睡覺」分成「我 / 現在 / 真的 / 非常 / 想 / 睡覺」,而在英文根本不需要煩惱這個問題,畢竟英文只要把「I really want to sleep now」斷成「I / really / want / to / sleep / now」就好了。

那中文斷詞這東西可以用哪些工具來達成呢?中研院有一套斷詞系統叫 CKIP 可以使用,社群維護的版本也有一支叫 jieba (結巴)可以用。

斷詞後就是分析這句話的意圖了。如果想自己實作的話,可以參考一下 Mikolov 提出的 word2vec、sentence2vec 甚至是 doc2vec 方法,主要是把詞轉成向量,去推測相似詞、字的意思等等。或是最近的 Google Sling 好像也有點紅,不過還沒仔細看過。

如果不自己做的話,其實各大公司都有推自己的語意分析平台:

這些是最近比較流行的 NLP 平台,可以參考看看。語意分析完後還有一些比較特別的東西,像是情感分析。

中文的情感分析比較少,大多都是英文的,但我發現把句子翻成英文再去做分析其實不會差太多,除非像是「幫QQ」這種特殊字眼,或是翻譯不到味的可能會差很多。

分析平台:分析 Chatbot 使用狀況

最後,等到 Chatbot 正式上線後,還是要有一個平台去做分析,才能了解使用者有沒有遇到什麼問題。Google 最近有開放一個分析平台叫 Chatbase,開發者可以在上面分析聊天對象、整體趨勢和狀況,藉此提高 Chatbot 的準確性、提升使用者體驗等等,有點像是 Chatbot 版本的 Google Analytics。

 

延伸閱讀

Chatbot 開發前的那兩三事 目錄

你可能會有興趣......?

廣告