PTT推薦

Re: [請益] 關於 NLP 如何自學(書/公開課程)?

看板Soft_Job標題Re: [請益] 關於 NLP 如何自學(書/公開課程)?作者
sxy67230
(charlesgg)
時間推噓 推:0 噓:0 →:11

※ 引述《cylee (Artisan)》之銘言
: Hi 各位先進,
: 本人背景是畢業很久的資工碩,目前從事 infra 開發的 back-end
: engineer,目前待的公司準時上下班,想學些能累積技術的主題
: 熟悉的語言有: C++/Python/Rust
: 因為在學時完全沒接觸過,想請問有碰過的先進們,自學的話有沒
: 有推的書、公開課能分享。另外 NLP 現在業界真的拿它來賺錢的公
: 司/組織是不是偏少(台商),還是只是我沒碰到而已?
: 謝謝各位


基本上,可以先從傳統的NLP領域開始切入,傳統計算語言學的問題主要有Tokenizer、POS、Entity Extraction、Dependency Tree、Relation Mapping、Intent Classification、Summarize、Coreference Resolution、Questions Answer、Language Translation等這些問題開始下手。

如果沒修過相關課程可以直接去聽Stanford 的線上公開課程,有直接從傳統統計語言角度跟問題直接切入的,然後再慢慢進一步走到用DL的方法,本質上傳統跟Neural的角度也不用擔心差很多,了解傳統統計模型方法像HMM CRF這種會幫助你理解更多,怎麼透過傳統角度切換到DL角度。

然後當前比較重要的NLP領域基底就是Language Model(或是你會聽到詞嵌入Word Embedding都是一樣的),這個會在你做上述問題的時候會套用的預訓練模型,你可以初部把他直接理解為一個特徵轉換器,可以把複雜高維特徵降維方便模型理解的方法。然後還有去理解一下Self-supervised learning 方法,AR跟AE的自監督訓練方法差異,想解決的問題。

剩下你想搞一些上層的應用大概就是這些問題組合拳一套,做ChatBot在加上一點IR的東西加上樹搜索就完成了。

然後想從書學的話,我推薦這本 Speech and Language Processing,這本大概就是聖經,也是Stanford 的教授寫的,剩下就是多讀文獻。

搞NLP比較弱勢的可能就是業界應用會比較要媒體、廣告相關去找會比較有應用空間,早期有搭上車銀行做監控跟客服這塊也是有應用,不過這幾年找得人就比較少了,或是這幾年智能合約也會應用到NLP,我自己今年就被兩家幣商找過想去做這塊研究。

以上

----
Sent from BePTT on my Sony XQ-AU52

--

※ PTT留言評論
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.216.46.151 (臺灣)
PTT 網址

DrTech06/02 23:01Chatbot只做到IR確實很難找工作啦,光是語意理解就可以做

DrTech06/02 23:01好多年了。我去年初找chatbot 的工作,台灣有兩家給我200

DrTech06/02 23:01萬以上年薪。

DrTech06/02 23:06NLP不好找工作,很多是因為大家都只用API

DrTech06/02 23:08nlp真的只靠組合拳打天下,就是很難用的產品。

這邊說的組合拳是指我上面提到的問題解決的組合拳啦!就是NLU的部分,像RASA 也是可以 把問題拆成這些子問題再去pipline的解決,不過確實每個問題都可以深入到很深,只會IR 確實不夠。不過靠這些切分幫助新手入門應該還是可以的,像更深入的架構Meta出品的Blen derBot也是可以把他想做的事切分成以上子問題,還有一個問題除了IR外沒提到的就是Long term memory的問題也是Chatbot 一個子問題,只是跟NLP有點偏離就沒提了

※ 編輯: sxy67230 (49.216.46.151 臺灣), 06/02/2022 23:39:52

recorriendo06/03 13:04那是NLP圈子說的discourse analysis、information

recorriendo06/03 13:04structure 一直以來都有人在做 intro的書或課程少

recorriendo06/03 13:04提而已

recorriendo06/03 13:06還有word embedding是詞的模型 language model是句

recorriendo06/03 13:06子的模型 指的不一樣

感謝,想說想用初學者的角度切入就舉word embedding,這邊你才是對的

※ 編輯: sxy67230 (49.216.30.37 臺灣), 06/03/2022 20:19:13

sachialanlus06/06 22:06根據自身經驗 了解language model的發展很有幫助