Menu

進擊的 BERT:NLP 界的巨人之力與遷移學習

2019-07-10 (Wed)

這篇是給所有人的 BERT 科普文以及操作入門手冊。文中將簡單介紹知名的語言代表模型 BERT 以及如何用其實現兩階段的遷移學習。讀者將有機會透過 PyTorch 的程式碼來直觀理解 BERT 的運作方式並實際 fine tune 一個真實存在的假新聞分類任務。閱讀完本文的讀者將能把 BERT 與遷移學習運用到其他自己感興趣的 NLP 任務。

淺談神經機器翻譯 & 用 Transformer 與 TensorFlow 2 英翻中

2019-06-17 (Mon)

本文分為兩大部分。前半將帶讀者簡單回顧 Seq2Seq 模型、自注意力機制以及 Transformer 等近年在機器翻譯領域裡頭的重要發展與概念;後半段則將帶著讀者實作一個可以將英文句子翻譯成中文的 Transformer。透過瞭解其背後運作原理,讀者將能把類似的概念應用到如圖像描述、閱讀理解以及語音辨識等各式各樣的機器學習任務之上。

Find Word Semantic by Using Word2vec in TensorFlow

2017-09-30 (Sat)

Naive Word2vec implementation using Tensorflow