Menu

進擊的 BERT:NLP 界的巨人之力與遷移學習

2019-07-10 (Wed)

這篇是給所有人的 BERT 科普文以及操作入門手冊。文中將簡單介紹知名的語言代表模型 BERT 以及如何用其實現兩階段的遷移學習。讀者將有機會透過 PyTorch 的程式碼來直觀理解 BERT 的運作方式並實際 fine tune 一個真實存在的假新聞分類任務。閱讀完本文的讀者將能把 BERT 與遷移學習運用到其他自己感興趣的 NLP 任務。

淺談神經機器翻譯 & 用 Transformer 與 TensorFlow 2 英翻中

2019-06-17 (Mon)

本文分為兩大部分。前半將帶讀者簡單回顧 Seq2Seq 模型、自注意力機制以及 Transformer 等近年在機器翻譯領域裡頭的重要發展與概念;後半段則將帶著讀者實作一個可以將英文句子翻譯成中文的 Transformer。透過瞭解其背後運作原理,讀者將能把類似的概念應用到如圖像描述、閱讀理解以及語音辨識等各式各樣的機器學習任務之上。

讓 AI 寫點金庸:如何用 TensorFlow 2.0 及 TensorFlow.js 寫天龍八部

2019-03-27 (Wed)

這篇文章展示一個由 TensorFlow 2.0 以及 TensorFlow.js 實現的文本生成應用。本文也會透過深度學習專案常見的 7 個步驟,帶領讀者一步步了解如何實現一個這樣的應用。閱讀完本文,你將對開發 AI 應用的流程有些基礎的了解。

進入 NLP 世界的最佳橋樑:寫給所有人的自然語言處理與深度學習入門指南

2018-12-24 (Mon)

在此文中,我們以一個假新聞分類的 Kaggle 競賽做為引子,不用深奧的數學計算式,而是直觀且高層次地理解目前常見的 NLP 手法以及基本的深度學習、機器學習概念。透過建立一個能夠分類假新聞的神經網路,你將會學到如文本數據前處理、循環神經網路以及深度學習 3 步驟等基礎知識,並在未來利用此基礎進一步探索 NLP 世界。

我在比利時 EMNLP 之旅中學到的 3 堂課

2018-11-19 (Mon)

這是一個 NLP 初心者勇闖自然語言處理的頂級學術會議 EMNLP 的故事。在這篇文章裡,我想跟你分享 3 個這次旅行中帶給我最重要的體悟。這些體悟改變了我的人生,而我也希望你能從這個故事裡頭獲得些啟發,重新思考你自己的學習,並做一些好的改變。