AWS Data Migration Service - 從 MongoDB 遷移到 Redshift
同樣一份資料因應不同的使用案例,可能需要使用不同的存取方式。而針對這些不同的存取方式,我們通常需要選擇最適合的資料庫來最佳化使用者體驗。這篇文章將簡單介紹如何使用 AWS Database Migration Service來快速地達到我們的目標:將 MongoDB 資料遷移到 Redshift 上。
同樣一份資料因應不同的使用案例,可能需要使用不同的存取方式。而針對這些不同的存取方式,我們通常需要選擇最適合的資料庫來最佳化使用者體驗。這篇文章將簡單介紹如何使用 AWS Database Migration Service來快速地達到我們的目標:將 MongoDB 資料遷移到 Redshift 上。
同樣一份資料因應不同的使用案例,可能需要使用不同的存取方式。而針對這些不同的存取方式,我們通常需要選擇最適合的資料庫來最佳化使用者體驗。這篇文章將簡單介紹如何使用 AWS Database Migration Service來快速地達到我們的目標:將 MongoDB 資料遷移到 Redshift 上。
最近在拜讀 Martin Kleppmann 的 Designing Data-Intensive Applications, 覺得受益匪淺,且我也相信透過 Feynman Technique 將學到的東西用最淺顯易懂的方式表達能幫助自己內化這些知識,遂嘗試把閱讀後的心得記錄在此。
Google Data Studio 是 Google 推出的一個儀表板服務,讓我們可以利用多種連結器將儲存在如 Google Analytics、 Google 試算表及 Google BigQuery 等特定資料來源的資料做出漂亮的 visualization ,用資料講故事而不用自己設計 UI。這篇把學到的一些技巧以及使用心得記錄下來。
Pelican 是一個用 Python 寫的靜態網頁生成器, 可以幫我們把 reStructedText, Markdown file 甚至 Jupyer notebook 轉成靜態的 HTML 檔案。 有些人可能已經注意到這個部落格是用 Pelican 所寫成並且 host 在 Github 上的。這篇主要紀錄如何使用 Jinja2 自訂主題。
Beautifulsoup 是一個可以幫助我們 parse HTML 的函式庫,不管是在寫爬蟲還是做 HTML 檔案的處理都很方便。這篇主要紀錄使用 beautifulsoup 時常用的指令。
這篇記錄我在使用 seaborn 做資料分析還有 visualization 時常用的 code. 一般慣例會把 seaborn 更名成 sns for reference.
這篇主要紀錄使用 SQLite shell 下 SQL Query 的指令。基本上在 shell 裡頭都是用 dot-command, 使用 .help 可以顯示所有可用的指令。
Naive Word2vec implementation using Tensorflow
The goal here is to practice building convolutional neural networks to classify notMNIST characters using TensorFlow. As image size become bigger and bigger, it become unpractical to train fully-connected NN because there will be just too many parameters and thus the model will overfit very soon. And CNN solve this problem by weight sharing. We will start by building a CNN with two convolutional layers connected by a fully connected layer and then try also pooling layer and other thing to improve the model performance.
The goal of this assignment is to explore regularization techniques.
The goal here is to progressively train deeper and more accurate models using TensorFlow. We will first load the notMNIST dataset which we have done data cleaning. For the classification problem, we will first train two logistic regression models use simple gradient descent, stochastic gradient descent (SGD) respectively for optimization to see the difference between these optimizers.