資料科學家的 pandas 實戰手冊：掌握 40 個實用數據技巧

故學然後知不足，教然後知困。知不足，然後能自反也；知困，然後能自強也，故曰：教學相長也。
─ 《禮記．學記》

pandas 是 Python 的一個資料分析函式庫，提供如 DataFrame 等十分容易操作的資料結構，是近年做數據分析時不可或需的工具之一。

雖然已經有滿坑滿谷的教學文章、影片或是線上課程，正是因為 pandas 學習資源之多，導致初學者常常不知如何踏出第一步。在這篇文章裡頭，我以自身作為資料科學家（Data Scientist, DS）的工作經驗，將接近 40 個實用的 pandas 技巧由淺入深地分成 6 大類別：

1. 建立 DataFrame
2. 客製化 DataFrame 顯示設定
3. 數據清理 & 整理
4. 取得想要關注的數據
5. 基本數據處理與轉換
6. 簡單匯總 & 分析數據

透過有系統地呈現這些 pandas 技巧，我希望能讓更多想要利用 Python 做資料分析或是想成為 DS 的你，能用最有效率的方式掌握核心 pandas 能力；同時也希望你能將自己認為實用但本文沒有提到的技巧與我分享，達到開頭引文所說的教學相長：）

如果你是使用寬螢幕瀏覽本文，隨時可以點擊左側傳送門瀏覽各章內容：

除了 pandas 的操作技巧以外，我在最後一節：與 pandas 相得益彰的實用工具裡也介紹了幾個實用函式庫。就算你是 pandas 老手，或許也能從中得到些收穫。當然也非常歡迎與我分享其他厲害工具，我會更新到文章裡頭讓更多人知道。

前言已盡，讓我們開始這趟 pandas 旅程吧！當然，首先你得 import pandas：

建立 DataFrame¶

pandas 裡有非常多種可以初始化一個 DataFrame 的技巧。以下列出一些我覺得實用的初始化方式。

用 Python dict 建立 DataFrame¶

使用 Python 的 dict 來初始化 DataFrame 十分直覺。基本上 dict 裡頭的每一個鍵值（key）都對應到一個欄位名稱，而其值（value）則是一個 iterable，代表該欄位裡頭所有的數值。

在需要管理多個 DataFrames 時你會想要用更有意義的名字來代表它們，但在資料科學領域裡只要看到 df，每個人都會預期它是一個 DataFrame，不論是 Python 或是 R 語言的使用者。

很多時候你也會需要改變 DataFrame 裡的欄位名稱：

這邊也很直覺，就是給一個將舊欄位名對應到新欄位名的 Python dict。值得注意的是參數 axis=1：在 pandas 裡大部分函式預設處理的軸為列（row）：以 axis=0 表示；而將 axis 設置為 1 則代表你想以行（column）為單位套用該函式。

你也可以用 df.columns 的方式改欄位名稱：

使用 pd.util.testing 隨機建立 DataFrame¶

當你想要隨意初始化一個 DataFrame 並測試 pandas 功能時，pd.util.testing 就顯得十分好用：

head 函式預設用來顯示 DataFrame 中前 5 筆數據。要顯示後面數據則可以使用 tail 函式。

你也可以用 makeMixedDataFrame 建立一個有各種資料型態的 DataFrame 方便測試：

其他函式如 makeMissingDataframe 及 makeTimeDataFrame 在後面的章節都還會看到。

將剪貼簿內容轉換成 DataFrame¶

你可以從 Excel、Google Sheet 或是網頁上複製表格並將其轉成 DataFrame。

簡單 2 步驟：

• 複製其他來源的表格
• 執行 pd.read_clipboard

這個技巧在你想要快速將一些數據轉成 DataFrame 時非常方便。當然，你得考量重現性（reproducibility）。

為了讓未來的自己以及他人可以重現你當下的結果，必要時記得另存新檔以供後人使用：

df.to_csv("some_data.csv")

讀取線上 CSV 檔¶

不限於本地檔案，只要有正確的 URL 以及網路連線就可以將網路上的任意 CSV 檔案轉成 DataFrame。

比方說你可以將 Kaggle 著名的鐵達尼號競賽的 CSV 檔案從網路上下載下來並轉成 DataFrame：

以下則是另個使用 pandas 爬取網路上數據並作分析的真實案例。

我在之前的 Chartify 教學文中從臺北市的資料開放平台爬取 A1 及 A2 類交通事故數據後做了簡單匯總：

有了匯總過後的 DataFrame，你可以用後面簡易繪圖並修改預設樣式章節提到的 pandas plot 函式繪圖。但在這邊讓我用 Chartify 展示結果：

import chartify
ch = chartify.Chart(
    x_axis_type='categorical', 
    y_axis_type='categorical')

ch.plot.heatmap(
    data_frame=df, 
    y_column='性別', 
    x_column='區序', 
    color_column='受傷人數', 
    text_column='受傷人數', 
    color_palette='Reds', 
    text_format='{:,.0f}')

(ch.set_title('2017 年台北市各行政區交通意外受傷人數')
 .set_subtitle('性別分計')
 .set_source_label("Data.Taipei")
 .axes.set_xaxis_label('性別')
 .axes.set_yaxis_label('行政區')
 .show('png'))

過來人經驗。雖然像這樣利用 pandas 直接從網路上下載並分析數據很方便，有時 host 數據的網頁與機構（尤其是政府機關）會無預期地修改他們網站，導致數據集的 URL 失效（苦主）。為了最大化重現性，我還是會建議將數據載到本地備份之後，再做分析比較實在。

優化記憶體使用量¶

你可以透過 df.info 查看 DataFrame 當前的記憶體用量：

從最後一列可以看出鐵達尼號這個小 DataFrame 只佔了 322 KB。如果你是透過 Jupyter 筆記本來操作 pandas，也可以考慮用 Variable Inspector 插件來觀察包含 DataFrame 等變數的大小：

這邊使用的 df 不佔什麼記憶體，但如果你想讀入的 DataFrame 很大，可以只讀入特定的欄位並將已知的分類型（categorical）欄位轉成 category 型態以節省記憶體（在分類數目較數據量小時有效）：

透過減少讀入的欄位數並將 object 轉換成 category 欄位，讀入的 df 只剩 135 KB。只需剛剛的 40 % 記憶體用量。

另外如果你想在有限的記憶體內處理巨大 CSV 檔案，也可以透過 chunksize 參數來限制一次讀入的列數（rows）：

讀入並合併多個 CSV 檔案成單一 DataFrame¶

很多時候因為企業內部 ETL 或是數據處理的方式（比方說利用 Airflow 處理批次數據），相同類型的數據可能會被分成多個不同的 CSV 檔案儲存。

假設在本地端 dataset 資料夾內有 2 個 CSV 檔案，分別儲存鐵達尼號上不同乘客的數據：

另外一個 CSV 內容：

注意上面 2 個 DataFrames 的內容雖然分別代表不同乘客，其格式卻是一模一樣。這種時候你可以使用 pd.concat 將分散在不同 CSV 的乘客數據合併成單一 DataFrame，方便之後處理：

你還可以使用 reset_index 函式來重置串接後的 DataFrame 索引。

前面說過很多 pandas 函式預設的 axis 參數為 0，代表著以列（row）為單位做特定的操作。在 pd.concat 的例子中則是將 2 個同樣格式的 DataFrames 依照列串接起來。

有時候同一筆數據的不同特徵值（features）會被存在不同檔案裡頭。以鐵達尼號的數據集舉例：

除了乘客名稱以外，其他如年齡以及性別等特徵值則被存在另個 CSV 裡頭：

假設這 2 個 CSV 檔案裡頭同列對應到同個乘客，則你可以很輕鬆地用 pd.concat 函式搭配 axis=1 將不同 DataFrames 依照行（column）串接：

客製化 DataFrame 顯示設定¶

雖然 pandas 會盡可能地將一個 DataFrame 完整且漂亮地呈現出來，有時候你還是會想要改變預設的顯示方式。這節列出一些常見的使用情境。

完整顯示所有欄位¶

有時候一個 DataFrame 裡頭的欄位太多， pandas 會自動省略某些中間欄位以保持頁面整潔：

df = pd.util.testing.makeCustomDataframe(5, 25)
df

但如果你無論如何都想要顯示所有欄位以方便一次查看，可以透過 pd.set_option 函式來改變 display.max_columns 設定：

pd.set_option("display.max_columns", None)
df

注意 ... 消失了。另外你也可以使用 T 來轉置（transpose）當前 DataFrame，垂直顯示所有欄位：

# 注意轉置後 `head(15)` 代表選擇前 15 個欄位
df.T.head(15)

這個測試用的 DataFrame 欄位裡頭的 C 正代表著 column。你可以在 pandas 官方文件裡查看其他常用的顯示設定。

減少顯示的欄位長度¶

這邊你一樣可以透過 pd.set_option 函式來限制鐵達尼號資料集裡頭 Name 欄位的顯示長度：

改變浮點數顯示位數¶

除了欄位長度以外，你常常會想要改變浮點數（float）顯示的小數點位數：

你會發現 Fare 欄位現在只顯示小數點後一位的數值了。另外注意剛剛設定的 max_colwidth 是會被套用到所有 DataFrame 的。因此這個 DataFrame 的 Name 欄位顯示的寬度還跟上個 DataFrame 相同：都被縮減了。

想要將所有調整過的設定初始化，可以執行：

pd.reset_option("all")

其他常用的 options 包含：

• max_rows
• max_columns
• date_yearfirst

等等。執行 pd.describe_option() 可以顯示所有可供使用的 options，但如果你是在 Jupyter 筆記本內使用 pandas 的話，我推薦直接在 set_option 函式的括號裡輸入 Shift + tab 顯示所有選項：

為特定 DataFrame 加點樣式¶

pd.set_option 函式在你想要把某些顯示設定套用到所有 DataFrames 時很好用。不過很多時候你會想要讓不同 DataFrame 有不同的顯示設定或樣式（styling）。

比方說針對下面這個只有 10 筆數據的 DataFrame，你想要跟上一節一樣把 Fare 欄位弄成只有小數點後一位，但又不想影響到其他 DataFrame 或是其他欄位：

這時候你可以使用 pandas Styler 底下的 format 函式來做到這件事情：

# 一個典型 chain pandas 函式的例子
(df_sample.style
     .format('{:.1f}', subset='Fare')
     .set_caption('★五顏六色の鐵達尼號數據集☆')
     .hide_index()
     .bar('Age', vmin=0)
     .highlight_max('Survived')
     .background_gradient('Greens', 
                          subset='Fare')
     .highlight_null()
)

如果你從來沒有用過 df.style，這應該是你這輩子看過最繽紛的 DataFrame。

從上而下，上述程式碼對此 DataFrame 做了以下 styling：

• 將 Fare 欄位的數值顯示限制到小數後第一位
• 添加一個標題輔助說明
• 隱藏索引（注意最左邊！）
• 將 Age 欄位依數值大小畫條狀圖
• 將 Survived 最大的值 highlight
• 將 Fare 欄位依數值畫綠色的 colormap
• 將整個 DataFrame 的空值顯示為紅色

pd.DataFrame.style 會回傳一個 Styler。你已經看到除了 format 函式以外，還有很多其他函式可以讓你為 DataFrame 添加樣式。使用 format 函式的最大好處是你不需要用像是 round 等函式去修改實際數值，而只是改變呈現結果而已。

熟悉 styling 技巧能讓你不需畫圖就能輕鬆與他人分享簡單的分析結果，也能凸顯你想讓他們關注的事物。小提醒：為了讓你能一次掌握常用函式，我把能加的樣式都加了。實務上你應該思考什麼視覺變數是必要的，而不是盲目地添加樣式。

另外值得一提的是 pandas 函式都會回傳處理後的結果，而不是直接修改原始 DataFrame。這讓你可以輕鬆地把多個函式串（chain）成一個複雜的數據處理 pipeline，但又不會影響到最原始的數據：

瞧！原來的 DataFrame 還是挺淳樸的。注意 Fare 欄位裡的小數點並沒有因為剛剛的 styling 而變少，而這讓你在呈現 DataFrame 時有最大的彈性。

數據清理 & 整理¶

這節列出一些十分常用的數據清理與整理技巧，如處理空值（null value）以及切割欄位。

處理空值¶

世界總是殘酷，很多時候手上的 DataFrame 裡頭會有不存在的值，如底下一格格額外顯眼的 NaN：

你可以利用 fillna 函式將 DataFrame 裡頭所有不存在的值設為 0：

當然，這個操作的前提是你確定在當前分析的情境下，將不存在的值視為 0 這件事情是沒有問題的。

針對字串欄位，你也可以將空值設定成任何容易識別的值，讓自己及他人明確了解此 DataFrame 的數據品質：

捨棄不需要的行列¶

給定一個初始 DataFrame：

你可以使用 drop 函式來捨棄不需要的欄位。記得將 axis 設為 1：

同理，你也可以捨棄特定列（row）：

重置並捨棄索引¶

很多時候你會想要重置一個 DataFrame 的索引，以方便使用 loc 或 iloc 屬性來存取想要的數據。

給定一個 DataFrame：

你可以使用 reset_index 函式來重置此 DataFrame 的索引並輕鬆存取想要的部分：

將函式的 inplace 參數設為 True 會讓 pandas 直接修改 df。一般來說 pandas 裡的函式並不會修改原始 DataFrame，這樣可以保證原始數據不會受到任何函式的影響。

當你不想要原來的 DataFrame df 受到 reset_index 函式的影響，則可以將處理後的結果交給一個新 DataFrame（比方說 df1）：

透過這樣的方式，pandas 讓你可以放心地對原始數據做任何壞壞的事情而不會產生任何不好的影響。

將字串切割成多個欄位¶

在處理文本數據時，很多時候你會想要把一個字串欄位拆成多個欄位以方便後續處理。

給定一個簡單 DataFrame：

你可能會想把這個 DataFrame 的 feature 欄位分成不同欄位，這時候利用 str 將字串取出，並透過 expand=True 將字串切割的結果擴大成（expand）成一個 DataFrame：

注意我們使用 df[columns] = ... 的形式將字串切割出來的 2 個新欄位分別指定成 性格 與 特技。

將 list 分成多個欄位¶

有時候一個欄位裡頭的值為 Python list：

這時則可以使用 tolist 函式做到跟剛剛字串切割相同的效果：

你也可以使用 apply(pd.Series) 的方式達到一樣的效果：

遇到以 Python list 呈現欄位數據的情境不少，這些函式能讓你少抓點頭。

取得想要關注的數據¶

通常你會需要依照各種不同的分析情境，將整個 DataFrame 裡頭的一部份數據取出並進一步分析。這節內容讓你能夠輕鬆取得想要關注的數據。

基本數據切割¶

在 pandas 裡頭，切割（Slice）DataFrame 裡頭一部份數據出來做分析是稀鬆平常的事情。讓我們再次以鐵達尼號數據集為例：

你可以透過 loc 以及 : 的方式輕鬆選取從某個起始欄位 C1 到結束欄位 C2 的所有欄位，而無需將中間的欄位一一列出：

反向選取行列¶

透過 Python 常見的 [::-1] 語法，你可以輕易地改變 DataFrame 裡頭所有欄位的排列順序：

同樣概念也可以運用到列（row）上面。你可以將所有樣本（samples）排序顛倒並選取其中 N 列：

注意我們同時使用 :5 來選出前 5 個欄位。

條件選取數據¶

在 pandas 裡頭最實用的選取技巧大概非遮罩（masking）莫屬了。遮罩讓 pandas 將符合特定條件的樣本回傳：

male_and_age_over_70 是我們定義的一個遮罩，可以把同時符合兩個布林判斷式（大於 70 歲、男性）的樣本選取出來。上面註解有相同效果，但當存在多個判斷式時，有個準確說明遮罩意義的變數（上例的 male_and_age_over_70）會讓你的程式碼好懂一點。

另外你也可以使用 query 函式來達到跟遮罩一樣的效果：

在這個例子裡頭，你可以使用 @ 來存取已經定義的 Python 變數 age 的值。

選擇任一欄有空值的樣本¶

一個 DataFrame 裡常會有多個欄位（column），而每個欄位裡頭都有可能包含空值。

有時候你會想把在任一欄位（column）出現過空值的樣本（row）全部取出：

這邊剛好所有樣本的 Cabin 欄位皆為空值。但倒數第 2 個樣本就算其 Cabin 欄不為空值，也會因為 Age 欄為空而被選出。

選取或排除特定類型欄位¶

有時候你會想選取 DataFrame 裡特定數據類型（字串、數值、時間型態等）的欄位，這時你可以使用 select_dtypes 函式：

上面我們用一行程式碼就把所有數值欄位取出，儘管我們根本不知道有什麼欄位。而你當然也可以利用 exclude 參數來排除特定類型的欄位：

pandas 裡的函式使用上都很直覺，你可以丟入 1 個包含多個元素的 Python list 或是單一 str 作為參數輸入。

選取所有出現在 list 內的樣本¶

很多時候針對某一個特定欄位，你會想要取出所有出現在一個 list 的樣本。這時候你可以使用 isin 函式來做到這件事情：

選取某欄位為 top-k 值的樣本¶

很多時候你會想選取在某個欄位中前 k 大的所有樣本。這時你可以先利用 value_counts 函式找出該欄位前 k 多的值：

這邊我們以欄位 Ticket 為例。另外你也可以使用 pandas.Series 裡的 nlargest 函式取得相同結果：

接著利用上小節看過的 isin 函式就能輕鬆取得 Ticket欄位值為前 k 大值的樣本：

找出符合特定字串的樣本¶

有時你會想要對一個字串欄位做正規表示式（regular expression），取出符合某個 pattern 的所有樣本。

這時你可以使用 str 底下的 contains 函式：

這邊我們將所有 Name 欄位值裡包含 Mr. 的樣本取出。注意 contains 函式接受的是正規表示式，因此需要將 . 轉換成 \.。

使用正規表示式選取數據¶

有時候你會想要依照一些規則來選取 DataFrame 裡頭的值、索引或是欄位，尤其是在處理跟時間序列相關的數據：

假設你想將所有索引在 2000 年 2 月內的樣本取出，則可以透過 filter 函式達成這個目的：

filter 函式本身功能十分強大，有興趣的讀者可以閱讀官方文件進一步了解其用法。

選取從某時間點開始的區間樣本¶

在處理時間數據時，很多時候你會想要針對某個起始時間挑出前 t 個時間點的樣本。

讓我們再看一次剛剛建立的 DataFrame：

在索引為時間型態的情況下，如果你想要把前 3 週的樣本取出，可以使用 first 函式：

十分方便的函式。

基本數據處理與轉換¶

在了解如何選取想要的數據以後，你可以透過這節的介紹來熟悉 pandas 裡一些常見的數據處理方式。這章節也是我認為使用 pandas 處理數據時最令人愉快的部分之一。

對某一軸套用相同運算¶

你時常會需要對 DataFrame 裡頭的每一個欄位（縱軸）或是每一列（橫軸）做相同的運算。

比方說你想將鐵達尼號資料集內的 Survived 數值欄位轉換成人類容易理解的字串：

透過 apply 函式，我們把一個匿名函式 lambda 套用到整個 df.Survived Series 之上，並以此建立一個新的 存活 欄位。

值得一提的是當你需要追加新的欄位但又不想影響到原始 DataFrame 時，可以使用 copy 函式複製一份副本另行操作。

對每一個樣本做自定義運算¶

上小節我們用 apply 函式對 DataFrame 裡頭的某個 Series 做運算並生成新欄位：

df[new_col] = df.Survived.apply(...

不過你時常會想要把樣本（row）裡頭的多個欄位一次取出做運算並產生一個新的值。這時你可以自定義一個 Python function 並將 apply 函式套用到整個 DataFrame 之上：

此例中 apply 函式將 generate_desc 函式個別套用到 DataFrame 裡頭的每一個樣本（row），結合 Sex 及 Age 兩欄位資訊，生成新的 描述。

當然，將 axis 設置為 0 則可以對每一個欄位分別套用自定義的 Python function。

將連續數值轉換成分類數據¶

有時你會想把一個連續數值（numerical）的欄位分成多個 groups 以方便對每個 groups 做統計。這時候你可以使用 pd.cut 函式：

如上所示，使用 pd.cut 函式建立出來的每個分類 族群 X 有大小之分，因此你可以輕易地使用 sort_values 函式排序樣本。

將 DataFrame 隨機切成兩個子集¶

有時你會想將手上的 DataFrame 隨機切成兩個獨立的子集。選取其中一個子集來訓練機器學習模型是一個常見的情境。

要做到這件事情有很多種方法，你可以使用 scikit-learn 的 train_test_split 或是 numpy 的 np.random.randn，但假如你想要純 pandas 解法，可以使用 sample 函式：

這個解法的前提是原來的 DataFrame df_titanic 裡頭的索引是獨一無二的。另外記得設定 random_state 以方便別人重現你的結果。

用 SQL 的方式合併兩個 DataFrames¶

很多時候你會想要將兩個 DataFrames 依照某個共通的欄位（鍵值）合併成單一 DataFrame 以整合資訊。

比方說給定以下兩個 DataFrames：

DataFrame df_city 包含了幾個美國城市以及其對應的州名（state）；DataFrame df_info 則包含城市名稱以及一些數據。如果你想將這兩個 DataFrames 合併（merge），可以使用非常方便的 merge 函式：

沒錯，merge 函式運作方式就像 SQL 一樣，可以讓你透過更改 how 參數來做：

• left：left outer join
• right：right outer join
• outer: full outer join
• inner： inner join

注意合併後的 DataFrame 的最後一列：因為是 left join，就算右側的 df_info 裡頭並沒有紐約市的資訊，我們也能把該城市保留在 merge 後的結果。你還可以透過 indicator=True 的方式讓 pandas 幫我們新增一個 _merge 欄位，輕鬆了解紐約市只存在左側的 df_city 裡。

merge 函式強大之處在於能跟 SQL 一樣為我們抽象化如何合併兩個 DataFrames 的運算。如果你想要了解 SQL 跟 Python 本質上的差異，可以參考為何資料科學家需要學習 SQL 一文。

存取並操作每一個樣本¶

我們前面看過，雖然一般可以直接使用 apply 函式來對每個樣本作運算，有時候你就是會想用 for 迴圈的方式把每個樣本取出處理。

這種時候你可以用 itertuples 函式：

顧名思義，itertuples 函式回傳的是 Python namedtuple，也是一個你應該已經很熟悉的資料型態：

簡單匯總 & 分析數據¶

在對數據做些基本處理以後，你會想要從手上的 DataFrame 匯總或整理出一些有用的統計數據。本節介紹一些常用的數據匯總技巧。

取出某欄位 top k 的值¶

這你在選取某欄位為 top-k 值的樣本小節應該就看過了。

但因為這個使用情境實在太常出現，讓我們再次嘗試將鐵達尼號數據集裡頭 Ticket 欄位最常出現的值取出：

value_counts 函式預設就會把欄位裡頭的值依照出現頻率由高到低排序，因此搭配 head 函式就可以把最常出現的 top k 值選出。

一行描述數值欄位¶

當你想要快速了解 DataFrame 裡所有數值欄位的統計數據（最小值、最大值、平均和中位數等）時可以使用 describe 函式：

你也可以用取得想要關注的數據一節的技巧來選取自己關心的統計數據：

找出欄位裡所有出現過的值¶

針對特定欄位使用 unique 函式即可：

分組匯總結果¶

很多時候你會想要把 DataFrame 裡頭的樣本依照某些特性分門別類，並依此匯總各組（group）的統計數據。這種時候你可以用 groupby 函式。

讓我們再次拿出鐵達尼號數據集：

你可以將所有乘客（列）依照它們的 Pclass 欄位值分組，並計算每組裡頭乘客們的平均年齡：

你也可以搭配剛剛看過的 describe 函式來匯總各組的統計數據：

你也可以依照多個欄位分組，並利用 size 函式迅速地取得各組包含的樣本數：

你也可以用 agg 函式（aggregate，匯總）搭配 groupby 函式來將每一組樣本依照多種方式匯總：

透過 unstack 函式能讓你產生跟 pivot_table 函式相同的結果：

當然，你也可以直接使用 pivot_table 函式來匯總各組數據：

依照背景不同，每個人會有偏好的 pandas 使用方式。選擇對你來說最直覺又好記的方式吧！

結合原始數據與匯總結果¶

不管是上節的 groupby 搭配 agg 還是 pivot_table，匯總結果都會以另外一個全新的 DataFrame 表示。

有時候你會想直接把各組匯總的結果放到原本的 DataFrame 裡頭，方便比較原始樣本與匯總結果的差異。這時你可以使用 transform 函式：