CSV 重複資料處理指南
如何安全刪除 CSV 中的重複資料
先定義什麼才算重複。完全相同的紀錄可比對全部欄位；同一訂單或客戶只留一筆時，選擇一個以上的鍵值欄位。相同鍵值會保留輸入順序中的第一筆。
範例：每個訂單編號只留一筆
系統匯出時 O-102 重複出現。若要保留最新資料，應先依更新時間降冪排序，再刪除重複資料。
- 判斷欄位：訂單編號
- 區分英文大小寫
- 保留第一次出現的資料
包含重複資料的 CSV
若只選訂單編號，其他欄位即使不同也會視為同一訂單。
訂單編號,客戶,金額_TWD,狀態
O-101,星河商行,12800,已付款
O-102,海風材料,8400,已付款
O-102,海風材料,8400,已付款
O-103,青田食品,6200,待處理刪除重複後的 CSV
第一筆 O-102 保留下來。原有 4 筆資料，其中 3 筆保留，1 筆因重複而排除。
訂單編號,客戶,金額_TWD,狀態
O-101,星河商行,12800,已付款
O-102,海風材料,8400,已付款
O-103,青田食品,6200,待處理刪除重複資料的步驟
確認結果前不要覆寫原始檔。
- 開啟「刪除重複資料」，選擇 50MiB 以下的 CSV。
- 確認編碼、分隔符號、標題列與預覽。
- 選擇比對全部欄位或一個以上鍵值欄位。
- 設定是否區分大小寫並執行。
- 下載前，確認每筆原始資料都已保留或因重複而排除。
確認留下的資料
先確認每筆原始資料都有去向，再抽樣查看留下的是不是正確版本。
- 每筆原始資料都已保留或因重複而排除
- 相同鍵值保留第一筆
- 空值與空值視為相同
- 不會自動清除前後空白或轉換全形半形
常見錯誤
這項功能不會做模糊比對或自動整理名稱。
- 只用客戶名稱而誤刪不同客戶
- 忽略 O-102 與 o-102 的大小寫設定
- 尾端空白造成鍵值不同
- 想留最新資料卻沒有先排序
何時適合使用
用來減少重複紀錄；依條件保留資料應用篩選，多檔上下堆疊則用垂直合併。
- 適合：穩定的訂單編號或客戶 ID
- 適合：完全相同資料
- 先排序：控制要保留的版本
- 不適合：名稱或地址的模糊歸戶