CSV 重复数据处理指南
如何安全删除 CSV 中的重复行
先确定什么算重复。完全相同的记录可以比较全部列；同一订单或客户只保留一行时，请选择一个或多个关键列。相同键值会保留输入顺序中的第一行。
示例：每个订单号只保留一行
系统导出时 O-102 出现两次。若要保留最新记录，应先按更新时间降序排列，再删除重复行。
- 判断列：订单号
- 区分大小写
- 保留第一次出现的记录
含重复行的 CSV
如果只选择订单号，即使其他列不同，也会被视为同一个订单。
订单号,客户,金额_CNY,状态
O-101,星河商贸,1280,已付款
O-102,海风材料,840,已付款
O-102,海风材料,840,已付款
O-103,青田食品,620,待处理删除重复后的 CSV
第一条 O-102 被保留。原有 4 行，其中 3 行保留，1 行因重复而排除。
订单号,客户,金额_CNY,状态
O-101,星河商贸,1280,已付款
O-102,海风材料,840,已付款
O-103,青田食品,620,待处理删除重复行的步骤
确认结果前不要覆盖原文件。
- 打开“重复删除”，选择不超过 50MiB 的 CSV。
- 确认编码、分隔符、表头和预览。
- 选择比较全部列或一个以上关键列。
- 设置是否区分大小写并执行。
- 下载前，确认每个输入行都已保留或因重复而排除。
检查保留的行
先确认每个输入行都有去向，再抽样检查保留的是不是正确版本。
- 每个输入行都已保留或因重复而排除
- 相同键值保留第一行
- 空值之间视为相同
- 不会自动清理前后空格或转换全角半角
常见错误
重复删除不会模糊匹配或自动清洗名称。
- 只用客户名导致误删
- 忽略 O-102 与 o-102 的大小写设置
- 末尾空格产生不同键值
- 想保留最新记录却没有先排序
适用场景
用于减少重复记录；按条件保留数据请用行筛选，多文件上下堆叠请用纵向合并。
- 适合：稳定的订单号或客户 ID
- 适合：完全相同的行
- 先排序：控制保留版本
- 不适合：姓名或地址的模糊归并