数据去重

数据清洗工作主要包含文件类型清洗、内容格式清洗、缺失值清洗、数据去重和其他五个方面： 将文件中的内容清洗成统一格式，例如将显示不一致的时间、日期、数值