CSV文件数据清洗与格式转换教程：Python实现行删除、分隔符及编码转换

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

CSV文件数据清洗与格式转换教程：Python实现行删除、分隔符及编码转换

2025-12-09

浏览次数：次

返回列表

CSV文件数据清洗与格式转换教程：Python实现行删除、分隔符及编码转换

本教程详细介绍了如何使用python的`csv`模块对csv文件进行数据清洗和格式转换。内容涵盖了如何删除特定行、替换数据字段内的字符、更改文件分隔符以及实现utf-16到utf-8的编码转换。通过逐行处理数据，本教程提供了一个高效且内存友好的解决方案，并纠正了常见的编程错误，旨在帮助用户构建健壮的csv处理脚本。

引言：CSV文件处理的常见挑战

在数据处理工作中，CSV（逗号分隔值）文件因其简洁性而广泛应用。然而，由于数据来源的多样性，我们经常需要对CSV文件进行清洗、格式化和编码转换。这可能包括删除不必要的行、统一分隔符、替换特定字符，以及处理不同的文件编码。本教程将通过一个具体的案例，详细讲解如何利用Python的csv模块高效地完成这些任务。

核心需求分析

假设我们有一个名为input.csv的CSV文件，需要对其进行以下转换以生成一个新的output.csv文件：

删除前导无效行： 移除文件开头的一些空行或包含无效数据的行（例如，只有连字符的行）。
添加新文件头： 在输出文件中加入自定义的列标题。
更改分隔符： 将原始的逗号(,)分隔符替换为分号(;)。
替换字段内字符： 将数据字段中所有的连字符(-)替换为分号(;)。
编码转换： 将原始文件的UTF-16编码转换为UTF-8编码。
生成新文件： 在保留原文件的同时，创建一个处理后的新文件。

Python csv模块基础

Python内置的csv模块是处理CSV文件的强大工具。它能够妥善处理各种分隔符、引号规则和换行符，避免了手动解析文本可能遇到的复杂问题。

csv.reader(file_object, delimiter)：用于读取CSV文件，delimiter参数指定输入文件的分隔符。
csv.writer(file_object, delimiter, newline='')：用于写入CSV文件，delimiter参数指定输出文件的分隔符。newline=''是推荐设置，用于防止在Windows系统上写入额外的空行。

解决方案：逐步实现CSV文件转换

我们将构建一个Python脚本，以流式处理的方式（即逐行读取和写入）来完成上述所有需求，从而避免将整个文件加载到内存中，这对于处理大型文件尤其重要。

1. 文件打开与编码处理

首先，我们需要同时打开输入文件和输出文件。输入文件使用其原始编码（UTF-16），而输出文件则指定为目标编码（UTF-8）。使用单个with语句管理多个文件句柄是最佳实践，确保文件在处理完成后被正确关闭。

import csv

input_file_path = 'input.csv'
output_file_path = 'output.csv'
new_header = ['column1', 'column2', 'column3', 'column4', 'column5', 'column6', 'column7', 'column8']

with open(input_file_path, 'r', encoding="utf-16") as read_file, \
     open(output_file_path, 'w', newline='', encoding="utf-8") as write_file:

    reader = csv.reader(read_file, delimiter=",")
    writer = csv.writer(write_file, delimiter=";")

    # 写入新文件头
    writer.writerow(new_header)

    # 后续处理逻辑将在此处添加

2. 过滤无效行

原始文件可能包含空行、只有连字符的行或其他无效数据。一种简单而有效的方法是检查行的字段数量。如果一行没有逗号分隔符，csv.reader通常会将其解析为一个只包含一个元素的列表（即原始行内容作为一个字段）。我们可以利用这个特性来过滤掉这些不含有效数据的行。

    # ... (前面的文件打开和writer.writerow代码)

    for row in reader:
        # 过滤掉只有单个字段的行，这些行通常是空行或不含分隔符的无效行
        if len(row) == 1 and not row[0].strip(): # 进一步检查是否为空字符串
            continue

        # 也可以根据更具体的模式过滤，例如只包含连字符的行
        # if len(row) == 1 and all(c == '-' for c in row[0].strip()):
        #     continue

        # 假设前10行是无效的，也可以使用enumerate硬编码跳过
        # if reader.line_num <= 10: # line_num从1开始计数
        #     continue

        # 后续的数据处理和写入逻辑将在此处添加

3. 数据字段内字符替换与写入

在处理每一行数据时，我们需要遍历该行的每个字段，并将字段内的连字符(-)替换为分号(;)。这可以通过列表推导式高效完成。完成替换后，将新行写入输出文件。

GemDesign

AI高保真原型设计工具

652 查看详情 GemDesign

    # ... (前面的文件打开、writer.writerow和过滤逻辑)

    for row in reader:
        # 过滤逻辑 (同上)
        if len(row) == 1 and not row[0].strip():
            continue

        # 替换数据字段中的连字符
        new_row = [field.replace('-', ';') for field in row]

        # 将处理后的行写入输出文件
        writer.writerow(new_row)

完整示例代码

将以上所有步骤整合，形成一个完整的Python脚本：

import csv

def process_csv_file(input_path, output_path, new_header_columns):
    """
    处理CSV文件，执行以下操作：
    1. 删除前导无效行（基于字段数量判断）。
    2. 添加新的文件头。
    3. 更改分隔符从逗号(,)到分号(;)。
    4. 替换数据字段中所有的连字符(-)为分号(;)。
    5. 转换文件编码从UTF-16到UTF-8。

    Args:
        input_path (str): 输入CSV文件的路径。
        output_path (str): 输出CSV文件的路径。
        new_header_columns (list): 包含新文件头列名的列表。
    """
    try:
        with open(input_path, 'r', encoding="utf-16") as read_file, \
             open(output_path, 'w', newline='', encoding="utf-8") as write_file:

            reader = csv.reader(read_file, delimiter=",")
            writer = csv.writer(write_file, delimiter=";")

            # 1. 写入新文件头
            writer.writerow(new_header_columns)

            # 2. 逐行读取、过滤、处理和写入
            for row in reader:
                # 过滤逻辑：跳过空行或只有单个字段（且内容为空或全为连字符）的行
                # 这种过滤方式假设有效数据行至少包含两个字段
                # 或者包含非空白的单个字段
                if len(row) == 0: # 真正的空行，csv.reader可能解析为[]
                    continue
                if len(row) == 1 and not row[0].strip(): # 只有一个字段且内容为空白
                    continue
                if len(row) == 1 and all(c == '-' for c in row[0].strip()): # 只有一个字段且全为连字符
                    continue

                # 3. 替换数据字段中的连字符
                processed_row = [field.replace('-', ';') for field in row]

                # 4. 写入处理后的行
                writer.writerow(processed_row)

        print(f"CSV文件处理完成：'{input_path}' 已转换为 '{output_path}'")
    except FileNotFoundError:
        print(f"错误：文件 '{input_path}' 未找到。")
    except Exception as e:
        print(f"处理文件时发生错误：{e}")

# 示例用法
input_csv_file = 'input.csv'
output_csv_file = 'output.csv'
custom_header = ['cars', 'Date', 'Daypart', 'Avg_000', 'Share'] # 根据实际数据调整列名

# 运行处理函数
process_csv_file(input_csv_file, output_csv_file, custom_header)

input.csv 示例内容 (用于测试上述代码):

empty line
empty line
empty line
empty line
empty line
------------------------------------
empty line
empty line
empty line
cars,Date,Daypart,'000 (*g),Share (excluded: Other))
car1,2025-01-01,02:00-02:00,24.459,4.3
car1,2025-01-01,02:01-02:01,20.967,3.7
car1,2025-01-01,02:02-02:02,20.967,3.8
car1,2025-01-01,02:03-02:03,13.029,2.3
car1,2025-01-01,02:04-02:04,13.029,2.3
car1,2025-01-01,02:05-02:05,10.621,1.9
car1,2025-01-01,02:06-02:06,10.621,2.0
car1,2025-01-01,02:07-02:07,10.621,2.0
car1,2025-01-01,02:08-02:08,10.621,2.0

请注意，input.csv文件需要以UTF-16编码保存。

注意事项与最佳实践

错误处理：
- AttributeError: 'list' object has no attribute 'split'： 这个错误通常发生在尝试对一个列表对象调用字符串的split()方法时。例如，lines = list(); lines.split('-')。正确的做法是对列表中的每个字符串元素单独调用split()或replace()。
- ValueError: I/O operation on closed file.： 这个错误表明你试图在一个已经关闭的文件句柄上执行I/O操作。with open(...) as file:语句块会在代码块执行完毕后自动关闭文件。若要在块外部访问文件内容，需要将内容读取到内存变量中，或重新打开文件。本教程的流式处理方法通过在同一个with块中完成所有读写，有效避免了此问题。
内存效率： 本教程采用逐行处理的方式，即每次只读取一行、处理一行、写入一行。这种方法避免了将整个文件内容一次性加载到内存中，对于处理大型CSV文件至关重要，可以有效防止内存溢出。
灵活性： 过滤无效行的方法可以根据实际情况进行调整。除了检查len(row)，还可以：
- 基于行号： 使用enumerate或reader.line_num跳过固定的前N行。
- 基于内容模式： 使用正则表达式检查行内容是否符合特定模式。
- 基于数据类型： 尝试将某些字段转换为预期的数据类型（如float或int），如果转换失败则跳过该行。例如：
```
try:
    _ = float(row[-1]) # 尝试将最后一列转换为浮点数
except ValueError:
    continue # 如果转换失败，则跳过此行
```
编码： 务必确保在打开文件时指定正确的encoding参数。如果原始文件编码不确定，可以尝试常见的编码（如utf-8、latin-1、gbk等），或使用chardet等库进行自动检测。

总结

通过本教程，我们学习了如何使用Python的csv模块高效、健壮地处理CSV文件。我们掌握了删除无效行、添加新文件头、更改分隔符、替换字段内字符以及转换文件编码的技巧。通过流式处理和正确的错误处理实践，我们可以构建出可靠且高性能的数据预处理脚本，以应对各种复杂的CSV数据处理需求。

以上就是CSV文件数据清洗与格式转换教程：Python实现行删除、分隔符及编码转换的详细内容，更多请关注其它相关文章！

# 数据处理 # 谷歌推广网站需要留表单吗 # 西宁网站建设机构 # 南阳网站推广徽信xiala5 # 网络营销推广优化方案 # 优化营商环境发布网站 # 手机网站应该如何优化 # 网站建设推广哪家强一点 # 汽修厂做营销推广 # 邮乐网营销推广方式 # 急招黑帽SEO大牛 # 流式 # 句柄 # 将在 # 格式转换 # python # 转换为 # 跳过 # 新文件 # 分隔符 # pyth # csv文件 # windows系统 # 数据清洗 # win # csv # 工具 # 编码 # windows # 正则表达式

相关栏目：【科技资讯46185 】【网络学院92790 】

上一篇：QQ邮箱怎么导出邮件 QQ邮箱通讯录和邮件备份教程

下一篇：《海马云电脑》体验码1000金币

首页

关于我们

产品展示

咨询研究

新闻中心

留言板

联系我们

新闻中心 NEWS CENTER

CSV文件数据清洗与格式转换教程：Python实现行删除、分隔符及编码转换

引言：CSV文件处理的常见挑战

核心需求分析

Python csv模块基础

解决方案：逐步实现CSV文件转换

1. 文件打开与编码处理

2. 过滤无效行

3. 数据字段内字符替换与写入

完整示例代码

注意事项与最佳实践

总结