Python实战：高效处理不规范文本文件并转换为CSV

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python实战：高效处理不规范文本文件并转换为CSV

2025-10-31

浏览次数：次

返回列表

Python实战：高效处理不规范文本文件并转换为CSV

本教程详细阐述了如何使用python和正则表达式处理结构不规则、空格分隔的文本文件，并将其转换为规范的csv格式。针对传统解析方法失效的“坏”文本文件，文章提供了一种自定义解析策略，通过智能识别和替换空格序列为制表符，有效解决字段边界模糊和字段内空格干扰的问题，确保数据准确提取。

引言：不规范文本文件的挑战

在数据处理中，我们经常会遇到格式不规范的文本文件，尤其是一些遗留系统或人工生成的报告。这类文件通常使用空格作为字段分隔符，但其“不规范”之处在于：

不一致的空格数量：不同字段之间的空格数量可能不固定。
字段内包含空格：某些字段本身的值中可能包含空格，这些空格可能被误识别为分隔符。
空字段表示：空字段可能通过多个连续空格来表示，其长度与其他字段分隔符的空格长度相似，难以区分。

当遇到此类“坏”文本文件时，诸如pandas.read_csv等标准库函数，即使尝试使用sep='\t'或sep=r'\s{2,}'等参数，也往往难以准确解析，导致数据错位或合并。这要求我们采用更灵活、更具上下文感知能力的自定义解析方法。

自定义解析策略：Python与正则表达式

解决这类问题的核心在于利用Python的正则表达式（re模块）进行精细化匹配和替换。我们的目标是将不规则的空格序列转换为统一的制表符（\t），从而可以使用制表符作为可靠的分隔符来拆分字段。

1. 文件读取与初步处理

首先，我们需要逐行读取文本文件，并对每行进行基本的清理，例如移除行尾的换行符。

import re
import pandas as pd
import csv # 也可以使用 csv 模块进行输出

def parse_bad_txt_to_table(filepath):
    table = []
    with open(filepath, 'r', encoding='utf-8') as f:
        lines = f.readlines()

    for i, line in enumerate(lines):
        line = line.rstrip('\n') # 移除行尾换行符
        # ... 后续解析逻辑

2. 头部行解析

通常，文件的第一行是标题行（Header）。标题行中的字段名通常不会包含内部空格，因此我们可以相对简单地通过两个或更多空格来拆分它。

        if i == 0:
            # 标题行：通过两个或更多空格进行拆分
            row = re.split(r' {2,}', line)
            table.append(row)
            continue

3. 处理空白行

在某些不规范文件中，标题行和数据行之间可能存在一个或多个空白行。我们需要跳过这些空白行，以避免它们干扰数据解析。

Musho

AI网页设计Figma插件

76 查看详情 Musho

        if i == 1: # 假设第二行是空白行
            if line.strip() != '': # 增加一个检查，确保确实是空白行
                print(f"Warning: Expected blank line at index 1, found: '{line}'")
            continue

4. 数据行解析的核心：智能替换函数

数据行的解析是整个过程最复杂的部分，因为我们需要区分字段分隔符和字段内部的空格。这里我们使用re.sub()函数结合一个自定义的替换函数（replfunc）来实现。replfunc会根据匹配到的空格序列的长度及其上下文来决定如何替换。

        # 数据行解析
        def replfunc(mo):
            L = len(mo.group(0)) # 匹配到的空格序列的长度
            start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置

            # 特殊情况处理：字段内部的空格
            # 示例中发现 "Rejected at  level." 这种模式，两个空格是字段值的一部分
            if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'):
                return ' ' # 替换为单个空格，而不是分隔符

            # 其他情况，根据空格序列长度判断为字段分隔符
            # 这里的逻辑高度依赖于具体数据文件的空格模式，需要根据实际情况调整
            if L < 2:
                # 理论上，如果正则表达式是 r'\s{2,}'，不应该匹配到少于2个空格
                return mo.group(0) # 保留原始匹配，或抛出错误
            elif 2 <= L <= 12:
                return '\t' # 替换为单个制表符
            elif L == 17:
                return '\t\t' # 替换为两个制表符，表示中间有一个空字段
            elif L == 43:
                return '\t\t\t' # 替换为三个制表符
            elif L == 61:
                return '\t\t\t\t\t' # 替换为五个制表符
            elif L == 120 or L == 263:
                return '\t' # 替换为单个制表符
            else:
                # 捕获未处理的空格序列长度，方便调试和后续调整
                print(f"Warning: Unhandled space run length {L} at line {i+1}: '{line}'")
                return '\t' # 默认替换为单个制表符

        tabbed_line = re.sub(r'\s{2,}', replfunc, line) # 使用 replfunc 替换所有两个或更多空格的序列
        row = tabbed_line.split('\t') # 最终通过制表符拆分字段
        table.append(row)

    return table

replfunc的关键点：

它接收一个匹配对象mo，通过mo.group(0)获取匹配到的字符串（即连续的空格）。
L是空格序列的长度。
通过line[:start]和line[end:]检查匹配位置前后的文本，实现上下文感知。这是识别字段内空格的关键。
对于被识别为字段分隔符的空格序列，根据其长度替换为不同数量的制表符。例如，如果一个长空格序列实际上代表了两个空字段，则替换为\t\t。这使得即使原始数据中没有显式的分隔符，也能正确生成空字段。

5. 构建数据表格

经过上述处理，每行数据都被转换成了一个字段列表。我们将这些列表存储在一个更大的列表（table）中，形成一个二维数据结构。

完整代码示例

将上述逻辑整合，形成一个完整的Python函数：

import re
import pandas as pd

def parse_bad_txt_to_table(filepath):
    """
    解析不规范的空格分隔文本文件，并返回一个二维列表（表格）。
    """
    table = []
    try:
        with open(filepath, 'r', encoding='utf-8') as f:
            lines = f.readlines()
    except FileNotFoundError:
        print(f"Error: File not found at {filepath}")
        return []
    except Exception as e:
        print(f"Error reading file {filepath}: {e}")
        return []

    for i, line in enumerate(lines):
        line = line.rstrip('\n') # 移除行尾换行符

        if i == 0:
            # 标题行：通过两个或更多空格进行拆分
            row = re.split(r' {2,}', line)
            table.append(row)
            continue

        if i == 1:
            # 假设第二行是空白行，跳过
            if line.strip() != '':
                print(f"Warning: Expected blank line at index 1, found: '{line}'")
            continue

        # 数据行解析
        def replfunc(mo):
            L = len(mo.group(0)) # 匹配到的空格序列的长度
            start, end = mo.span() # 匹配到的空格序列在原始行中的起始和结束位置

            # 特殊情况处理：字段内部的空格，例如 "Rejected at  level."
            if L == 2 and line[:start].endswith('Rejected at') and line[end:].startswith('level.'):
                return ' ' # 替换为单个空格，作为字段值的一部分

            # 否则，根据空格序列长度判断为字段分隔符
            if L < 2:
                # 如果 r'\s{2,}' 匹配到少于2个空格，这表示正则表达式可能需要调整
                return mo.group(0) 
            elif 2 <= L <= 12:
                return '\t'
            elif L == 17:
                return '\t\t'
            elif L == 43:
                return '\t\t\t'
            elif L == 61:
                return '\t\t\t\t\t'
            elif L == 120 or L == 263:
                return '\t'
            else:
                # 捕获并警告未处理的空格序列长度，有助于调试
                print(f"Warning: Unhandled space run length {L} at line {i+1}: '{line}'")
                return '\t' # 默认替换为单个制表符

        tabbed_line = re.sub(r'\s{2,}', replfunc, line)
        row = tabbed_line.split('\t')
        table.append(row)

    return table

# --- 示例用法 ---
# 假设 'input.txt'