Python YAML文件特定键值重复项查找教程_石家庄创泽智能科技有限公司

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Python YAML文件特定键值重复项查找教程

2025-12-03

浏览次数：次

返回列表

Python YAML文件特定键值重复项查找教程

本教程旨在指导读者如何使用python及其pyyaml库，高效地识别yaml文件中特定键值组合的重复项。我们将聚焦于一个常见场景：查找ip地址相同且类型也相同的重复记录。通过详细的代码示例和逻辑解析，您将学会如何加载yaml数据、遍历条目并实现精确的重复项检测，最终生成清晰的重复报告。

引言：YAML文件中的重复数据识别

在数据管理和配置场景中，YAML（YAML Ain't Markup Language）因其简洁和可读性而广受欢迎。然而，随着YAML文件规模的增长，识别和处理其中的重复数据变得至关重要。本教程将解决一个具体问题：如何在一个包含多个记录的YAML列表中，找出IP地址相同且其关联的type字段也完全一致的重复条目。例如，如果IP 1.1.1.1出现两次，且两次的type都是typeA，则应将其标记为重复。

准备工作：安装PyYAML库

要处理YAML文件，Python生态系统中最常用且功能强大的库是PyYAML。如果您的环境中尚未安装，可以通过以下命令进行安装：

pip install pyyaml

核心逻辑：Python脚本实现

我们将编写一个Python脚本来完成重复项的检测。其核心思路是：首先加载YAML文件内容，然后遍历其中的每个条目，利用一个字典来记录已遇到的IP地址及其对应的类型。当遇到一个IP地址时，检查它是否已在字典中，并且其类型是否与字典中记录的类型一致。

1. 加载YAML文件

首先，我们需要打开并加载YAML文件。pyyaml库提供了yaml.safe_load()函数，可以安全地解析YAML内容并将其转换为Python对象（通常是列表或字典）。

import yaml

# 假设您的YAML文件名为 'myyaml.yaml'
with open('myyaml.yaml', 'r') as file:
    data = yaml.safe_load(file)

2. 遍历数据并检测重复项

加载数据后，data变量将包含一个Python列表，其中每个元素都是一个字典，代表YAML文件中的一个条目。我们将创建一个字典ip_type_map来存储我们已经处理过的IP地址及其对应的类型。

遍历逻辑如下：

对于列表中的每个条目：
- 检查条目是否有效，并且包含ip和type键。
- 提取当前条目的ip和type。
- 关键判断： 检查当前的ip是否已存在于ip_type_map中，并且ip_type_map中存储的type是否与当前条目的type相同。
  - 如果两者都满足，则表示我们找到了一个满足条件的重复项，此时可以打印或记录该信息。
  - 如果不满足（即ip是第一次出现，或者ip已出现但type不同），则将当前ip和type的组合更新到ip_type_map中。这样，ip_type_map始终保存的是每个IP地址最近一次出现的类型。

3. 完整示例代码

将上述步骤整合，形成完整的Python脚本：

Remover

几秒钟去除图中不需要的元素

304 查看详情 Remover

import yaml
import os

def find_duplicated_ips_with_same_type(yaml_file_path):
    """
    查找YAML文件中IP地址相同且类型也相同的重复条目。

    Args:
        yaml_file_path (str): YAML文件的路径。

    Returns:
        list: 包含重复IP和类型信息的字符串列表。
    """
    if not os.path.exists(yaml_file_path):
        print(f"错误: 文件 '{yaml_file_path}' 不存在。")
        return []

    try:
        with open(yaml_file_path, 'r', encoding='utf-8') as file:
            data = yaml.safe_load(file)
    except yaml.YAMLError as e:
        print(f"错误: 解析YAML文件时发生错误: {e}")
        return []
    except Exception as e:
        print(f"错误: 读取文件时发生未知错误: {e}")
        return []

    if not isinstance(data, list):
        print("警告: YAML文件根结构不是列表，可能无法按预期处理。")
        return []

    # 用于记录已遇到的IP及其最新类型
    # 键为IP地址，值为对应的类型
    ip_type_map = {}
    # 用于存储已报告的重复项，避免重复打印相同的(IP, Type)组合
    reported_duplicates = set()

    duplicate_results = []

    for entry in data:
        # 确保条目是字典且包含'ip'和'type'键
        if isinstance(entry, dict) and 'ip' in entry and 'type' in entry:
            ip = entry['ip']
            entry_type = entry['type']

            # 检查IP是否已在map中，并且其类型是否与当前条目类型一致
            if ip in ip_type_map and entry_type == ip_type_map[ip]:
                duplicate_key = (ip, entry_type)
                if duplicate_key not in reported_duplicates:
                    result_message = f"IP {ip}, {entry_type} duplicate"
                    duplicate_results.append(result_message)
                    reported_duplicates.add(duplicate_key) # 标记为已报告
            else:
                # 如果是新IP，或者IP已存在但类型不同，则更新map
                ip_type_map[ip] = entry_type
        else:
            print(f"警告: YAML数据中发现无效条目或缺少'ip'/'type'键: {entry}")

    return duplicate_results

# 示例YAML数据，保存为 'myyaml.yaml'
# -
#     ip: 1.1.1.1
#     status: Active
#     type: 'typeA'
# -
#     ip: 1.1.1.1
#     status: Disabled
#     type: 'typeA'
# -
#     ip: 2.2.2.2
#     status: Active
#     type: 'typeC'
# -
#     ip: 3.3.3.3
#     status: Active
#     type: 'typeB'
# -
#     ip: 3.3.3.3
#     status: Active
#     type: 'typeC'
# -
#     ip: 2.2.2.2
#     status: Active
#     type: 'typeC'
# -

if __name__ == "__main__":
    yaml_file = 'myyaml.yaml' # 替换为您的YAML文件路径

    # 创建一个示例YAML文件用于测试
    example_yaml_content = """
-
    ip: 1.1.1.1
    status: Active
    type: 'typeA'
-
    ip: 1.1.1.1
    status: Disabled
    type: 'typeA'
-
    ip: 2.2.2.2
    status: Active
    type: 'typeC'
-
    ip: 3.3.3.3
    status: Active
    type: 'typeB'
-
    ip: 3.3.3.3
    status: Active
    type: 'typeC'
-
    ip: 2.2.2.2
    status: Active
    type: 'typeC'
-
"""
    with open(yaml_file, 'w', encoding='utf-8') as f:
        f.write(example_yaml_content)
    print(f"已创建示例文件: {yaml_file}")

    duplicates = find_duplicated_ips_with_same_type(yaml_file)
    if duplicates:
        print("\n发现以下重复项:")
        for dup in duplicates:
            print(dup)
    else:
        print("\n未发现符合条件的重复项。")

    # 清理示例文件
    # os.remove(yaml_file)
    # print(f"已删除示例文件: {yaml_file}")

如何运行脚本

将上述代码保存为一个.py文件，例如find_duplicates.py。
确保您的YAML文件（例如myyaml.yaml）与Python脚本在同一目录下，或者在脚本中将yaml_file变量替换为您的YAML文件的实际路径。
打开终端或命令行工具，导航到脚本所在的目录。
运行脚本：
```
python find_duplicates.py
```

脚本将输出所有符合条件的重复IP地址和类型信息。

注意事项与扩展

错误处理： 示例代码已包含基本的YAML解析错误和文件不存在的检查。在生产环境中，可能需要更详细的错误日志和恢复机制。
数据结构验证： 脚本假设YAML文件的根结构是一个列表，且列表中的每个元素都是包含ip和type键的字典。如果您的YAML结构不同，需要调整if not isinstance(data, list)和if isinstance(entry, dict) and 'ip' in entry and 'type' in entry等处的检查逻辑。
收集所有重复实例： 当前脚本只报告每个(IP, Type) 组合的第一次重复。如果您需要收集所有重复的条目本身（例如，获取所有重复的完整字典），您可以在if duplicate_key not in reported_duplicates:条件满足时，将整个entry添加到结果列表中，而不是仅打印字符串。
性能优化： 对于非常大的YAML文件，如果内存成为问题，可以考虑逐行读取或使用流式解析器，但这会增加代码复杂性。对于大多数常见场景，yaml.safe_load()是高效且足够的。
自定义重复逻辑： 如果您需要查找基于其他键（例如ip和status）的重复，只需修改ip_type_map的键和值以及比较逻辑即可。