Pandas教程：高效生成分组序列ID_石家庄创泽智能科技有限公司

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 网络学院

Pandas教程：高效生成分组序列ID

2025-11-06

浏览次数：次

返回列表

Pandas教程：高效生成分组序列ID

本教程详细介绍了如何在pandas dataframe中为每个分组生成一个独立的、递增的序列id。通过结合使用`groupby()`和`cumcount()`方法，您可以轻松实现基于特定列值重置计数的功能，从而创建出结构化的、易于管理的分组标识符。

引言：理解分组序列ID的需求

在数据处理和分析中，我们经常需要为数据记录生成唯一的标识符。有时，这些标识符需要在一个特定的类别或组内重新开始计数。例如，在一个包含多个城市的数据集中，我们可能希望为每个城市的记录分配一个从1开始的序列号，而不是整个数据集的全局序列号。这种需求被称为生成“分组序列ID”。

考虑以下场景：我们有一个包含城市（City）和姓名（Name）的DataFrame，目标是生成一个格式为“城市缩写-姓名缩写-序列号”的ID。关键在于，当城市名称变化时，序列号应该从1重新开始计数。

原始数据示例：

City	Name
Paris	John
Paris	Paul
Paris	Pierre
Paris	Paula
Rome	Riccardo
Rome	Jean-Paul
Rome	Franc

期望的输出ID示例：

City	Name	Id
Paris	John	Par-Joh-1
Paris	Paul	Par-Pau-2
Paris	Pierre	Par-Pie-3
Paris	Paula	Par-Pau-4
Rome	Riccardo	Rom-Ric-1
Rome	Jean-Paul	Rom-Jea-2
Rome	Franc	Rom-Fra-3

常见误区：直接使用全局索引

一种直观但错误的方法是直接使用DataFrame的全局索引作为序列号的一部分。例如，尝试通过以下方式构建ID：

import pandas as pd

data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 错误尝试：使用全局索引
df['Id_Incorrect'] = df.City.str[:3] + '-' + df.Name.str[:3] +'-' + df.index.astype(str)

print("错误尝试的输出：")
print(df)

错误尝试的输出：

易通cmseasy免费的企业建站程序2.0 UTF-8 build 201000510 中文版

易通(企业网站管理系统)是一款小巧,高效,人性化的企业建站程序.易通企业网站程序是国内首款免费提供模板的企业网站系统.§ 简约的界面及小巧的体积：后台菜单完全可以修改成自己最需要最高效的形式；大部分操作都集中在下拉列表框中，以节省更多版面来显示更有价值的数据；数据的显示以J*ascript数组类型来输出，减少数据的传输量，加快传输速度。 § 灵活的模板标签及模

0 查看详情易通cmseasy免费的企业建站程序2.0 UTF-8 build 201000510 中文版

  City       Name Id_Incorrect
0  Paris       John    Par-Joh-0
1  Paris       Paul    Par-Pau-1
2  Paris     Pierre    Par-Pie-2
3  Paris      Paula    Par-Pau-3
4   Rome   Riccardo    Rom-Ric-4
5   Rome  Jean-Paul    Rom-Jea-5
6   Rome      Franc    Rom-Fra-6

如上所示，Id_Incorrect列中的序列号（0到6）是基于DataFrame的全局索引生成的，它不会在City列的值发生变化时重置。这不符合我们为每个城市独立计数的预期。

解决方案：利用 groupby().cumcount()

Pandas提供了groupby()方法来对数据进行分组操作，结合cumcount()方法可以在每个分组内部生成一个累积计数。这正是解决分组序列ID问题的关键。

核心原理

df.groupby('ColumnName'): 此操作将DataFrame根据指定列（例如'City'）的值进行分组。它创建了一个DataFrameGroupBy对象，后续的操作将独立应用于每个分组。
.cumcount(): 这是DataFrameGroupBy对象的一个方法，它为每个分组内的行生成一个从0开始的累积计数。例如，对于第一个分组，它将生成0, 1, 2, ...；对于第二个分组，它也将从0, 1, 2, ...开始计数，从而实现了分组内的序列重置。
.add(1): cumcount()默认从0开始计数。如果希望序列号从1开始，则需要对其结果加1。
.astype(str): 最终生成的序列号是整数类型。为了将其与字符串（城市缩写、姓名缩写）拼接，需要将其转换为字符串类型。

代码实现

下面是实现分组序列ID的正确代码：

import pandas as pd

# 示例数据
data = {
    'City': ['Paris', 'Paris', 'Paris', 'Paris', 'Rome', 'Rome', 'Rome'],
    'Name': ['John', 'Paul', 'Pierre', 'Paula', 'Riccardo', 'Jean-Paul', 'Franc']
}
df = pd.DataFrame(data)

# 正确的方法：使用 groupby().cumcount()
df['Id'] = (df.City.str[:3] + '-' + df.Name.str[:3] +'-' +
            df.groupby('City').cumcount().add(1).astype(str))

print("正确方法的输出：")
print(df)

输出结果演示：

    City       Name         Id
0  Paris       John  Par-Joh-1
1  Paris       Paul  Par-Pau-2
2  Paris     Pierre  Par-Pie-3
3  Paris      Paula  Par-Pau-4
4   Rome   Riccardo  Rom-Ric-1
5   Rome  Jean-Paul  Rom-Jea-2
6   Rome      Franc  Rom-Fra-3

从输出可以看出，当City从'Paris'变为'Rome'时，Id中的序列号成功地从1重新开始计数，完全符合我们的预期。

注意事项与最佳实践

数据类型转换的重要性： 在将数字与字符串拼接时，务必使用.astype(str)将数字转换为字符串。否则，Pandas会因为类型不匹配而报错。
分组列的选择： groupby()方法的参数决定了数据如何分组。您可以根据实际需求选择一个或多个列进行分组（例如，df.groupby(['City', 'Country'])）。
序列起始值： cumcount()默认从0开始。如果需要从其他值开始，可以根据需要使用.add()方法进行调整。
性能考量： groupby()操作在Pandas中经过高度优化，对于大多数数据集都能提供良好的性能。然而，对于极大的数据集，仍需注意内存使用和计算效率。
ID的唯一性： groupby().cumcount()确保了每个组内的序列号是唯一的。如果需要全局唯一的ID，可能需要结合其他方法，例如使用UUID或将分组信息与累积计数组合成一个更复杂的全局唯一标识符。
字符串切片： df.City.str[:3]和df.Name.str[:3]用于获取城市和姓名的前三个字符作为ID前缀。您可以根据实际需求调整这些切片逻辑。