Pandas

处理有行列结构的数据:Series 表示一列,DataFrame 表示一张表。

安装与导入

python -m pip install pandas
import pandas as pd

df = pd.DataFrame({
    "name": ["Lin", "Kai", "Lin", "Mei"],
    "group": ["A", "B", "A", "B"],
    "score": [82, None, 91, 76],
})

本页示例按顺序使用这张小表。

常用用法

快速了解一张表

print(df.head())       # 前几行
print(df.shape)        # (4, 3)
print(df.dtypes)       # 各列类型
print(df.describe())   # 数值列的统计摘要
print(df.isna().sum()) # 各列缺失数量

选行、选列与修改

names = df["name"]                         # Series
subset = df[["name", "score"]]             # DataFrame
passed = df.loc[df["score"] >= 80, ["name", "score"]]
first_two = df.iloc[:2, :2]                 # 按整数位置选择
df.loc[df["name"] == "Mei", "score"] = 80  # 一次定位并赋值

loc 根据标签选择,iloc 根据整数位置选择;筛选后的索引不一定从零连续。

缺失值、重复与类型转换

clean = df.drop_duplicates().copy()
clean["score"] = pd.to_numeric(clean["score"], errors="coerce")
clean["score"] = clean["score"].fillna(clean["score"].mean())
clean["passed"] = clean["score"] >= 80
print(clean.sort_values("score", ascending=False))

errors="coerce" 将无法转换的内容变成缺失值。删除还是填补缺失值,要根据字段含义决定。

分组统计

summary = clean.groupby("group", as_index=False).agg(
    mean_score=("score", "mean"),
    count=("name", "size"),
)
print(summary)

size 统计行数;count 统计指定列的非缺失值数量。

合并与拼接

teachers = pd.DataFrame({"group": ["A", "B"], "teacher": ["Chen", "Wu"]})
joined = clean.merge(teachers, on="group", how="left", validate="many_to_one")
stacked = pd.concat([clean, clean], ignore_index=True)

merge 根据键匹配,concat 沿行或列拼接。validate 能检查右表键是否唯一,避免意外扩行;见合并指南。

CSV 读写

clean.to_csv("scores.csv", index=False, encoding="utf-8-sig")
loaded = pd.read_csv("scores.csv", dtype={"name": "string"})

CSV 不保留完整类型信息;编号等字段如果有前导零,读取时显式指定字符串类型。Excel 读写可另装 openpyxl 后使用 read_excel / to_excel。

进阶与不常用用法

透视表与长宽表转换

wide = clean.pivot_table(
    index="name", columns="group", values="score", aggfunc="mean",
)
long = clean.melt(
    id_vars=["name", "group"], value_vars=["score"],
    var_name="metric", value_name="value",
)

pivot_table 可以聚合重复组合;pivot 要求对应组合唯一。见重塑数据。

时间序列重采样

logs = pd.DataFrame({
    "date": ["2026-01-01 09:00", "2026-01-01 15:00", "2026-01-02 10:00"],
    "hours": [1.0, 1.5, 2.0],
})
logs["date"] = pd.to_datetime(logs["date"])
daily = logs.set_index("date")["hours"].resample("D").sum()
print(daily)

先转成日期时间类型,再按天等频率汇总;见时间序列指南。

分块读取大文件

total, count = 0.0, 0
for chunk in pd.read_csv("scores.csv", usecols=["score"], chunksize=2):
    total += chunk["score"].sum()
    count += chunk["score"].count()
print(total / count if count else None)

真实大文件可增大 chunksize。求总体均值时累计总和与有效条数,不要直接平均各块均值。

易错点

  • 使用 df.loc[条件, "列"] = 值,避免 df[条件]["列"] = 值 这样的链式赋值。
  • Pandas 3.0 使用 Copy-on-Write,修改派生对象不会同步修改原表,见官方说明。
  • 多条件筛选使用 & / |,并给每个条件加括号。
  • 算术运算可能按索引对齐,不能只看两列的长度。

官方文档