简介

在数据处理和分析领域，CSV（逗号分隔值）格式是一种广泛使用的简单文件格式，用于存储表格数据。Python 提供了强大的 csv 库，使得处理 CSV 文件变得轻而易举。本文将全面介绍 csv 库的基础概念、使用方法、常见实践以及最佳实践，帮助你在数据处理工作中更高效地运用这一工具。

目录

  1. 基础概念
  2. 使用方法
    • 读取 CSV 文件
    • 写入 CSV 文件
  3. 常见实践
    • 处理不同分隔符的 CSV 文件
    • 处理表头
    • 处理缺失值
  4. 最佳实践
    • 优化性能
    • 错误处理与健壮性
  5. 小结
  6. 参考资料

基础概念

CSV 是一种纯文本格式，通过逗号（或其他指定分隔符）分隔数据字段。每一行代表一条记录，字段之间的分隔符使得数据能够清晰地解析为表格结构。Python 的 csv 库提供了一系列函数和类，用于读取、写入和操作 CSV 文件。它支持多种不同的 CSV 方言，并且可以处理不同编码格式的文件。

使用方法

读取 CSV 文件

要读取 CSV 文件，首先需要导入 csv 库。以下是使用 csv.reader 读取 CSV 文件的基本示例：

import csv

with open('example.csv', 'r', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    for row in reader:
        print(row)

在上述代码中：

  1. 我们使用 open 函数打开 CSV 文件，并指定以读取模式（'r'）和 UTF - 8 编码打开。
  2. csv.reader 创建一个读取器对象，该对象可以迭代 CSV 文件的每一行，每一行作为一个字符串列表返回。

如果你想将 CSV 文件读取为字典形式，以便通过表头访问数据，可以使用 csv.DictReader：

import csv

with open('example.csv', 'r', encoding='utf-8') as csvfile:
    reader = csv.DictReader(csvfile)
    for row in reader:
        print(row['column_name'])  # 用实际的表头名称替换 'column_name'

csv.DictReader 会将每一行数据作为一个字典返回，字典的键是 CSV 文件的表头。

写入 CSV 文件

要写入 CSV 文件，我们可以使用 csv.writer。以下是一个简单的写入示例：

import csv

data = [
    ['Name', 'Age', 'City'],
    ['Alice', 25, 'New York'],
    ['Bob', 30, 'Los Angeles']
]

with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerows(data)

在上述代码中：

  1. 我们定义了一个二维列表 data，包含表头和数据行。
  2. 使用 open 函数以写入模式（'w'）打开一个新的 CSV 文件，并指定 UTF - 8 编码和空的 newline 参数（这在 Windows 系统下避免额外的空行）。
  3. csv.writer 创建一个写入器对象，writer.writerows 方法将整个数据列表写入 CSV 文件。

如果你想逐行写入，可以使用 writerow 方法：

import csv

with open('output.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile)
    writer.writerow(['Name', 'Age', 'City'])
    writer.writerow(['Alice', 25, 'New York'])
    writer.writerow(['Bob', 30, 'Los Angeles'])

常见实践

处理不同分隔符的 CSV 文件

默认情况下，csv 库使用逗号作为分隔符。如果你的 CSV 文件使用其他分隔符，例如制表符，可以在创建读取器或写入器时指定 delimiter 参数：

import csv

# 读取以制表符分隔的 CSV 文件
with open('tab_delimited.csv', 'r', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile, delimiter='\t')
    for row in reader:
        print(row)

# 写入以制表符分隔的 CSV 文件
data = [
    ['Name', 'Age', 'City'],
    ['Alice', 25, 'New York'],
    ['Bob', 30, 'Los Angeles']
]

with open('tab_output.csv', 'w', newline='', encoding='utf-8') as csvfile:
    writer = csv.writer(csvfile, delimiter='\t')
    writer.writerows(data)

处理表头

在读取 CSV 文件时，有时需要单独处理表头。csv.DictReader 已经将表头作为字典的键处理，但如果你使用 csv.reader，可以这样获取表头：

import csv

with open('example.csv', 'r', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    headers = next(reader)  # 获取表头
    for row in reader:
        print(row)

在写入 CSV 文件时，确保表头在数据列表的第一行，就像前面的写入示例那样。

处理缺失值

在 CSV 文件中，缺失值可能以空字符串或其他特殊标记表示。当读取数据时，可以对这些缺失值进行处理：

import csv

with open('example_with_missing.csv', 'r', encoding='utf-8') as csvfile:
    reader = csv.reader(csvfile)
    for row in reader:
        processed_row = [value if value else 'N/A' for value in row]  # 将空值替换为 'N/A'
        print(processed_row)

最佳实践

优化性能

  • 批量读取与写入：如果处理大型 CSV 文件，尽量一次读取或写入较大的数据块，而不是逐行操作。例如，使用 writerows 批量写入数据比多次调用 writerow 效率更高。
  • 内存管理：在读取大型文件时，避免将整个文件加载到内存中。可以使用迭代器逐步处理数据，例如 csv.reader 和 csv.DictReader 本身就是迭代器，使用 for 循环逐行处理，而不是将所有行存储在一个列表中。

错误处理与健壮性

  • 文件存在性检查：在读取或写入文件之前，先检查文件是否存在，以避免运行时错误。可以使用 os.path.exists 函数。
  • 异常处理：在读取和写入操作中，使用 try - except 块捕获可能的异常，例如文件读取错误、编码错误等。例如：
import csv
import os

file_path = 'example.csv'

if not os.path.exists(file_path):
    print(f"文件 {file_path} 不存在")
else:
    try:
        with open(file_path, 'r', encoding='utf-8') as csvfile:
            reader = csv.reader(csvfile)
            for row in reader:
                print(row)
    except UnicodeDecodeError:
        print("文件编码错误")
    except Exception as e:
        print(f"发生错误: {e}")

小结

Python 的 csv 库为处理 CSV 文件提供了丰富的功能。通过掌握基础概念、使用方法、常见实践和最佳实践，你可以更加高效、稳健地处理 CSV 格式的数据。无论是简单的数据读取和写入，还是复杂的数据处理任务，csv 库都能成为你数据处理工具包中的重要一员。

参考资料

  • 《Python 数据分析实战》