Python读取csv文件(详解版,看了无师自通)

广告位

前面程序展示的数据都是直接通过程序给出的,但实际应用可能需要展示不同来源(比如文件、网络)、不同格式(比如 c…

前面程序展示的数据都是直接通过程序给出的,但实际应用可能需要展示不同来源(比如文件、网络)、不同格式(比如 csv、JSON)的数据,这些数据可能有部分是损坏的,因此程序需要对这些数据进行处理。

csv 文件格式的本质是一种以文本存储的表格数据(使用 Excel 工具即可读写 csv 文件)。csv 文件的每行代表一行数据,每行数据中每个单元格内的数据以逗号隔开。

Python 提供了 csv 模块来读写 csv 文件。由于 csv 文件的格式本身比较简单(通常第一行是表头,用于说明每列数据的含义,接下来每行代表一行数据),因此使用 csv 模块读取 csv 文件也非常简单:

  • 创建 csv 模块的读取器。
  • 循环调用 csv 读取器的 next() 方法逐行读取 csv 文件内容即可。next() 方法返回一个 list 列表代表一行数据,list 列表的每个元素代表一个单元格数据。

本节使用的是 2017 年广州天气数据的 csv 文件(数据来源于 http://lishi.tianqi.com/ 网站。下面程序示范了使用 csv 读取器来读取 csv 文件的两行内容。

  import csv    filename = 'guangzhou-2017.csv'  # 打开文件  with open(filename) as f:      # 创建cvs文件读取器      reader = csv.reader(f)      # 读取第一行,这行是表头数据。      header_row = next(reader)      print(header_row)      # 读取第二行,这行是真正的数据。      first_row = next(reader)      print(first_row)

上面程序中第 7 行代码创建了 CSV 读取器,第 9 行、第 12 行代码各读取文件的一行,其中第 7 行代码会返回 csv 文件的表头数据;第 9 行代码会返回真正的数据。

运行上面程序,可以看到如下输出结果:

['Date', 'Max TemperatureC', 'Min TemperatureC', 'Description', 'WindDir', 'WindForce'] ['2017-1-1', '24', '13', '晴', '西南风', '1级']

从上面的输出结果可以看到,该文件的每行包含 6 个数据,分别是日期、最高温度、最低温度、天气情况、风向、风力。

掌握了 csv 读取器的用法之后,下面程序将会使用 Matplotlib 来展示 2017 年 7 月广州的最高气温和最低气温。

  import csv  from datetime import datetime  from matplotlib import pyplot as plt    filename = 'guangzhou-2017.csv'  # 打开文件  with open(filename) as f:      # 创建cvs文件读取器      reader = csv.reader(f)      # 读取第一行,这行是表头数据。      header_row = next(reader)      print(header_row)      # 定义读取起始日期      start_date = datetime(2017, 6, 30)      # 定义结束日期      end_date = datetime(2017, 8, 1)      # 定义3个list列表作为展示的数据      dates, highs, lows = [], [], []      for row in reader:          # 将第一列的值格式化为日期          d = datetime.strptime(row[0], '%Y-%m-%d')          # 只展示2017年7月的数据          if start_date < d < end_date:              dates.append(d)              highs.append(int(row[1]))              lows.append(int(row[2]))    # 配置图形  fig = plt.figure(dpi=128, figsize=(12, 9))  # 绘制最高气温的折线  plt.plot(dates, highs, c='red', label='最高气温',      alpha=0.5, linewidth = 2.0, linestyle = '-', marker='v')  # 再绘制一条折线  plt.plot(dates, lows, c='blue', label='最低气温',      alpha=0.5, linewidth = 3.0, linestyle = '-.', marker='o')  # 为两个数据的绘图区域填充颜色  plt.fill_between(dates, highs, lows, facecolor='blue', alpha=0.1)  # 设置标题  plt.title("广州2017年7月最高气温和最低气温")  # 为两条坐标轴设置名称  plt.xlabel("日期")  # 该方法绘制斜着的日期标签  fig.autofmt_xdate()  plt.ylabel("气温(℃)")  # 显示图例  plt.legend()  ax = plt.gca()  # 设置右边坐标轴线的颜色(设置为none表示不显示)  ax.spines['right'].set_color('none')  # 设置顶部坐标轴线的颜色(设置为none表示不显示)  ax.spines['top'].set_color('none')  plt.show()

上面程序的前半部分代码用于从 csv 文件中读取 2017 年 7 月广州的气温数据,程序分别使用了 dates、highs 和 lows 三个 list 列表来保存日期、最高气温、最低气温。

程序的后半部分代码绘制了两条折线来显示最高气温和最低气温,其中第 31 行代码用于绘制最高气温,第 34 行代码用于绘制最低气温;第 37 行代码控制在两条折线之间填充颜色。程序也对坐标轴、图例进行了简单的设置。

运行上面程序,可以看到如图 1 所示的折线图。

Python读取csv文件(详解版,看了无师自通)
图 1 2017 年7 月广州的气温折线图

程序也可以使用 Pygal 来统计 2017 年广州的天气汇总情况,比如统计出阴天、晴天、多云天和雨天各占多少天。程序会使用 csv 读取器读取 2017 年广州阴天、晴天、多云天和雨天共有多少天,然后将这些数据添加到 pygal.Pie 对象中即可绘制饼图。该程序的代码如下:

  import csv  import pygal    filename = 'guangzhou-2017.csv'  # 打开文件  with open(filename) as f:      # 创建cvs文件读取器      reader = csv.reader(f)      # 读取第一行,这行是表头数据。      header_row = next(reader)      print(header_row)      # 准备展示的数据      shades, sunnys, cloudys, rainys = 0, 0, 0, 0      for row in reader:          if '阴' in row[3]:              shades += 1          elif '晴' in row[3]:              sunnys += 1          elif '云' in row[3]:              cloudys += 1          elif '雨' in row[3]:              rainys += 1          else:              print(rows[3])  # 创建pygal.Pie对象(饼图)  pie = pygal.Pie()  # 为饼图添加数据  pie.add("阴", shades)  pie.add("晴", sunnys)  pie.add("多云", cloudys)  pie.add("雨", rainys)  pie.title = '2017年广州天气汇总'  # 设置将图例放在底部  pie.legend_at_bottom = True  # 指定将数据图输出到SVG文件中  pie.render_to_file('guangzhou_weather.svg')

上面程序的前半部分代码也是用于从 csv 文件中读取 2017 年广州的天气数据,该程序只读取 csv 文件的数据行的第四列数据(天气描述),并使用 shades、sunnys、cloudys、rainys 分别保存阴天、晴天、多云天和雨天的数据。

上面程序中建了一个 pygal.Pie 对象,该对象就表示一个饼图。接下来向 pygal.Pie 对象添加数据。运行上面程序,可以生成如图 2 所示的饼图。

Python读取csv文件(详解版,看了无师自通)
图 2 统计2017 年广州天气情况的饼图

关于作者: Python基础入门教程

为您推荐

广告位

发表评论