如何将抓取的 JSON 数据集转换为 Pandas DataFrame？

python

2024-03-05 19:08:52

在数据分析领域，处理 JSON 格式的数据非常普遍。如果你已经抓取了一个 JSON 数据集，并希望将它存储在本地计算机中，以便在 Pandas DataFrame 中进行进一步分析，那么本教程将指导你完成整个过程。

从抓取的文本格式 JSON 数据集创建 Pandas DataFrame

引言

步骤 1：保存 JSON 数据集

要将抓取的 JSON 数据集保存到本地计算机，请按照以下步骤操作：

打开你喜欢的文本编辑器（如记事本、TextMate 或 Sublime Text）。
将抓取的 JSON 数据复制并粘贴到文本文件中。
将文件另存为.json扩展名的文件，如 my_data.json。

步骤 2：读入 Pandas DataFrame

接下来，让我们将 JSON 数据读入 Pandas DataFrame：

在你的 Python 脚本中导入 Pandas 库：

import pandas as pd

使用 Pandas 的 read_json() 函数从 JSON 文件中读取数据：

df = pd.read_json('my_data.json')

使用 head() 方法查看 DataFrame 的前几行数据：

df.head()

附加提示

使用 response.content 保存二进制 JSON 数据： 如果抓取的是二进制 JSON 数据，请使用 response.content 而不是 response.text。
处理嵌套 JSON： 如果 JSON 数据是嵌套的，可以使用 json_normalize() 函数将其转换为扁平 DataFrame。
优化性能： 对于大型数据集，可以使用 chunksize 参数分块读取 JSON 文件。

代码示例

以下代码演示了如何将抓取的 JSON 数据保存到本地计算机并将其读入 Pandas DataFrame：

import requests
import pandas as pd

# 抓取 JSON 数据
response = requests.get('https://api.example.com/data.json')

# 保存 JSON 数据
with open('my_data.json', 'w') as f:
    f.write(response.text)

# 读入 Pandas DataFrame
df = pd.read_json('my_data.json')

# 查看 DataFrame
df.head()