返回

走进Hugging Face Datasets：揭秘下载难题的解决之道

人工智能

解锁 Hugging Face Datasets 宝藏：破解下载困境，迈向机器学习之旅

诀窍一：梯子助你翻越网络藩篱

拥抱科学上网，让梯子成为你的得力助手。它能助你跨越网络围墙，畅游数据海洋。开启梯子，拥抱无限的可能性，让下载不再成为拦路虎！

诀窍二：巧用缓存，节省下载时间

缓存机制是你的高效利器，让重复下载成为历史。巧妙运用缓存，轻轻松松实现高效下载，节约宝贵时间。

# 利用缓存加速下载
from huggingface_hub import HfFolder

hf_folder = HfFolder(
    path="./data", # 缓存数据存储路径
    use_auth_token=True,
)

hf_folder.download("datasets/huggingface/common_voice_en")

诀窍三：数据集镜像，寻找下载新途径

镜像是你不可忽视的备选方案，助你从不同渠道下载数据。灵活切换，不受限制，让你轻松获取所需资源。

# 使用镜像下载数据
from huggingface_hub import HfFolder

# 国内镜像路径
mirror_url = "https://mirror.huggingface.co/datasets/huggingface/common_voice_en"

hf_folder = HfFolder(
    path="./data", # 缓存数据存储路径
    mirror=mirror_url,
    use_auth_token=True,
)

hf_folder.download("datasets/huggingface/common_voice_en")

诀窍四：巧用数据子集，减轻下载负担

子集是你的轻装秘籍，减轻下载压力。只提取所需部分，免去繁琐，数据获取更加轻松、快捷。

# 下载数据集子集
from huggingface_hub import HfFolder, HfFolderDataset

# 下载训练集子集
dataset = HfFolderDataset(
    path="./data/common_voice_en",
    use_auth_token=True,
)

train_dataset = dataset["train"][:1000] # 获取前1000个训练样本

诀窍五：耐心等待，享受延迟满足的乐趣

耐心是你的制胜法宝，助你克服下载的漫长等待。享受等待的乐趣，让数据获取的过程成为一种修行。

# 打印下载进度
from huggingface_hub import HfFolder, tqdm

hf_folder = HfFolder(
    path="./data",
    use_auth_token=True,
)

for file in tqdm(hf_folder.download("datasets/huggingface/common_voice_en", progress=True)):
    # 打印下载进度
    print(f"下载文件：{file}")

额外技巧：保持软件更新，畅享无忧下载体验

软件更新是你的保驾护航，确保下载的顺畅无忧。及时更新，让下载更加轻松、快速，助你无忧畅享数据海洋。

# 更新 huggingface_hub 包
pip install huggingface_hub --upgrade

常见问题解答

Q1：为什么下载数据时遇到网络错误？

A1：尝试开启梯子，或者使用镜像下载。

Q2：如何下载数据集子集？

A2：使用 HfFolderDataset 并指定子集名称。

Q3：下载过程中如何查看进度？

A3：在 tqdm 进度条中启用 progress 参数。

Q4：如何在缓存中找到下载的数据？

A4：数据存储在 hf_folder.path 指定的路径中。

Q5：如何保持软件更新？

A5：使用 pip install huggingface_hub --upgrade 命令。

结论

掌握了这些实用的下载技巧，你将轻松获取 Hugging Face Datasets 中丰富的数据资源。这将为你的机器学习之旅添砖加瓦，让你探索机器学习的无限可能。拥抱 Hugging Face Datasets，开启你的数据之旅！