如何将验证成果存储到云数据存储？使用 Great Expectations 的 CloudDataContext

2024-03-01 15:54:44

如何将验证成果存储到云数据存储中：使用 Great Expectations 的 CloudDataContext

简介

在使用容器化环境处理项目时，存储验证成果至关重要。云数据存储（如 Amazon S3）提供了存储这些成果的安全且可靠的方法。本文将指导您使用 Great Expectations 的 CloudDataContext 将验证成果存储到云数据存储中。

什么是 CloudDataContext？

CloudDataContext 是 Great Expectations 的一个抽象层，允许将验证成果存储到云存储中。它提供了一个统一的接口，简化了对不同云提供商的访问。

配置 CloudDataContext

要配置 CloudDataContext，您需要执行以下步骤：

理解存储后端： 存储后端定义用于存储成果的云提供商和 bucket。对于 S3，应使用 TupleS3StoreBackend。
创建 DataContext： 使用配置的存储后端选项创建 DataContext 实例。

存储验证成果

创建 DataContext 后，您可以使用 store_validation_result 方法存储验证成果：

data_context.store_validation_result(validation_result)

代码示例

以下是一个完整的代码示例，演示如何将验证成果存储到 S3 bucket：

import great_expectations as ge

# 配置存储后端
context_config = {
    "store_backend": {
        "class_name": "TupleS3StoreBackend",
        "bucket": "mybucket",
        "prefix": "myprefix",
        "protocol": "s3",
    },
    "store_backend_options": {
        "aws_access_key_id": "YOUR_ACCESS_KEY_ID",
        "aws_secret_access_key": "YOUR_SECRET_ACCESS_KEY",
        "endpoint_url": "YOUR_S3_ENDPOINT_URL",
    }
}

# 创建 DataContext
data_context = ge.DataContext(context_config)

# 创建验证结果
validation_result = ge.ValidationResult(...)

# 存储验证结果
data_context.store_validation_result(validation_result)

提示

确保您具有对 S3 bucket 的适当访问权限。
如果您的 S3 bucket 启用了版本控制，请在 context_config 中设置 versioning_enabled 标志。

常见问题解答

问题：我无法连接到 S3 bucket。
- 答：检查您的访问密钥 ID、秘密访问密钥和端点 URL 是否正确。
问题：我存储的验证结果不可见。
- 答：确保您的存储后端配置正确，并且您具有对目标 bucket 的读权限。
问题：如何将验证成果存储到其他云提供商？
- 答：CloudDataContext 支持 AWS S3、Azure Blob 存储和 Google Cloud Storage。选择正确的存储后端并配置相应的选项。
问题：如何设置版本控制？
- 答：在 context_config 中设置 versioning_enabled 标志，并指定版本 ID 的前缀。
问题：如何检索存储的验证结果？
- 答：使用 get_validation_result 方法从 DataContext 检索已存储的验证结果。