Go语言使用CopyIn函数进行批量创建数据表记录示例详解

2024-01-08 08:23:20

在 BigQuery 中使用 Go 语言的 CopyIn 函数进行数据加载

简介

Google Cloud BigQuery 是一种强大的数据分析服务，它能够处理和查询海量数据集。在众多特性中，CopyIn 函数脱颖而出，它允许开发者将数据从各种格式（如 CSV、JSON 和 Avro）快速加载到 BigQuery 表中。本文将深入探讨如何使用 Go 语言中的 CopyIn 函数有效地将数据加载到 BigQuery。

先决条件

在开始之前，确保以下条件已满足：

已安装并配置 Go 语言开发环境。
已创建 Google Cloud Platform 项目并启用了 BigQuery API。
已安装 Google Cloud Go SDK。

数据准备

CopyIn 函数要求数据存储在支持的格式中。本教程将使用 CSV 文件，但您也可以选择其他格式。确保 CSV 文件包含正确格式化的数据，并使用逗号分隔字段。

创建 BigQuery 客户端

为了与 BigQuery 交互，我们需要创建一个客户端对象：

import (
	"context"

	"cloud.google.com/go/bigquery"
)

func createClient(ctx context.Context, projectID string) (*bigquery.Client, error) {
	return bigquery.NewClient(ctx, projectID)
}

使用 CopyIn 函数加载数据

以下是使用 CopyIn 函数将数据从 CSV 文件加载到 BigQuery 表中的代码示例：

func loadCSVData(ctx context.Context, client *bigquery.Client, projectID, datasetID, tableID string) error {
	// 设置目标表引用。
	tableRef := client.Dataset(datasetID).Table(tableID)

	// 打开 CSV 文件。
	f, err := os.Open("data.csv")
	if err != nil {
		return err
	}
	defer f.Close()

	// 创建作业配置。
	loader := client.Dataset(datasetID).Table(tableID).LoaderFrom(f)
	loader.WriteDisposition = bigquery.WriteTruncate
	loader.SchemaUpdateOptions = []string{"ALLOW_FIELD_ADDITION"}

	// 运行作业。
	job, err := loader.Run(ctx)
	if err != nil {
		return err
	}
	status, err := job.Wait(ctx)
	if err != nil {
		return err
	}
	if err := status.Err(); err != nil {
		return err
	}

	return nil
}