如何解决 Google 云端硬盘 API 并发文件夹创建问题？

java

2024-03-11 02:38:03

解决 Google 云端硬盘 API 并发文件夹创建问题

在使用 Google 云端硬盘 API 创建文件夹时，你可能会遇到在多线程环境下创建多个具有相同名称的文件夹的问题。即使将类设置为单例并使用同步方法调用 API，这种行为仍然出乎意料。

根本原因

此问题的根本原因在于并发调用之间的竞态条件。当多个线程同时尝试创建具有相同名称的文件夹时，API 可能会创建多个文件夹，即使已经存在具有相同名称的文件夹。

解决方案

解决此问题的关键是确保在创建新文件夹之前始终检查现有文件夹。你可以通过以下方式实现此目的：

客户端状态管理： 明确管理客户端状态，使用锁或同步机制来确保在上传过程中状态的完整性。
优化文件夹查找查询： 使用准确的过滤条件来缩小搜索范围并提高效率。考虑使用缓存机制来存储最近找到的文件夹 ID。
使用请求批处理： 合并多个 API 调用以提高效率和减少并发问题。
验证用户身份： 正确验证用户身份以避免 API 产生意外行为。

具体代码示例

根据你提供的代码示例，可以考虑以下修改：

private synchronized void upload(
        final GenerateWaveformPdfEvent event,
        final PresentedWaveformPdfParams params,
        final byte[] pdfRawBytes,
        final IqviaWhoopUser iqviaWhoopUser
    ) throws IOException {
        final int userId = event.getUserId();
        final OffsetDateTime startTime =
            OffsetDateTime.ofInstant(Instant.ofEpochMilli(params.getStartTime()), ZoneOffset.UTC);
        final String iqviaStart = startTime.format(IQVIA_TIMESTAMP);
        final String iqviaWhoopId = iqviaWhoopUser.getIqviaUserId();

        /* get user folder */
        String[] pathList = {"site-1", iqviaWhoopId};

        String folderId = iqviaGoogleDrive;
        for (String folder : pathList) {
            String query =
                "'" + folderId + "' in parents and name='" + folder
                    + "' and mimeType='application/vnd.google-apps.folder' and trashed=false";
            final Drive.Files.List request = googleDriveClient.files().list().setQ(query);

            // Lock to ensure consistency during concurrent access
            synchronized (request) {
                FileList files = request.execute();
                if (files.getFiles().isEmpty()) {
                    final File fileMetadata = new File();
                    fileMetadata.setName(folder);
                    fileMetadata.setMimeType(FOLDER_MIME_TYPE);
                    fileMetadata.setParents(Collections.singletonList(folderId));
                    final File createdFolder = googleDriveClient.files().create(fileMetadata).execute();
                    folderId = createdFolder.getId();
                } else {
                    folderId = files.getFiles().get(0).getId();
                }
            }
        }

        final List<String> parents = new ArrayList<>();
        parents.add(folderId);

        // write the PDF file
        final String iqviaGooglePdfKey = String.format(GOOGLE_IQVIA_PDF_KEY, iqviaWhoopId, iqviaStart);
        final File pdfFileMetadata = new File();
        pdfFileMetadata.setName(iqviaGooglePdfKey);
        pdfFileMetadata.setParents(parents);
        pdfFileMetadata.setMimeType(PDF_MIME_TYPE);

        googleDriveClient.files()
            .create(pdfFileMetadata, new InputStreamContent(PDF_MIME_TYPE, new ByteArrayInputStream(pdfRawBytes)))
            .execute();

        // write the csv file
        final String iqviaGoogleCsvKey = String.format(GOOGLE_IQVIA_CSV_KEY, iqviaWhoopId, iqviaStart);
        String csvContent =
            iqviaWhoopId + "," + iqviaStart + "," + params.getAverageHeartRate() + "," + params.getDetermination();

        final File csvFileMetadata = new File();
        csvFileMetadata.setName(iqviaGoogleCsvKey);
        csvFileMetadata.setParents(parents);
        csvFileMetadata.setMimeType(MediaType.TEXT_PLAIN);
        googleDriveClient.files()
            .create(
                csvFileMetadata,
                new InputStreamContent(
                    MediaType.TEXT_PLAIN,
                    new ByteArrayInputStream(csvContent.getBytes(StandardCharsets.UTF_8))
                )
            )
            .execute();
    }