Notion 从切分 Postgres 中吸取的宝贵经验

Notion 工程团队经过深思熟虑，在 2021 年初对 Notion 进行了不到五分钟的维护。虽然我们对该公告中提到的“提高稳定性和性能”语焉不详，但实际上，这背后蕴含着几个月来团队通力协作的成果：将 Notion 的 PostgreSQL 分片。

PostgreSQL 分片：迎接挑战

在 2020 年，Notion 的日活跃用户 (DAU) 激增至惊人的 1000 万，这给我们的数据库带来了巨大的压力。原先的单体 PostgreSQL 数据库难以应付不断增长的工作负载，数据瓶颈和性能问题接踵而至。

分片架构：寻求解决方案

团队决定采用分片架构来解决扩展性挑战。分片涉及将大型数据库拆分为较小的、可管理的块，每个块称为分片。通过将数据分布在多个分片上，我们能够提高可扩展性和减轻单一分片上的负载。

实施的细微差别

Notion 的 PostgreSQL 分片实施具有以下几个关键特点：

• 按用户分片： 用户数据和相关的元数据被分片到不同的分片中，每个分片对应特定数量的用户。
• 分布式查询： 查询通过一个代理层路由到适当的分片，代理层负责协调跨分片的查询执行。
• 一致性模型： 为了保证数据完整性，团队使用了最终一致性模型，该模型允许在更新传播到所有分片之前，在不同分片上读取到稍微过时的数据。

见解与最佳实践

Notion 工程团队从分片迁移中学到了宝贵的经验，他们总结了以下见解和最佳实践：

• 细粒度分区： 按用户分片使团队能够有效地扩展，同时最大限度地减少跨分片连接。
• 异步复制： 使用异步复制策略来处理跨分片数据同步，从而提高性能并降低延迟。
• 全面的测试和监控： 在分片迁移之前和之后进行广泛的测试和监控至关重要，以确保数据完整性和系统稳定性。

结论

Notion 工程团队的 PostgreSQL 分片迁移是一个成功的案例，展示了如何通过精心规划和执行来克服数据库扩展性挑战。通过采用分片架构，他们提高了 Notion 的可扩展性、性能和可用性，从而为其不断增长的用户群提供无缝的用户体验。

对于面临类似挑战的组织，Notion 工程团队建议：

• 全面评估需求： 确定分片是否是解决组织扩展性问题的最佳解决方案。
• 精心规划： 制定详细的迁移计划，包括分区策略、数据复制和测试策略。
• 循序渐进的实施： 分阶段实施分片，以降低风险和最大限度地减少对用户的影响。
• 持续监控和优化： 分片迁移后持续监控系统性能，并根据需要进行调整和优化。

Notion 工程团队在 PostgreSQL 分片方面取得的经验为其他面临类似挑战的组织提供了宝贵的见解。通过采用他们的最佳实践并调整以满足特定需求，组织可以成功扩展数据库并为用户提供一致且高效的体验。