使用 AWS DMS 加速迁移到 Amazon DocumentDB 数据库博客
加速使用 AWS DMS 迁移到 Amazon DocumentDB
关键要点
Amazon DocumentDB 是一种完全托管的 JSON 文档数据库，易于操作并具有内置的安全性和连续备份。AWS 数据库迁移服务DMS可以快速、安全地将数据库和分析工作负载迁移到 AWS，支持超过 20 种数据库和分析引擎。DMS 的变更数据捕获CDC并行应用功能可以通过添加并行线程来提高 CDC 吞吐量。文章介绍如何设置 DMS 任务以优化数据迁移性能。Amazon DocumentDB兼容 MongoDB是一种完全托管的原生 JSON 文档数据库，能够让用户在不管理基础设施的情况下，以高效且具成本效益的方式运营关键文档工作负载。Amazon DocumentDB 简化了架构，提供内置的安全最佳实践、持续备份以及与其他 AWS 服务的原生集成。
AWS 数据库迁移服务AWS DMS 是一种托管的迁移和复制服务，可以帮助用户迅速、安全地将数据库和分析工作负载迁移到 AWS，且停机时间最小。AWS DMS 支持 20 多种数据库和分析引擎之间的迁移，其中包括 Amazon DocumentDB。
随着客户通过 DMS 迁移越来越多的工作负载到 DocumentDB，他们希望能够从高流量的源持续复制数据。通过在 DMS 351 中推出的变更数据捕获CDC并行应用功能，您可以通过向 DMS 任务添加并行线程来提高 CDC 吞吐量。持续数据迁移的吞吐量将由请求的线程数量决定。
本文讨论了如何将并行线程应用到 DMS 任务中，以提高 CDC 吞吐量。在之前的文章中，我们讨论了如何通过并行全量加载来提高迁移现有数据的性能。
免费加速器网站前提条件
要跟随本文，您需要对 AWS DMS 的基本工作原理有一定了解。如果您刚开始接触 AWS DMS，请查阅 AWS DMS 文档。
配置 DMS 任务的 CDC 并行应用设置
AWS DMS 支持以下任务设置，以提高 CDC 吞吐量：
设置名称描述ParallelApplyThreads指定 AWS DMS 在 CDC 加载过程中并行应用更改的线程数。默认值为 0，最大值为 32。此参数对 CDC 应用吞吐量的影响最大。建议初始值与复制实例中的 vCPU 数量相同，并根据所需的吞吐量进行调整。ParallelApplyBufferSize指定并行应用线程在 CDC 过程中向 Amazon DocumentDB 目标端点推送的每个缓冲队列中存储的最大记录数。默认值为 100，最大值为 1000。使用此选项时，需要设置 ParallelApplyThreads 的值大于 1。默认值适合大部分工作负载。ParallelApplyQueuesPerThread指定每个线程访问的队列数量，以在 CDC 过程中从队列中提取数据记录并生成对 Amazon DocumentDB 端点的批量加载。默认值为 1，最大值为 512。默认值适合大部分工作负载。在 AWS DMS 任务创建页面的任务设置部分，选择 JSON 编辑器并更新以下设置：
将 ParallelApplyThreads 设置为 8将 ParallelApplyBufferSize 设置为 100将 ParallelApplyQueuesPerThread 设置为 1性能提升测试结果示例
我们使用以下配置来测试性能提升：
AWS DMS 复制实例：dmsc52xlargeAWS DMS 版本：351目标 Amazon DocumentDB 集群实例：dbr6g2xlarge目标 Amazon DocumentDB 版本：50请注意，增加并行 CDC 应用线程会增加您复制实例和目标集群的资源利用率，因为您正在更积极地应用更改。请确保根据您的 CDC 吞吐量需求调整实例大小。
以下图表展示了在执行仅插入工作负载时，AWS DMS 每秒应用的 CDC 操作数y 轴，并使用不同的 ParallelApplyThreads 值x 轴。
下图展示了在执行插入和更新混合工作负载时，AWS DMS 每秒应用的 CDC 操作数y 轴，使用不同的 ParallelApplyThreads 值x 轴。
结论
应用并行线程可以显著提高持续数据迁移任务的吞吐量。在生产环境下，在较低环境中测试您的工作负载。所有参数，例如工作负载规模、变更速率、目标实例和复制实例大小，都会影响您使用 ParallelApply 设置所能实现的整体性能提升。
通过使用 ParallelApply 设置和全量加载的分段，可以实现高性能低停机时间的在线迁移到 Amazon DocumentDB。
有关这些功能和 AWS DMS 的更多信息，请参阅 AWS DMS 文档。我们还建议您查阅 分段 MongoDB 集合并并行迁移 和 分段 Amazon DocumentDB 集合并并行迁移。
关于作者
Sourav Biswas 是亚马逊网络服务AWS的高级 DocumentDB 专家解决方案架构师。他一直在帮助 AWS DocumentDB 客户成功采用该服务，并实施相关最佳实践。在加入 AWS 之前，他曾广泛担任多家 NoSQL 供应商的应用程序开发人员和解决方案架构师。
