Monorepo的优劣、踩坑、选型、ZooKeeper的Leader选举源码分析

前端

2023-10-24 20:40:30

Monorepo：简化代码管理，促进协作

什么是 Monorepo？

Monorepo 是一种版本控制系统，其中所有代码都存储在一个单一代码库中。与将代码分散在多个存储库中相比，Monorepo 提供了多种优势，包括简化的管理、增强的可复用性以及协作效率的提升。

Monorepo 的优点

代码管理简化： 单一代码库意味着代码更容易查找和管理，无需维护多个存储库。
代码可复用性提高： 由于所有代码都位于同一个地方，开发人员可以轻松重用其他团队或项目的代码，避免重复开发。
促进团队协作： 集中的代码库使团队成员能够轻松查看彼此的代码，促进协作开发。

Monorepo 的缺点

代码库庞大： 包含大量代码的 Monorepo 可能变得庞大，影响代码库管理和构建速度。
代码耦合性增加： 由于所有代码都在一个存储库中，Monorepo 中的代码往往具有更高的耦合性，这可能使维护和重构变得更加困难。
访问控制困难： Monorepo 中的代码库通常对所有团队成员开放，这可能会导致安全性和滥用问题。

常见的 Monorepo 踩坑

代码库庞大： 确保 Monorepo 的大小可控，以避免管理和性能问题。
代码耦合性增加： 考虑模块化设计并使用抽象，以降低代码的耦合性。
访问控制困难： 实施细粒度的访问控制策略，以保护敏感代码并防止滥用。

ZooKeeper Leader 选举源码解析

ZooKeeper 是一种分布式协调服务，它使用 Leader 选举算法来选出一个负责处理客户端请求的 Leader 节点。ZooKeeper 的 Leader 选举算法基于 Zab 协议，这是一个保证分布式系统中只有一位 Leader 的协议。

Leader 选举的基本流程：

所有节点初始处于跟随者状态。
一个节点发送提名消息。
收到提名的节点变为候选者状态。
候选者发送投票请求。
收到请求的节点将选票投给该候选者。
获得过半选票的候选者成为 Leader。
Leader 发送 Leader 消息。
其他节点收到后变为跟随者。

// 候选者发起投票
public void sendRequestVote(long candidateId) {
    for (ServerState serverState : followerStates) {
        Vote requestVote = new Vote(candidateId, lastCommittedLog, lastIndexedLog);
        serverState.requestVote(requestVote);
    }
}

// 跟随者响应投票请求
public Vote responseVote(Vote requestVote) {
    boolean shouldVote;
    if (lastVotedFor == requestVote.getCandidateId() && lastVote != null) {
        long lastLogTerm = lastVote.getLastLogIndex();
        shouldVote = requestVote.getLastLogIndex() >= lastLogTerm;
    } else {
        shouldVote = lastLogIndex <= requestVote.getLastLogIndex();
    }
    return new Vote(shouldVote);
}

自平衡分表解决数据倾斜

数据倾斜是指数据分布在分布式系统中的各个节点上不均匀的情况。为了解决这个问题，可以使用一种自平衡分表方法。该方法动态调整分表策略，确保数据分布均匀。

自平衡分表的基本流程：

将数据表分成多个分片。
将每个分片分配给一个节点。
如果某个节点负载过高，将部分数据迁移到其他节点。
如果某个节点负载过低，将其他节点的部分数据迁移到该节点。

// 数据迁移
public void balanceData(String tableName) {
    Table table = cluster.getTable(tableName);
    Map<String, Long> shardSize = new HashMap<>();
    for (Shard shard : table.getShards()) {
        long size = shard.getSize();
        shardSize.put(shard.getName(), size);
    }

    // 根据数据大小排序分片
    List<Map.Entry<String, Long>> sortedShards = new ArrayList<>(shardSize.entrySet());
    sortedShards.sort((s1, s2) -> (int) (s2.getValue() - s1.getValue()));

    // 平衡数据
    for (int i = 0; i < sortedShards.size() - 1; i++) {
        String fromShard = sortedShards.get(i).getKey();
        String toShard = sortedShards.get(i + 1).getKey();
        long size = Math.min(fromShard.getSize(), toShard.getAvailableSpace());
        fromShard.transferData(toShard, size);
    }
}