01 CAP & BASE CAP 一个分布式系统，不可能同时满足以下三点: 一致性(Consistency)：所有节点在同一时间具有相同的数据 可用性(Availability)：保证每个请求不管成功或者失败都有响应 分区容错性(Partition tolerance) ：系统中任意信息 ...

01 基本设计 1 数据类型 自动类型转换 +、-、*、/、%：转换为较大的数据类型，如最大的小于int，则转为int 强制类型转换 +=、-=、*=、/=、%=：右边的数值被强制转换成左边的数据类型，然后再执行运算 整型常量池：如果整型字面量的值在 -128 到 127 之间，直接引 ...

一、逻辑架构 1、ODS 层 ODS ( Operation Data Store）层通常也被称为准备区，原样存储来源系统的数据表，是后续数据仓库层加工数据的来源。同时 ODS 层也存储着历史的增量或者全量数据。 2、DW 层 数据仓库层（DW 层）的数据是 ODS 层数据经过 ETL 清洗、转换 ...

1 整体框架 HDFS: 分布式文件存储 YARN: 分布式资源管理，允许任何一个分布式程序（不仅仅是 MapReduce）基于 Hadoop 集群的数据运行 MapReduce: 批处理。分布式计算 Others: 利用YARN的资源管理功能实现其他的数据处理方式 生态系统 数据格式 A ...

Distributed Hash Table（DHT） 是一种哈希分布方式，其目的是为了克服传统哈希分布在服务器节点数量变化时大量数据迁移的问题。 一致性 hash 算法解决了分布式环境下机器增加或者减少时，简单的取模运算无法获取较高命中率的问题。 通过虚拟节点的使用，一致性 hash 算法可以均匀 ...

用于达成共识性问题，即对多个节点产生的值，该算法能保证只选出唯一一个值。 主要有三类节点： 提议者（Proposer）：提议一个值； 接受者（Acceptor）：对每个提议进行投票； 告知者（Learner）：被告知投票的结果，不参与投票过程。 1 执行过程 规定一个提议包含两个字段：[n, ...

Raft 是分布式一致性协议，主要是用来竞选主节点。 Raft: Understandable Distributed Consensus 1 单个 Candidate 的竞选 有三种节点：Follower、Candidate 和 Leader。Leader 会周期性的发送心跳包给 Follow ...

集群中的应用服务器（节点）通常被设计成无状态，用户可以请求任何一个节点。 负载均衡器会根据集群中每个节点的负载情况，将用户请求转发到合适的节点上。 负载均衡器可以用来实现高可用以及伸缩性： 高可用：当某个节点故障时，负载均衡器会将用户请求转发到另外的节点上，从而保证所有服务持续可用； 伸缩性：根据 ...

指事务的操作位于不同的节点上，需要保证事务的 ACID 特性。 例如在下单场景下，库存和订单如果不在同一个节点上，就涉及分布式事务。 分布式锁和分布式事务区别： 锁问题的关键在于进程操作的互斥关系，例如多个进程同时修改账户的余额，如果没有互斥关系则会导致该账户的余额不正确。 而事务问题的关键则在于 ...

一个用户的 Session 信息如果存储在一个服务器上，那么当负载均衡器把用户的下一个请求转发到另一个服务器，由于服务器没有用户的 Session 信息，那么该用户就需要重新进行登录等操作。 1 Sticky Session 需要配置负载均衡器，使得一个用户的所有请求都路由到同一个服务器，这样就可以 ...