关于 TiDB 的序 Protocol Layer Session Context *clientConn.handleQuery 编译原理的序 Lexer NFA/DFA 定义有限状态机 M 描述为 $M = (S, \Sigma, \delta, S_0, F)$ 而 NFA 与 DFA 的区别为， TiDB 采用 Tire 进行 token 识别，关键字词汇辅以 HashMap 识别。 Gr…
现代 C++ CMake add_library 可以导入导出链接库，导入时是别名 ldd -r objdump -x / -T addr2line 值类别 根据维基百科的描述， 在 C 语言中，左值最初表示可以被赋值（即位于赋值运算符左侧）的对象； 在 C++ 03 标准中，左值被规定成具有标识的表达式，而不具有标识的表达式规定为右值： 对象名、指针、引用均为左值，具有确定的内存地址。 字面量、…
http://kth.diva-portal.org/smash/get/diva2:827567/FULLTEXT01.pdf http://www.vldb.org/pvldb/vol10/p1718-carbone.pdf
无论是 MMv2 还是 MMv1，都建议把 MM 部署在 Sink 端，即，跨区消费 Source 端，本地写入 Sink 端，其主要原因是生产者对写入延时敏感（延时高了，数据将一直堆积在生产者内存中）。 Kafka Connect 数据互联模块是 MMv2 实现的基石，其提供外部系统写入 Kafka，以及从 Kafka 写出到外部系统的标准实现框架，并集合了 REST API 的动态配置中心、基…
目前可能并不那么好用，但无碍它是一个设计精妙的 OLAP 系统。 基本背景 名词 解释 FE Frontend 角色，提供 SQL 解析与调度 BE Backend 角色，提供计算与存储 Broker 通过 Broker 隐藏访问远程文件系统（主要是 HDFS、S3）的具体实现细节 Tablet 一张表的分片，分片数量由分区与分桶数的乘积决定 Rowset 一次新的导入可理解为记录新版本的数据，R…
Google Mesa 是指标分析型数据仓库，主要服务于 Google AD 业务。本文抽离自 Apache Doris 的研究笔记，因此仅记录了论文中核心设计部分，省略了前置背景说明以及没有太关注的地方，原始全文是Mesa: Geo-Replicated, Near Real-Time, Scalable Data Warehousing。 存储结构 版本管理 定义 $deltas$ 为数据存储…
本篇主要讨论幂等与事务特性。 生产者的幂等与顺序特性 生产者通过配置 enable.idempotence=true 开启幂等特性时，会同时自动配置 acks=all 与 retries=INT_MAX_VALUE 以辅助幂等特性的工作。 实现原理 生产者端 在生产者端，持有 TransactionManager 事务管理器，其记录了 <TopicPartition, ProducerIdA…
本篇主要讨论网络层基础架构、生产消费链路。 网络层 Broker 端 Reactor 模型 Broker 端的网络层设计基于 Reactor 模型。 在实际实现就是，EndPoint 对象提供监听的地址信息给 SocketServer 服务端对象，然后服务端启动一条 Acceptor 线程，专门用于 accept(2)，并由 Acceptor 派生出 num.network.threads=3 条…
本篇主要围绕一致性副本复制协议、消息格式演进、消息落地上天以及其他细节的设计展开。 术语定义 名词 解释 Broker 又称 Kafka Server，是最基础的角色 Controller 一个 Broker 中活跃着 ZK 元数据管理服务的角色 Consumer GroupCoordinator 一个 Broker 中活跃着消费组元数据管理服务的角色 Consumer Group Leader/…