0%

Kafka中的日志存储

Kafka的日志存储学习。

日志索引

kafka中的索引文件以稀疏索引的方式构造消息索引,不保证每个消息在索引文件中都有对应索引项,每当写入一定量的消息时,偏移量索引文件和时间戳索引文件分别增加一个索引项。

稀疏索引通过MappedByteBuffer将索引文件映射到内存中,以加快索引的查询速度。

磁盘存储

  • Kafka在设计时采用文件追加的方式来写入消息,属于典型的顺序写盘操作。
  • 页缓存技术
  • 零拷贝,直接从磁盘文件复制到网卡设备中,不需要经过应用程序。

参考

  • Apache kafka实战
  • 深入理解Kafka:核心设计与实践原理
坚持原创技术分享,您的支持将鼓励我继续创作!
Fork me on GitHub