热门
最新
红包
立Flag
投票
同城
我的
发布
让我安安心心写博客不好吗？
保持热爱共赴山海
CSDN App 扫码分享
1
2
打赏
- 复制链接
- 举报
下一条：
【中间件——Kafka为什么那么快】1️⃣顺序读写；2️⃣分页存储(Page Cache：利用操作系统自身的内存而不是JVM空间内存)；3️⃣零拷贝(Zero Copy：使用sendfile方法，允许操作系统将数据从Page Cache直接发送到网络，只需要最后一步的copy操作将数据复制到 NIC 缓冲区，这样避免重新复制数据)；4️⃣分区分段+索引(Kafka的message是按topic分类存储的，topic中的数据又是按照一个一个的partition即分区存储到不同broker节点；每个partition对应了操作系统上的一个文件夹，partition实际上又是按照segment分段存储的；每次文件操作也是直接操作的segment。为了进一步的查询优化，Kafka又默认为分段后的数据文件建立了索引文件，就是文件系统上的.index文件)；5️⃣批量读写+批量压缩(系统的瓶颈不是CPU或磁盘，而是网络IO。批量读写可以避免在网络上频繁传输单个消息带来的延迟和带宽开销；批量压缩将所有的消息都变成一个批量的文件，并且进行合理的批量压缩，减少网络IO损耗。)
(https://zhuanlan.zhihu.com/p/120967989)。
(https://zhuanlan.zhihu.com/p/120967989)。