為什么分布式數據庫這么喜歡用kv store?
一、為什么分布式數據庫這么喜歡用kv store
雖然不論是單機數據庫(MySQL、PostgreSQL等等),還是題主說到的分布式數據庫(CockroachDB、TiDB),都存在KV這個抽象,但對于KV這個接口的設計,還是存在差別的。
數據庫通常會有這么幾個模塊,KV存儲、事務、索引,這三者之間的關系看起來涇渭分明,但實際上交織耦合,其中存在很多設計點。
名列前茅種設計是目前share-nothing分布式數據庫用的比較多的:基于單機KV存儲實現分布式KV,再基于分布式KV實現事務,在distributed transactional key-value store的基礎上再實現global index,以及查詢引擎。在這種設計下,單機的KV存儲甚至不需要支持事務,因為完全可以基于這個KV實現分布式事務。典型代表是TiDB。
這種設計的好處不再贅述,看一下局限性:分層太過清晰,想打通多個層次的時候反而比較復雜。例如分布式事務,是不是可以和Consensus Protocol融合,實現安全的MVCC Follower Read?是不是可以借助單機引擎的事務,來優化單個region內的事務避免分布式事務的開銷?
所以第二種設計,保留單機事務的概念,把單機事務當做common case,而分布式事務只是錦上添花。奠定了這么一個基本概念之后,通常索引也會優先做成單機的,全局索引的優先級降低甚至不做。在這種設計下,單機的KV存儲,事實上就需要支持事務,甚至,為了在此基礎上做分布式事務,還需要提供一些額外的接口,例如point-in-time snapshot read。典型代表是MongoDB。
由于具有了原生的單機事務,因此在common case下會很高效,可以當單機數據庫來用。但其痛點也隨之產生:如何基于單機事務做分布式事務,兩階段提交怎么做,事務隔離怎么做,多版本讀怎么做?并且,這些功能往往會耦合于單機的事務引擎,可想而知其復雜度。
如果單獨考慮第二種設計中的索引實現,又會產生多種的KV接口設計。索引是基于KV做,還是下沉到KV中?
前面一種相對清晰,但性能方面有所折衷,由于索引的創建是基于純粹的KV接口,bulk load不好做,并且索引本身也是多版本的后面一種設計,由于存儲引擎具有了schema信息,索引可以有更多的優化空間。例如索引可以做成單版本的(PostgreSQL),指向多版本的heap file,以省去多版本的開銷;例如像X-Engine那樣,利用LSM 的特性實現更加高效的Fast DDL簡單總結一下,雖然大部分數據庫都有KV存儲這個抽象,但仍然存在很大的設計空間,例如單機的KV是否需要支持事務,是否需要感知schema,是否需要暴露多版本的接口。因此,不能籠統地說分布式數據庫都喜歡用KV store。
延伸閱讀:
二、主要的單機存儲引擎
1、哈希存儲:hash的CRUD是非常快的。但缺點是不支持順序掃描。bitcask是一個基于hash表結構的存儲系統。他將寫操作(包括刪除標識)追加到文件尾。并定期合并新老文件&記錄。
2、B樹:既支持隨機讀取又支持范圍查找的系統。查找時間復雜度為logd(n)(d為每個節點的出度)。Mysql的InnoDB的引擎和OS的文件系統使用的就是B+樹。(為什么選擇使用B樹的變種B+樹,讀者有興趣可以去探究下。提示:磁盤讀取)
3、LSM樹(Log Structured Merge Tree):由B+數改進而來。其思想為:將增量寫操作保存在內存中,超過閾值時刷入磁盤,從而減少隨機寫磁盤操作。讀操作則需要合并磁盤數據和內存中的寫操作。通過Memtable/SSTable實現,實現細節在此不做深入探究。比較適合寫操作較多的業務場景。BigTable/HBase/Cassandra中的列簇的數據存儲方式采用的即是LSM樹。

猜你喜歡LIKE
相關推薦HOT
更多>>
MySQL普通索引不等于為什么會失效?
一、MySQL普通索引不等于會失效的原因1、列數據類型不匹配如果查詢條件中的列類型與索引列類型不匹配,MySQL無法使用索引進行優化。例如,索引...詳情>>
2023-10-18 11:14:01
為什么關系型數據庫系統不易于scaling out(橫向擴展)?
一、為什么關系型數據庫系統不易于scaling out(橫向擴展)因為傳統的SQL數據庫沒想到要分片存儲,而現在的NewSQL開始考慮到這些問題了。當然分...詳情>>
2023-10-18 10:49:50
MySQL InnoDB引擎中的各種鎖具體是怎么實現的?
一、MySQL InnoDB引擎中的各種鎖的實現方式MySQL InnoDB引擎中的各種鎖是通過多種機制實現的1、共享鎖(Shared Lock)和排他鎖(Exclusive Lock...詳情>>
2023-10-18 10:26:59
Android怎么連接遠程數據庫?
一、Android連接遠程數據庫的方法1、確保遠程數據庫可以遠程訪問首先,確保您的遠程數據庫允許遠程連接。這通常需要在數據庫服務器的配置中啟用...詳情>>
2023-10-18 10:09:10熱門推薦
常用JS前端開發框架有哪些?
沸事務并發控制s2pl和s2pl有何區別?
熱為什么一臺電腦可以安裝多個SQL Server實例?
熱MySQL普通索引不等于為什么會失效?
新為什么關系型數據庫系統不易于scaling out(橫向擴展)?
MySQL InnoDB引擎中的各種鎖具體是怎么實現的?
Android怎么連接遠程數據庫?
為什么MySQL在innodb引擎中即使使用了MVCC機制仍然會出現丟失更新?
IO多路復用中select、poll、epoll之間的區別?
讀寫分離為什么能夠提升性能?
為什么mysql innodDB中組合索引中范圍查詢后的條件索引會失效?
為什么noteexpress不能建立數據庫也不能打開別的數據庫?
計算機前端是什么?
APP中集成移動端車牌識別系統都能達到什么效果?
技術干貨






