分割超大Redis數據庫例子
來源:易賢網 閱讀:1008 次 日期:2015-04-14 14:06:55
溫馨提示:易賢網小編為您整理了“分割超大Redis數據庫例子”,方便廣大網友查閱!

薄荷 App 上的伙伴功能大量使用了內存數據庫 Redis,隨著數據量的快速增長,Redis 膨脹得很快,已經接近 12 GB規模,這些數據全部放在單個 Redis 實例中。單個巨大 Redis 實例有如下幾個壞處:

1.首先,需要一臺內存很大的機器。Redis 是內存數據庫,它需要把所有需求全部放在內存中,需要為之裝下 12 GB的 Redis 實例,至少需要 12 GB 內存大小的機器,考慮的預留增長空間,一般需要 12 * 1.5 約 18 GB 內存。 另外還有一個考慮的因素是,Redis 進行硬盤數據存儲時,fork 進程需要消耗同樣大小的內存,因此一個 12GB 的 redis 實例需要 32 GB左右的內存比較合適,這對機器提出了很高的要求,常常難以滿足。

2.然后,Redis 容易成為性能瓶頸。Redis 的并發模型是單進程單線程,它不能充分利用多核 CPU,在請求數很高,或者某一些請求處理比較慢時(比如一些大的數據排序),可能會成為系統的性能瓶頸。有方法可以緩解甚至這個問題,就是建立多個 Redis 實例,通過多個 Redis 連接來實現。

3.另外,單個巨大的 Redis 實例也會增加數據管理難度,因為這么大的數據量,無論是復制,備份操作都比較慢,容易對線上系統造成沖擊。

因此,十分有必要把單個巨大的 Redis 實例分割成多個小的 Redis 實例。

使用 Redis 的復制機制,可以在線平滑處理 Redis 實例分割,幾乎不會對系統有很大的影響。

分割的具體操作思路如下:

1.首先,規劃 Redis 分割策略,通常是基于業務劃分,比如薄荷伙伴是基于業務分成 timeline, user_relationship, other 3個 Redis 實例。規劃好之后,需要根據規劃結果對應用程序中 Redis 程序代碼做修改,通常是有一個統一的 Redis 鏈接修改為多個 Redis 連接,不同業務使用不同的連接。

2.然后,通過 Redis 復制功能建立多個 Redis 副本,讓不同 Redis 連接使用不同的 Redis 副本,在 Redis 副本中刪除多余的數據。批量刪除某個模式的 keys,可以使用下面的 shell 命令:

代碼如下:

redis-cli KEYS "<pattern>" | xargs redis-cli DEL

改成實際的模式,如

代碼如下:

redis-cli KEYS "user:*:followers" | xargs redis-cli DEL

表示刪除 user followers 數據。

最后通過來回切換并重啟 Redis 實例達到完全分割 Redis 實例。

更多信息請查看IT技術專欄

更多信息請查看數據庫
易賢網手機網站地址:分割超大Redis數據庫例子
由于各方面情況的不斷調整與變化,易賢網提供的所有考試信息和咨詢回復僅供參考,敬請考生以權威部門公布的正式信息和咨詢為準!

2026國考·省考課程試聽報名

  • 報班類型
  • 姓名
  • 手機號
  • 驗證碼
關于我們 | 聯系我們 | 人才招聘 | 網站聲明 | 網站幫助 | 非正式的簡要咨詢 | 簡要咨詢須知 | 新媒體/短視頻平臺 | 手機站點 | 投訴建議
工業和信息化部備案號:滇ICP備2023014141號-1 云南省教育廳備案號:云教ICP備0901021 滇公網安備53010202001879號 人力資源服務許可證:(云)人服證字(2023)第0102001523號
云南網警備案專用圖標
聯系電話:0871-65099533/13759567129 獲取招聘考試信息及咨詢關注公眾號:hfpxwx
咨詢QQ:1093837350(9:00—18:00)版權所有:易賢網
云南網警報警專用圖標
未满十八18勿进黄网站免费看