Scaling Offline Database Usage On GCP @ Dcard
•
1 recomendación•937 vistas
用 golang 自製 db proxy (PostgreSQL) 以及 resource management api 在 GCP 上面利用 OLTP 資料庫的 snapshot 來擴展負擔沈重的分析型查詢，並按需求實作不同 resource controller plugin 來最佳化資料庫與控制成本。使用的 library 與實作範例: https://github.com/rueian/godemand-example https://github.com/rueian/godemand https://github.com/rueian/pgproxy
Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Similar a Scaling Offline Database Usage On GCP @ Dcard
Similar a Scaling Offline Database Usage On GCP @ Dcard (20)
Más de Jui An Huang (黃瑞安)
Scaling Offline Database Usage On GCP @ Dcard
- 1. 在 GCP 上，對 OLTP 資料庫擴展分析型查詢 Ruian Huang @ Dcard Plaza / Golang Taipei Gathering #42. 2019-06-18 1
- 2. ⼤大家好 * 畢業於交⼤大資⼯工 * Dcard 架構團隊的後端⼯工程師 * ⽇日常⼯工作是開發內外部 API 資料庫查詢優化 Infrastructure as Code * 愛好是吃甜食 * 右邊是我哥的貓，被我當頭像 * https://github.com/rueian 2
- 3. 外部使⽤用者 資料庫 ⼀一般 Online Transaction Processing 情境 外部使⽤用者僅透過公開 API ， 發起預先寫好的查詢存取有限的資料 公開 API 3
- 4. 外部使⽤用者 資料庫 ⼀一般 Online Transaction Processing 情境 外部使⽤用者僅透過公開 API ， 發起預先寫好的查詢存取有限的資料 公開 API 資料庫則針對這情境做最佳化，包含： * 多連線的硬體資源分配 * 資料庫對硬碟隨機存取的參參數 * 資料 Indexing * 資料 Partitioning * 資料 Clustering * 查詢優化 (Index Scan) 4
- 6. 內部需求包含： * 排程任務 * 報表 * 送批量量通知 * 模型訓練 * ETL 內部的分析型查詢 通常需要掃描⼤大量量資料， 可能還會有⼤大量量計算會佔據⼤大量量硬體資源 (Seq Scan, Postgres Bitmap Heap Scan) * ⼈人⼯工 Ad-hoc 查詢 * 成效統計、數據研究 * 開發功能、Debug 6
- 10. Master 問題 Slave Streaming WAL 1. Slave 通常被要求硬體規格與 Master 同等， 甚⾄至可能⼀一些資料庫參參數會被要求跟 Master ⼀一樣， 沒辦法在參參數上針對分析型查詢做優化。 2. Slave 是唯讀，無法在資料上對分析型查詢做優化。 3. Slave 閒置時也不能關機，不然追同步很⿇麻煩。 4. Slave 只有⼀一台，分析型查詢全都擠在上⾯面互相拖慢， 卻很難快速⽣生出第⼆二台、第三台，且同步 WAL 對 Master 負擔也不⼩小。10
- 11. Master 問題 Slave Streaming WAL 在查詢 PostgreSQL Slave 上還有⼀一個問題： 除了了在 Slave 不斷重試查詢之外沒有對 Master 不造成影響的解法 然⽽而不斷重試可能也只是不斷撞到⼀一樣的情況 https://www.postgresql.org/docs/current/hot-standby.html#HOT-STANDBY-CONFLICT11
- 12. 願望 * 讓同事開⼼心： * 查詢想怎麼下就怎麼下 * 想查什什麼資料庫就查什什麼庫 * 資源隔離 不⽤用怕影響別⼈人。 * 讓老闆開⼼心：盡量量節省成本。 12
- 17. 現在的做法 資料庫 db proxy resource management api 定期打快照 內部需求 17
- 18. 現在的做法 資料庫 db proxy resource management api 內部⼯工具 定期打快照 內部需求 18
- 19. 現在的做法 資料庫 db proxy resource management api 內部⼯工具 請求資料庫 定期打快照 內部需求 19
- 20. 現在的做法 資料庫 db proxy resource management api 找最新的快照 內部⼯工具 請求資料庫 定期打快照 內部需求 20
- 21. 現在的做法 資料庫 db proxy resource management api 先佔資料庫 ⽤用快照創新的先佔資料庫內部⼯工具 請求資料庫 定期打快照 內部需求 21
- 22. 現在的做法 資料庫 db proxy resource management api 先佔資料庫 內部⼯工具 執⾏行行查詢 Heartbeat 定期打快照 內部需求 22
- 23. 現在的做法 資料庫 db proxy resource management api 內部⼯工具 執⾏行行查詢 Heartbeat 定期打快照 內部需求 先佔資料庫23
- 24. Resource Management API resource management api 外部需可以接受不同種類資源請求 24
- 25. Resource Management API resource management api 外部需可以接受不同種類資源請求 25
- 26. Resource Management API resource management api 內部則需可以管理理不同種類的資源 26
- 27. Resource Management API resource management api 內部則需可以管理理不同種類的資源 -> ⽤用 plugin ⽅方式實作不同種類的 resource controller ⽤用 plugin 的⽅方式可以： 1. 獨立於主程式 2. 不限定實作程式語⾔言 3. 各別 resource controller 可以 Hot Reload 或分開部署 27
- 28. Resource Management API resource management api 各別 Resource Controller 需實做的介⾯面： * FindResource 負責回應前⾯面的 RequestResource 請求， 從給定的 ResourcePool 之中挑出可⽤用的 Resource 回傳， 或是也可以回傳⼀一個全新的 Resource。 * SyncResource 則負責檢查 Resource 狀狀態並回傳更更新的 Resource。 會有額外的 Worker 會不斷對現有的 Resource 去呼叫對應 Controller 的 SyncResource 來來更更新狀狀態 28
- 29. Resource Management API & Resource Controller Plugin resource management api RequestResource A resource A controller 29
- 30. resource management api RequestResource A resource A controller FindResource A Resource Management API & Resource Controller Plugin 30
- 31. resource management api RequestResource A resource A controller return a Resource Management API & Resource Controller Plugin 31
- 32. resource management api return a resource A controller Resource Management API & Resource Controller Plugin 32
- 33. resource management api resource A controller SyncResource a Resource Management API & Resource Controller Plugin 33
- 34. resource management api resource A controller return a with new state Resource Management API & Resource Controller Plugin 34
- 35. resource management api resource A controller SyncResource a Resource Management API & Resource Controller Plugin 35
- 36. resource management api resource A controller return a with delete mark Resource Management API & Resource Controller Plugin 36
- 39. Startup-Script ⼤大部分虛擬化平台或雲端廠商都 有提供 startup-script 讓你在 VM 開機之後可以執⾏行行創建 VM 時注 入的腳本。 startup-script 很適合⽤用在根據不 同硬體規格來來⾃自動調整相關參參數 然後再啟動服務。 39
- 40. ⼤大部分虛擬化平台或雲端廠商都 有提供 startup-script 讓你在 VM 開機之後可以執⾏行行創建 VM 時注 入的腳本。 startup-script 很適合⽤用在根據不 同硬體規格來來⾃自動調整相關參參數 然後再啟動服務。 Startup-Script PostgreSQL 為例例： Linux Kernel: /proc/sys/vm/nr_hugepages PostgreSQL config: max_connections shared_buffers effective_cache_size maintenance_work_mem work_mem max_worker_processes max_parallel_workers_per_gather random_page_cost effective_io_concurrency PostgreSQL Data: create index on table cluster table using index analyze database 40
- 42. db proxy db proxy 負責服務來來⾃自使⽤用者的資料庫連線，隱藏背後處理理過程。 負責根據連線內容來來跟 resource management api 索取資源。 也負責對 resource management api 進⾏行行 heartbeat 讓 resource controller 可以知道 resource 還有⼈人在使⽤用 42
- 43. db proxy db proxy StartupMessage username=ooo database=xxx resource management api RequestResource database=xxx 43
- 44. db proxy db proxy StartupMessage username=ooo database=xxx resource management api return Resource addr=10.x.x.x:5432 44
- 49. Library * ⽤用來來處理理 Postgres Startup Message 的 PGResolver interface * ⽤用來來處理理 Postgres Cancel Request 的 InMemoryConnInfoStore * ⽤用來來處理理各種 Postgres Message 的 Message Handler ⾃自⼰己寫 proxy 可以拿來來做很多事情： * Query logging, auditting, retry transaction if preemptible instance disappeared * Data logging, auditting, masking, obscuring * Separate authentication from database https://github.com/rueian/pgbroker ⽤用來來寫 postgres proxy 的 golang library，提供： !49
- 50. Library * 對內的 Service 層以及對外的 HTTP transport 層實作，以及 golang 的 client library * 使⽤用 redis 的 Resource Store 以及 Resource Controller Locker * golang 的 Resource Controller Plugin Skeleton Library * 類似 hashicorp/go-plugin 的 Plugin Launchpad，⽤用來來管理理 subprocess 形式的 Resource Controller * Resource Syncer ⽤用來來不斷呼叫 Resource Controller 的 SyncResource * OpenCensus 的 metric view，可輸出⾄至 Stackdriver 或轉成 Prometheus 格式 https://github.com/rueian/godemand ⽤用來來寫 resource management api 的 golang library，提供： !50
- 51. 範例例實作 https://github.com/rueian/godemand-example 節合 godemand 以及 pgbroker，並實作 pg resource controller plugin 的範例例： * 可部屬於 GKE * 從 GCP Project 上⾯面新的 snapshot 開 pg instance，⽤用 startup-script 根據硬體調整參參數 * resource controller ⽤用 /proc/loadavg 檢查 vm 負載來來決定 是否加開 pg !51
- 52. 總結 * 透過 db proxy 隱藏背後與 resource mangement api 的互動，讓使⽤用者使⽤用⼀一般的 db client 與 proxy 連線就可以取⽤用從最新的 snapshot 開啟的 db instance。 * 透過 db proxy 與 resource management api 的 Heartbeat 機制，resource controller 可以控制 ⼀一個 db instance 要服務多久。不僅 db instance 可以使⽤用 Preemptible 機器，閒置時可以直接 關機，甚⾄至直接刪除以降低成本，當新的連線進來來再重新開機或從 snapshot 開新的機器即可。 * resource controller 可以檢查當前 db instance 負載決定是否加開機器，並且可以再開機器時決 定硬體規格與 startup-script 內容，達到按需求動態調整花費。 * 從 snapshot 開的 db instance 不再是原 db 的 hot standby replica，因此可以根據之後的查詢 需求做參參數與資料上的調整，例例如 postgres 可以降低 max_connection 並提⾼高 work_mem，或 是 create index 或是 cluster table。 * 當沒有查詢時，不再需要像原本 hot standby replica ⼀一直把 db instance 開著保持同步了了。僅 需要開著 db proxy 與 resource management api 兩兩隻 process，相當省錢。 !52
- 53. 下⼀一步 * ⽀支援 mongo db * 更更進⼀一步⾃自動優化 cost & waiting time !53