多數據庫支持指南

1. 你在這里:
2. 極狐 Handbook
3. 極狐研發團隊
4. 極狐GitLab 貢獻指南 -- 后端部分
5. 多數據庫支持指南

• 前言
• 需要實現的點
  • GitLab
  • GDK
  • Omnibus GitLab
  • Helm chart
  • Docker GitLab 的支持
• 解決方案
  • GitLab 側解決方案
  • GDK 側解決方案
  • Omnibus GitLab 側解決方案
  • Helm chart 側解決方案

前言

在極狐GitLab 開發的過程中，因為要持續和上游的代碼保持同步，使得我們在數據庫增加表或者字段時，需要到上游提交 MR，上游 review 完成后需要等代碼同步到 main-jh 之后才可以使用，這就使得整個周期變得比較長。而且由于極狐GitLab 和上游的客戶群體不同，當我們兩邊要同時實現一個功能點的時候，客戶想要支持的需求也是不同的，所以很可能在實現這個需求的時候，兩邊設計的表結構也是完全不同的，這個時候我們可以為這個新功能來使用一個單獨的數據庫。那么這個單獨的數據庫需要考慮到哪些方面呢，我們接著往下看。

需要實現的點

GitLab

1. 添加一個新的數據庫，用來給極狐GitLab 專屬的新功能使用。
2. 需要有獨立的數據庫配置文件、獨立的 migrate、schema_migrations 目錄、獨立的 structure.sql。
3. 需要將生成極狐GitLab 專屬數據庫配置文件的任務，以及創建數據庫、執行數據庫遷移的操作添加到 GDK 中。
4. 需要可以生成 rails db:migrate:main-jh 這樣的 rake 命令來單獨執行極狐GitLab 數據庫的遷移和 rollback。
5. 需要實現極狐GitLab 數據庫的 CI/CD 支持。
6. 需要實現不同 model 連接不同數據庫。
7. 需要實現多數據庫的表關聯。

GDK

1. gdk install JH 數據庫自動創建并運行遷移
2. gdk reconfigure 需要可以更新 jh/config/database.yml

Omnibus GitLab

1. 需要在 Omnibus GitLab 中添加對極狐GitLab 數據庫的支持，安裝 Omnibus GitLab 后可以自動創建極狐GitLab 數據庫并完成數據庫的初始化。

Helm chart

1. 需要在使用 Helm chart 安裝極狐GitLab 的時候，完成極狐GitLab 專屬數據庫的初始化。

Docker GitLab 的支持

1. 需要在使用 Docker 安裝極狐GitLab 的時候，完成極狐GitLab 專屬數據庫的初始化。

解決方案

GitLab 側解決方案

1. 在 GDK 中添加程序來生成 jh/config/database.yml 文件，并可以創建數據庫并執行遷移。
2. 通過 database.yml 中配置 migrations_paths: ['jh/db/migrate'] 來指定 migrate 目錄為 jh/db/migrate ，通過配置 schema_migrations_path: 'jh/db/schema_migrations' 來指定 schema_migrations 的目錄為 jh/db/schema_migrations。用這個方式來實現數據庫遷移的隔離。
3. 數據庫的專屬 rake 任務是 lib/tasks/gilab/db.rake 文件中生成的，其中 databases = ActiveRecord::Tasks::DatabaseTasks.setup_initial_database_yaml 是找到當前配置的所有數據庫，但是 databases 中并不會包含 jh/config/database.yml 中的配置，這個配置默認讀取的是 config/database.yml ，需要我們通過魔改的方式把 jh/config/database.yml 中的配置加進去。
4. CI/CD 的支持需要我們修改 spec 的配置，支持極狐GitLab 專屬的數據庫，在執行極狐GitLab 專屬數據庫相關的測試時，在 before do 中改變數據庫的連接，使其連接極狐GitLab 專屬數據庫。
5. 要實現不同 model 連接不同數據庫，有兩種方式： 一是我們為極狐GitLab 專屬數據庫創建一個基類，在這個類中使用 Rails 的 connects_to 方法指定連接極狐GitLab 專屬數據庫。然后需要連接極狐GitLab 專屬數據庫的 model 直接繼承這個類即可； 二是為 model 單獨添加 connects_to 方法。個人推薦第一個方式。
6. 跨數據庫的表關聯可以參考 Ruby on Rails Guides 中的介紹來做，只需要在設置關聯時指定 disable_joins: true 即可，相關鏈接： https://guides.rubyonrails.org/active_record_multiple_databases.html#handling-associations-with-joins-across-databases

GDK 側解決方案

GDK 側對于 1 和 2 有兩種不同的方案，區別在于 GDK 項目改動的大小，但是無論大小都需要改動 GDK。

• 在 GDK 項目中添加寫入極狐GitLab 數據庫配置的腳本，將數據庫配置寫入 jh/config/database.yml，在 gdk install 和 gdk reconfigure 命令中執行。
• 在極狐GitLab 項目中添加 rake 任務，rake 任務的內容是讀取 config/database.yml 的配置并根據此配置來組合極狐GitLab 數據庫的配置并寫入 jh/config/database.yml 文件中。在 GDK 項目中執行 gdk install 和 gdk reconfigure 相關的代碼中加入執行這個 rake 任務的代碼。

Omnibus GitLab 側解決方案

1. 在 Omnibus GitLab 項目中添加根據 license 來決定是否添加極狐GitLab 數據庫配置的代碼，如果有對應的 license，需要在安裝過程中自動創建極狐GitLab 的配置文件，在安裝完成后可以初始化數據庫。

Helm chart 側解決方案

1. 通過查看 安裝文檔中有這樣一段話：

• The stateful components, like PostgreSQL or Gitaly (a Git repository storage dataplane), must run outside the cluster on PaaS or compute instances. This configuration is required to scale and reliably service the variety of workloads found in production GitLab environments.

Helm chart 主要用于在 k8s 集群中安裝極狐GitLab，PostgreSQL 服務和 Gitaly 服務都是在 cluster 之外的，如果我們想啟用 GEO，需要在外部的 PostgreSQL 中配置好一個空的數據庫，GitLab 推薦 self-managed 使用 Omnibus-gitlab 來安裝 PostgreSQL 的服務，所以我們無需對 Helm chart 的代碼做修改。