<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Operator &#8211; SRA OSS Tech Blog</title>
	<atom:link href="https://www.sraoss.co.jp/tech-blog/tag/operator/feed/index.xml" rel="self" type="application/rss+xml" />
	<link>https://www.sraoss.co.jp/tech-blog/</link>
	<description>OSS専門の技術ブログ。PostgreSQL、Zabbixを中心に10種類以上のOSSの解説、アップデート情報、運用ヒントを提供。</description>
	<lastBuildDate>Mon, 09 Nov 2026 03:38:16 +0000</lastBuildDate>
	<language>ja</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.3</generator>

<image>
	<url>https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2018/07/blog-icon-150x150.png</url>
	<title>Operator &#8211; SRA OSS Tech Blog</title>
	<link>https://www.sraoss.co.jp/tech-blog/</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>Crunchy Postgres Operator v5 の紹介</title>
		<link>https://www.sraoss.co.jp/tech-blog/kubernetes/crunchy-postgres-operator-v5/</link>
		
		<dc:creator><![CDATA[彭 博 (Bo Peng)]]></dc:creator>
		<pubDate>Fri, 25 Mar 2022 05:05:52 +0000</pubDate>
				<category><![CDATA[Kubernetes]]></category>
		<category><![CDATA[Crunchy]]></category>
		<category><![CDATA[Crunchy Data]]></category>
		<category><![CDATA[Operator]]></category>
		<category><![CDATA[PostgreSQL]]></category>
		<guid isPermaLink="false">https://www.sraoss.co.jp/tech-blog/?p=9360</guid>

					<description><![CDATA[以前の記事 Crunchy Postgres Operatorの紹介 では、バージョン 4 を対象に Crunchy Postgres Operator のインストール方法、主な機能について紹介しました。2021 年にリ ...]]></description>
										<content:encoded><![CDATA[<p>以前の記事 <a href="https://www.sraoss.co.jp/tech-blog/pgsql/crunchy-postgresql-operator/">Crunchy Postgres Operatorの紹介</a> では、バージョン 4 を対象に Crunchy Postgres Operator のインストール方法、主な機能について紹介しました。2021 年にリリースされた バージョン 5 (v5) では、インストールや管理方法が大幅に変更され、より簡単に構築・運用できるようになりました。</p>
<p>本記事では、 Crunchy Postgres Operator (PGO) v5 のインストール方法と主な機能の使い方について紹介します。</p>
<p><span id="more-9360"></span></p>
<p>Operator を使う理由や Crunchy Postgres Operator の概要については以前の記事 <a href="https://www.sraoss.co.jp/tech-blog/pgsql/kubernetes-postgres-operator/">Kubernetes PostgreSQL Operatorの紹介</a>、<a href="https://www.sraoss.co.jp/tech-blog/pgsql/crunchy-postgresql-operator/">Crunchy Postgres Operatorの紹介</a> を参照してください。</p>
<h2>PGO v5 の主な変更点</h2>
<p>以前 v4 で紹介した以下の機能は、v5 でも引き続き利用できます。利用する際の設定方法は v4 までと異なるので、詳しい設定方法については後述します。</p>
<ul>
<li>PostgreSQL HA クラスタのデプロイ・管理</li>
<li>ストリーミングレプリケーション (同期・非同期)</li>
<li>フェイルオーバー</li>
<li>バックアップ</li>
<li>WALアーカイブ</li>
<li>リストア・PITR</li>
<li>アップグレード</li>
<li>コネクションプール</li>
<li>モニタリング</li>
</ul>
<p>PGO v5 における構築・運用の主な変更点は以下の通りです。</p>
<ul>
<li>PGO v5 では、Kustomize または Helm を利用し、PGO をインストールします。v4 までの方法に比べて、より簡単にインストールできるようになりました。</li>
<li>PGO v4 では基本的に pgo クライアントコマンドを利用して各種操作を行っていましたが、PGO v5 では pgo クライアントコマンドが廃止されました。PGO v5では、Kubernetes で一般的によく使われるコマンドラインツール kubectl を利用して PostgreSQL の構築および管理を行います。</li>
<li>PostgreSQL インスタンスは StatefulSet を使用するようになりました。</li>
<li>PGO v4 までは PostgreSQL のマイナーバージョンアップを行うために、「PGO 自身のアップデート」と「PostgreSQL のアップデート」の2段階のアップデートを実行する必要がありましたが、PGO v5 では、PGO のバージョンを更新せず、PostgreSQL のイメージをアップデートするだけでマイナーバージョンアップができるようになりました。</li>
</ul>
<p>その他の改良や変更点についてはPGO 5.0.0 の<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/releases/5.0.0/" target="_blank" rel="noopener">リリースノート</a>を参照してください。</p>
<h2>PGO v5 の動作環境</h2>
<p>本記事執筆時点 (2022 年 3 月) では、以下の環境で動作確認が行われています。</p>
<ul>
<li>Kubernetes 1.19 以降</li>
<li>OpenShift 4.6 以降</li>
<li>Rancher</li>
<li>Google Kubernetes Engine (GKE), Anthos を含む</li>
<li>Amazon EKS</li>
<li>Microsoft AKS</li>
<li>VMware Tanzu</li>
</ul>
<h2>検証環境およびバージョン情報</h2>
<p>本記事では Kubernetes のマネージドサービスである <a href="https://aws.amazon.com/jp/eks/" target="_blank" rel="noopener">Amazon EKS</a> 上で PGO v5 のデプロイ・動作確認を行います。</p>
<p>環境の構成およびバージョン情報は以下のとおりです。各ソフトウェアは 2022 年 3 月時点での最新バージョンを利用しています。</p>
<ul>
<li>PGO 5.0.5</li>
<li>Amazon EKS
<ul>
<li>Kubernetes バージョン: 1.21</li>
<li>ノード数: 3ノード</li>
<li>ノードタイプ: t3.medium</li>
</ul>
</li>
<li>オブジェクトストレージ: Amazon S3</li>
<li>ローカル作業環境: CentOS 7.9 (VirtualBox 上の VM)</li>
</ul>
<h2>検証内容</h2>
<p>本記事では、PGO v5 を用いて PostgreSQL クラスタを構築し、以下の機能について動作確認を行います。</p>
<ul>
<li>PGO のデプロイ</li>
<li>PostgreSQL クラスタの作成</li>
<li>psql による接続確認</li>
<li>PostgreSQL の設定</li>
<li>フェイルオーバー</li>
<li>スケーリング</li>
<li>ボリュームサイズの拡張</li>
<li>バックアップ</li>
<li>リストア・PITR</li>
<li>モニタリング</li>
</ul>
<h2>前提条件</h2>
<p>PGO をデプロイする前に、次の準備が完了していることが前提となります。</p>
<ul>
<li style="list-style-type: none;">
<ul>
<li>EKS クラスタの作成 (<a href="https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/create-cluster.html" target="_blank" rel="noopener">こちら</a>を参照)</li>
<li>Amazon S3 バケットの作成 (<a href="https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/creating-bucket.html" target="_blank" rel="noopener">こちら</a>を参照)<br />
※作成したバケットの名前は PostgresCluster (後述) の YAML ファイルに設定します。</li>
</ul>
</li>
</ul>
<h2>PGO のデプロイ</h2>
<p>PGO v5 以降、PGO のデプロイは Kustomize または Helm を使うことになりました。本記事では、Kustomize を用いて PGO をデプロイします。</p>
<p>各種サンプル設定ファイルを含む<a href="https://github.com/CrunchyData/postgres-operator-examples" target="_blank" rel="noopener">postgres-operator-examples</a>リポジトリを作業環境に複製します。</p>
<pre>$ git clone https://github.com/CrunchyData/postgres-operator-examples.git
$ cd postgres-operator-examples/</pre>
<p>PGO をデプロイします。</p>
<pre>$ kubectl apply -k kustomize/install</pre>
<p>上記コマンドを実行すると、postgres-operator という名前空間が作成され、PGO のデプロイに必要なすべてのオブジェクトがこの名前空間に作成されます。</p>
<pre>$ kubectl get pods -n postgres-operator
NAME                   READY   STATUS    RESTARTS   AGE
pgo-59c4f987b6-cd6pn   1/1     Running   0          29s</pre>
<h2>ストレージクラスの作成</h2>
<p>Amazon EKS ではデフォルトで gp2 という名前のストレージクラスが作成されていますが、本記事では以下の属性を持つ PGO 専用のストレージクラスを作成します。</p>
<ul>
<li><code><strong>allowVolumeExpansion</strong></code>: ボリュームの拡張を許可するように true を設定する。</li>
<li><code><strong>reclaimPolicy</strong></code>: PVC が削除された際に PV を残すように Retain を設定する。</li>
</ul>
<pre>$ cat &gt; ~/pgo-sc.yaml &lt;&lt;EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: pgo
provisioner: kubernetes.io/aws-ebs
parameters:
  type: gp2
  fsType: ext4
allowVolumeExpansion: true
reclaimPolicy: Retain
EOF

$ kubectl apply -f ~/pgo-sc.yaml
</pre>
<p>作成したストレージクラス pgo を確認します。</p>
<pre>$ kubectl get sc pgo
NAME   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
pgo    kubernetes.io/aws-ebs   <strong>Retain</strong>          Immediate           <strong>true</strong>                   6m36s
</pre>
<h2>PostgreSQL クラスタの作成</h2>
<p>PostgreSQL クラスタをデプロイします。</p>
<p>今回は以下のような構成の PostgreSQL クラスタを作成します。</p>
<ul>
<li>master 1台、replica 2台</li>
<li>同期レプリケーション</li>
<li>自動フェイルオーバー (デフォルト)</li>
<li>WAL アーカイブ (デフォルト)</li>
<li>永続ボリュームと Amazon S3 にバックアップと WAL アーカイブを保存</li>
</ul>
<p>取得したバックアップや WAL アーカイブは永続ボリュームのほか、S3 や GCS、Azure Blob Storage などのオブジェクトストレージにも保存できます。今回は、Amazon S3 を使います。GCS や Azure Blob Storage の設定については、<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/tutorial/backups/" target="_blank" rel="noopener">こちら</a>を参照してください。</p>
<p><a href="https://github.com/CrunchyData/postgres-operator-examples" target="_blank" rel="noopener">postgres-operator-examples</a> リポジトリに各種構成のサンプル設定ファイルが用意されているので、それらのファイルを元に設定ファイルを作成します。今回は S3 を利用するために、kustomize/s3 配下のサンプルファイルをコピーし、必要に応じて編集します。</p>
<pre>$ cp -r  kustomize/s3 kustomize/my-postgres</pre>
<p>PGO v5 では PostgresCluster リソース (CRD) を使って、PostgreSQL クラスタのデプロイ・管理を行います。 PostgresCluster 設定のサンプルは postgres.yaml ファイルに記述されているので、必要に応じて編集します。</p>
<p>今回は以下のような YAML ファイルを利用して PostgresCluster をデプロイします。</p>
<pre>$ cat kustomize/my-postgres/postgres.yaml
apiVersion: postgres-operator.crunchydata.com/v1beta1
kind: PostgresCluster
metadata:
  name: my-postgres
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      replicas: 3
      dataVolumeClaimSpec:
        accessModes:
        - "ReadWriteOnce"
        resources:
          requests:
            storage: 10Gi
        storageClassName: pgo
  backups:
    pgbackrest:
      image: registry.developers.crunchydata.com/crunchydata/crunchy-pgbackrest:centos8-2.36-1
      configuration:
      - secret:
          name: pgo-s3-creds
      global:
        repo2-path: /pgbackrest/postgres-operator/my-postgres/repo2
      repos:
      - name: repo1
        volume:
          volumeClaimSpec:
            accessModes:
            - "ReadWriteOnce"
            resources:
              requests:
                storage: 10Gi
            storageClassName: pgo
      - name: repo2
        s3:
          bucket: "my-postgres"
          endpoint: "s3.us-west-2.amazonaws.com"
          region: "us-west-2"
  patroni:
    dynamicConfiguration:
      synchronous_mode: true
  users:
    - name: postgres
    - name: testuser
      databases:
        - testdb
</pre>
<p>パラメータの意味は以下のとおりです。</p>
<ul>
<li><code><strong>spec.instances.replicas</strong></code>: レプリカの数を指定します。上記設定では、master 1台、replica 2台の PostgreSQL クラスタが作成されます。</li>
<li><code><strong>spec.backups.pgbackrest.repos.name</strong></code>: バックアップと WAL アーカイブの保存先を設定します。repoN 形式で複数の保存先を指定可能です。上記設定では、永続ボリュームを repo1、S3 を repo2 と設定しています。</li>
<li><code><strong>spec.backups.pgbackrest.repos.s3</strong></code>: Amazon S3 バケット情報を設定します。今回は前述の「前提条件」であらかじめ作成したバケットを利用します。</li>
<li><code><strong>spec.instances.dataVolumeClaimSpec</strong></code>: PostgreSQL データ保存用の PVC を設定します。</li>
<li><code><strong>spec.backups.pgbackrest.repos.volume.volumeClaimSpec</strong></code>: バックアップと WAL アーカイブ保存用の PVC を設定します。</li>
<li><code><strong>spec.patroni.dynamicConfiguration.synchronous_mode</strong></code>: 同期レプリケーションを利用するか否かを true/false で設定します。</li>
<li><code><strong>spec.users</strong></code>: デプロイ時に作成する PostgreSQL ユーザとデータベースを指定します。上記設定では、postgres と testuser ユーザ、testdb データベースが作成され、testuser に testdb へのアクセス権限が付与されます。</li>
</ul>
<p>次に、Amazon S3 にアクセスするためのクレデンシャルを登録します。<code><strong>repoN</strong></code> には、上記 <code>postgres.yaml</code> に設定した S3 のリポジトリ名を指定します。</p>
<pre>$ cp kustomize/my-postgres/s3.conf{.example,}
$ vi kustomize/my-postgres/s3.conf
[global]
<strong>repo2</strong>-s3-key=<strong>&lt;アクセスキー&gt;</strong>
<strong>repo2</strong>-s3-key-secret=<strong>&lt;シークレットアクセスキー&gt;</strong>
</pre>
<p>マニフェストの設定が完了したら、PostgreSQL クラスタをデプロイします。</p>
<pre>$ kubectl apply -k kustomize/my-postgres/</pre>
<p>PostgreSQL クラスタの状態を確認します。3つの Pod が作成されます。各 Pod が master か replica かはラベルで確認できます。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE     ROLE
my-postgres-pg-1-45cl-0   3/3     Running   0          7m14s   <strong>master</strong>
my-postgres-pg-1-ctj8-0   3/3     Running   0          7m14s   <strong>replica</strong>
my-postgres-pg-1-rgc4-0   3/3     Running   0          7m14s   <strong>replica</strong>
</pre>
<h2>psql による接続確認</h2>
<p>Kubernetes クラスタ内のノードから、または他の Pod からは上記の PostgreSQL の Pod に接続できますが、作業環境から psql でアクセスしたい場合は <code>kubectl</code> の <code>port-forward</code> 機能を利用します。<br />
ここでは master Pod の 5432 ポートをローカルの 5432 へポートフォワードを行います。<br />
※ <code>PG_CLUSTER_MASTER_POD</code> には master の Pod 名が入ります。</p>
<pre>$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl -n postgres-operator port-forward "${PG_CLUSTER_MASTER_POD}" 5432:5432 &amp;
</pre>
<p>psql で接続します。<code>testuser</code> ユーザの情報を格納する Secret からデータベースの接続情報を取得します。</p>
<pre>$ PG_CLUSTER_USER_SECRET_NAME=my-postgres-pguser-testuser
$ PGPASSWORD=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.password | base64decode}}') \
PGUSER=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.user | base64decode}}') \
PGDATABASE=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.dbname | base64decode}}') \
psql -h localhost
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

testdb=&gt; \du+
                                            List of roles
  Role name   |                         Attributes                         | Member of | Description 
--------------+------------------------------------------------------------+-----------+-------------
 _crunchyrepl | Replication                                                | {}        | 
 postgres     | Superuser, Create role, Create DB, Replication, Bypass RLS | {}        | 
 testuser     |                                                            | {}        |
</pre>
<p>次に、<code>postgres</code> スーパーユーザで接続し、レプリケーションの状態を確認します。</p>
<pre>$ PG_CLUSTER_USER_SECRET_NAME=my-postgres-pguser-postgres
$ PGPASSWORD=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.password | base64decode}}') \
PGUSER=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.user | base64decode}}') \
psql -h localhost
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=# select application_name, state, sync_state from pg_stat_replication;
    application_name     |   state   | sync_state 
-------------------------+-----------+------------
 my-postgres-pg-1-rgc4-0 | streaming | sync
 my-postgres-pg-1-ctj8-0 | streaming | async
(2 rows)
</pre>
<h2>PostgreSQL の設定</h2>
<p>PostgreSQL のパラメータは <code>spec.patroni.dynamicConfiguration.postgresql.parameters</code> で設定します。<br />
例えば、<code>log_statement: all</code> の設定を追加して適用すると、自動的に PostgreSQL に反映されます。</p>
<pre>vi kustomize/my-postgres/postgres.yaml
(以下を追加)
spec:
  patroni:
    dynamicConfiguration:
      synchronous_mode: true
<strong>      postgresql:
        parameters:
          log_statement: all</strong>

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>設定値が変更されていることを確認します。</p>
<pre>$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl exec ${PG_CLUSTER_MASTER_POD} -n postgres-operator -it -- psql
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=# show log_statement;
 log_statement 
---------------
 all
(1 row)
</pre>
<p>ただし、PostgreSQL の Pod の再起動が必要になるパラメータもあります。<br />
例えば、<code>max_connections</code> の設定値を変更した場合、Pod の再起動が必要になります。<br />
以下のコマンドを実行し、アノテーションを編集することで、PGO が自動的に変更を検出し、1つずつ Pod の再起動を行います。</p>
<pre>$ kubectl patch postgrescluster/my-postgres -n postgres-operator --type merge \
  --patch '{"spec":{"metadata":{"annotations":{"restarted":"'"$(date)"'"}}}}'
</pre>
<h2>フェイルオーバー</h2>
<p>PostgreSQL の master Pod に故障が発生した場合は、自動的にフェイルオーバーしていずれかの replica が master に昇格します。また、定義した「あるべき状態」を満たすために、新たな replica が起動します。この節では、PGO のフェイルオーバーの動作を検証してみます。</p>
<p>まず、master Pod を削除します。</p>
<pre>$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl delete ${PG_CLUSTER_MASTER_POD} -n postgres-operator
pod "my-postgres-pg-1-45cl-0" deleted</pre>
<p>すると、replica Pod「my-postgres-pg-1-ctj8-0」が master に昇格し、旧 master Pod が replica として再起動されることを確認できます。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE   ROLE
my-postgres-pg-1-45cl-0   3/3     Running   0          74s   <strong>replica</strong>
my-postgres-pg-1-ctj8-0   3/3     Running   0          52m   <strong>master</strong>
my-postgres-pg-1-rgc4-0   3/3     Running   0          52m   <strong>replica</strong>
</pre>
<h2>スケーリング</h2>
<p>スケーリングとは、replica を追加または削除することです。<br />
PostgreSQL クラスタに replica を追加することをクラスタのスケールアップ、クラスタから replica を削除することをクラスタのスケールダウンといいます。<br />
スケーリングすることにより、データベースの負荷分散や耐障害性の向上を実現できます。</p>
<p>YAML ファイルの replicas の数を変更し、適用するだけで、簡単にクラスタのスケールアップ/スケールダウンを行えます。<br />
以下のように replicas の数を 3 から 4 に変更して適用すると、新しい replica Pod が起動します。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(replicas を 3 から 4 に変更)
apiVersion: postgres-operator.crunchydata.com/v1beta1
kind: PostgresCluster
metadata:
  name: my-postgres
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      <strong>replicas: 4</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>新しい replica が起動することを確認します。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE     ROLE
<strong>my-postgres-pg-1-2fzw-0   3/3     Running   0          27s     replica</strong>
my-postgres-pg-1-45cl-0   3/3     Running   0          8m14s   replica
my-postgres-pg-1-ctj8-0   3/3     Running   0          59m     master
my-postgres-pg-1-rgc4-0   3/3     Running   0          59m     replica

$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl exec ${PG_CLUSTER_MASTER_POD} -n postgres-operator -it -- psql
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=# select application_name, state, sync_state from pg_stat_replication;
    application_name     |   state   | sync_state 
-------------------------+-----------+------------
 my-postgres-pg-1-45cl-0 | streaming | async
 my-postgres-pg-1-rgc4-0 | streaming | sync
 my-postgres-pg-1-2fzw-0 | streaming | async
(3 rows)
</pre>
<p>元の設定に戻したい場合には、replicas の数を 4 から 3 に減らすと、いずれかの replica Pod が削除されます。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(replicas を 4 から 3 に変更)
apiVersion: postgres-operator.crunchydata.com/v1beta1
kind: PostgresCluster
metadata:
  name: my-postgres
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      <strong>replicas: 3</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>replica Pod が削除されていることを確認します。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE   ROLE
my-postgres-pg-1-45cl-0   3/3     Running   0          15m   replica
my-postgres-pg-1-ctj8-0   3/3     Running   0          67m   master
my-postgres-pg-1-rgc4-0   3/3     Running   0          67m   replica
</pre>
<h2>ボリュームサイズの拡張</h2>
<p>Kubernetes では、ボリュームの拡張が許可される場合のみ、既存の永続ボリューム (PV) のサイズを拡張できます。ボリュームの拡張を許可するかはストレージクラスの <code>allowVolumeExpansion</code> 属性で設定します。</p>
<p>ボリュームの拡張を行う前に、デプロイ済みの PostgreSQL クラスタが利用しているストレージクラスの <code>allowVolumeExpansion</code> の設定値が true であることを確認します。</p>
<pre>$ kubectl get sc pgo
NAME   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
pgo    kubernetes.io/aws-ebs   Retain          Immediate           <strong>true</strong>                   97m
</pre>
<p>PV と PVC のサイズを確認します。</p>
<pre>$ kubectl get pv,pvc -n postgres-operator
NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                            STORAGECLASS   REASON   AGE
persistentvolume/pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-repo1              pgo                     91m
persistentvolume/pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-rgc4-pgdata   pgo                     91m
persistentvolume/pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-45cl-pgdata   pgo                     91m
persistentvolume/pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-ctj8-pgdata   pgo                     91m

NAME                                                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/my-postgres-pg-1-45cl-pgdata   Bound    pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>10Gi</strong>       RWO            pgo            91m
persistentvolumeclaim/my-postgres-pg-1-ctj8-pgdata   Bound    pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>10Gi</strong>       RWO            pgo            91m
persistentvolumeclaim/my-postgres-pg-1-rgc4-pgdata   Bound    pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>10Gi</strong>       RWO            pgo            91m
persistentvolumeclaim/my-postgres-repo1              Bound    pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>10Gi</strong>       RWO            pgo            91m
</pre>
<p>PostgreSQL のデータ保存用の PVC とバックアップ保存用の PVC の要求サイズを 20GB に変更してみます。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      replicas: 3
      dataVolumeClaimSpec:
        accessModes:
        - "ReadWriteOnce"
        resources:
          requests:
            <strong>storage: 20Gi</strong>
        storageClassName: pgo
  backups:
    pgbackrest:
      - name: repo1
        volume:
          volumeClaimSpec:
            accessModes:
            - "ReadWriteOnce"
            resources:
              requests:
                <strong>storage: 20Gi</strong>
            storageClassName: pgo
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>PVC と PV のサイズが拡張されていることを確認します。</p>
<pre>$ kubectl get pv,pvc -n postgres-operator
NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                            STORAGECLASS   REASON   AGE
persistentvolume/pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-repo1              pgo                     103m
persistentvolume/pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-rgc4-pgdata   pgo                     103m
persistentvolume/pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-45cl-pgdata   pgo                     103m
persistentvolume/pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-ctj8-pgdata   pgo                     103m

NAME                                                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/my-postgres-pg-1-45cl-pgdata   Bound    pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>20Gi</strong>       RWO            pgo            103m
persistentvolumeclaim/my-postgres-pg-1-ctj8-pgdata   Bound    pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>20Gi</strong>       RWO            pgo            103m
persistentvolumeclaim/my-postgres-pg-1-rgc4-pgdata   Bound    pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>20Gi</strong>       RWO            pgo            103m
persistentvolumeclaim/my-postgres-repo1              Bound    pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>20Gi</strong>       RWO            pgo            103m
</pre>
<p><code>allowVolumeExpansion</code> 機能に対応していないストレージでは、既存の永続ボリュームのサイズを拡張できないため、ボリュームサイズが大きい、新しい PostgreSQL クラスタを作成し、既存のクラスタと同期させる必要があります。詳細については<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/tutorial/resize-cluster/#resize-pvcs-with-storageclass-that-does-not-allow-expansion" target="_blank" rel="noopener">こちら</a>を参照してください。</p>
<h2>バックアップ</h2>
<p>PGO のバックアップ/リストアは内部的に pgBackRest のバックアップ/リストアユーティリティを利用しています。定期的にフルバックアップまたは差分バックアップを取得することができます。バックアップのスケジュールは cron 表記で指定します。</p>
<p>定期バックアップのスケジュールは <code>spec.backups.pgbackrest.repos.schedules</code> で設定します。<br />
例えば、以下のように設定すると、毎日午前1時にフルバックアップ、4時間ごとに差分バックアップを実行するようになります。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  backups:
    pgbackrest:
      image: registry.developers.crunchydata.com/crunchydata/crunchy-pgbackrest:centos8-2.36-1
      configuration:
      - secret:
          name: pgo-s3-creds
      global:
        repo2-path: /pgbackrest/postgres-operator/my-postgres/repo2
      repos:
      - name: repo1
        volume:
          volumeClaimSpec:
            accessModes:
            - "ReadWriteOnce"
            resources:
              requests:
                storage: 10Gi
      - name: repo2
<strong>        schedules:
          full: "0 1 * * *"
          incremental: "0 */4 * * *"</strong>
        s3:
          bucket: "crunchy-pg-backup"
          endpoint: "s3.us-west-2.amazonaws.com"
          region: "us-west-2"
(省略)
</pre>
<h2>リストア</h2>
<h3>PostgreSQL クラスタの複製</h3>
<p>PGO v5 では、既存の PostgreSQL クラスタを複製できます。<br />
既存のクラスタを複製するには、<code>spec.dataSource.postgresCluster</code> にコピー元のクラスタ名、バックアップの格納先のリポジトリ名を指定します。</p>
<pre>spec:
<strong>  dataSource:
    postgresCluster:
      clusterName: my-postgres
      repoName: repo2</strong>
</pre>
<p>デフォルトでは最新のデータにリストアしますが、<code>spec.dataSource.postgresCluster.options</code> を指定して、特定の時点までリストア可能です。</p>
<pre>spec:
  dataSource:
    postgresCluster:
      clusterName: my-postgres
      repoName: repo2
<strong>      options:
      - --type=time
      - --target="2022-03-16 14:00:00+09"
</strong></pre>
<h3>既存の PostgreSQL クラスタの PITR</h3>
<p>起動中の PostgreSQL クラスタを以前の時点にリストアするには <code>spec.backups.pgbackrest.restore</code> を設定します。既存のデータディレクトリでリストアを実行するので、クラスタが一旦停止され、作成しなおされます。</p>
<p>例えば、2022-03-16 14:00:00 時点までリストアする場合は、以下の手順を実行します。</p>
<p>まず、PostgresCluster リソースを設定する YAML ファイル postgres.yaml を編集し、適用します。<br />
※この時点ではリストアが実行されません。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  backups:
    pgbackrest:
<strong>      restore:
        enabled: true
        repoName: repo2
        options:
        - --type=time
        - --target="2022-03-16 14:00:00+09"</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>次に、PostgresCluster のアノテーションを設定します。<br />
PostgresCluster のアノテーションを設定すると、リストアが実行されます。</p>
<pre>$ kubectl annotate postgrescluster my-postgres  -n postgres-operator --overwrite \
  postgres-operator.crunchydata.com/pgbackrest-restore=id1
</pre>
<p>リストア完了後、リストアの設定を無効にしておきます。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  backups:
    pgbackrest:
<strong>      restore:
        enabled: false</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<h2>モニタリング</h2>
<p>PGO は Prometheus によるモニタリング機能を提供しています。Kubernetes では Prometheus を利用した監視がよく使われています。Prometheus がクラスタの各種メトリクスを収集し、Grafana と連携して、Grafana のダッシュボードで Kubernetes クラスタと PostgreSQL を監視することができます。</p>
<p>モニタリング機能を利用するために、まず、各  Pod に Exporter サイドカーを追加する必要があります。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
<strong>  monitoring:
    pgmonitor:
      exporter:
        image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres-exporter:ubi8-5.0.5-0</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres

$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE     ROLE
my-postgres-pg-1-45cl-0   <strong>4/4</strong>     Running   0          3m4s    master
my-postgres-pg-1-ctj8-0  <strong> 4/4</strong>     Running   0          3m35s   replica
my-postgres-pg-1-rgc4-0   <strong>4/4</strong>     Running   0          2m14s   replica
</pre>
<p>次に、監視アプリケーション Prometheus、Grafana、Alertmanager をデプロイします。</p>
<p>Amazon EKS のデフォルトのストレージクラス gp2 を利用しても良いですが、今回は前述の手順で作成したストレージクラスを利用します。Prometheus、Grafana、Alertmanager の PVC を定義する YAML ファイルを編集します。<br />
※ デフォルトのストレージクラスを利用する場合は編集不要です。</p>
<pre>$ vi kustomize/monitoring/pvcs.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/name: pgo-monitoring
    vendor: crunchydata
  name: alertmanagerdata
spec:
(省略)
  <strong>storageClassName: pgo</strong>
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/name: pgo-monitoring
    vendor: crunchydata
  name: grafanadata
spec:
(省略)
  <strong>storageClassName: pgo</strong>
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/name: pgo-monitoring
    vendor: crunchydata
  name: prometheusdata
spec:
(省略)
  <strong>storageClassName: pgo</strong>
</pre>
<p>Prometheus、Grafana、Alertmanager をデプロイします。</p>
<pre>$ kubectl apply -k kustomize/monitoring</pre>
<p>Prometheus、Grafana、Alertmanager の Pod が起動していることを確認できます。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=app.kubernetes.io/name=postgres-operator-monitoring
NAME                                   READY   STATUS    RESTARTS   AGE
crunchy-alertmanager-f7b79cbd8-lfv7s   1/1     Running   0          4m47s
crunchy-grafana-548446d646-lqw4l       1/1     Running   0          4m45s
crunchy-prometheus-556f754797-98lcn    1/1     Running   0          4m44s
</pre>
<p>作業環境のブラウザから Grafana にアクセスするために、Grafana Pod の 3000 ポートをローカルの 3000 へポートフォワードを行います。</p>
<pre>$ GRAFANA_POD=$(kubectl get pod -n postgres-operator -o name -l app.kubernetes.io/name=postgres-operator-monitoring,name=crunchy-grafana)
$ kubectl -n postgres-operator port-forward ${GRAFANA_POD} 3000:3000 &amp;</pre>
<p>ブラウザで http://localhost:3000/ にアクセスすると、Grafana のログイン画面が表示されます。Grafana のログインユーザ名とパスワードは以下のコマンドで確認できます。</p>
<pre>$ kubectl get secret grafana-secret -n postgres-operator -ojsonpath='{.data.username}' | base64 --decode ; echo 
$ kubectl get secret grafana-secret -n postgres-operator -ojsonpath='{.data.password}' | base64 --decode ; echo
</pre>
<p>Grafana にログインし、ダッシュボードで Kubernetes クラスタや PostgreSQL の稼働状況を確認できます。</p>
<p><img fetchpriority="high" decoding="async" class="alignnone size-large wp-image-9430" src="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-1024x495.png" alt="" width="1024" height="495" srcset="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-1024x495.png 1024w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-300x145.png 300w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-768x371.png 768w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-1536x742.png 1536w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-304x147.png 304w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-282x136.png 282w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana.png 1919w" sizes="(max-width: 1024px) 100vw, 1024px" /></p>
<h2>おわりに</h2>
<p>今回は Crunchy Postgres Operator v5 について紹介しました。</p>
<p>インストールや管理方法が大幅に変更され、kubectl が使用できるようになり、以前のバージョンより構築・管理がさらに容易になりました。さらに詳しく知りたい方は、<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/" target="_blank" rel="noopener">公式ドキュメント</a>をご覧ください。</p>
<div>
<a href="https://www.sraoss.co.jp/prod_serv/support/oss-pro-support/?utm_source=sraoss-techblog&utm_medium=referral&utm_campaign=under-article-oss" rel="noopener" style="color:initial;" target="_blank" class="no-ext"></p>
<div style="background-color:#DAEFF6; padding:20px; border-radius:8px; text-align:center;">
SRA OSSでは、各種OSS のサポートを提供しております。<br />
詳しくは<strong style="color:#2581c4;">弊社ホームページ</strong>をご覧ください。
</div>
<p></a>
</div>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>マルチクラウド Kubernetes による PostgreSQL のディザスタリカバリ</title>
		<link>https://www.sraoss.co.jp/tech-blog/pgsql/multi-cloud-kubernetes-postgresql/</link>
		
		<dc:creator><![CDATA[彭 博 (Bo Peng)]]></dc:creator>
		<pubDate>Wed, 30 Jun 2021 01:37:49 +0000</pubDate>
				<category><![CDATA[Kubernetes]]></category>
		<category><![CDATA[PostgreSQL]]></category>
		<category><![CDATA[Crunchy]]></category>
		<category><![CDATA[Operator]]></category>
		<category><![CDATA[ディザスタリカバリ]]></category>
		<category><![CDATA[マルチクラウド]]></category>
		<guid isPermaLink="false">https://www.sraoss.co.jp/tech-blog/?p=7070</guid>

					<description><![CDATA[前回の Crunchy PostgreSQL Operatorの紹介 では、Kubernetes で PostgreSQL を運用するための Operator として Crunchy PostgreSQL Operato ...]]></description>
										<content:encoded><![CDATA[<p>前回の <a href="https://www.sraoss.co.jp/tech-blog/pgsql/crunchy-postgresql-operator/">Crunchy PostgreSQL Operatorの紹介 </a>では、Kubernetes で PostgreSQL を運用するための Operator として <a href="https://github.com/CrunchyData/postgres-operator">Crunchy PostgreSQL Operator</a> を紹介しました。</p>
<p>今回はマルチクラウド Kubernetes 構成に対応した Crunchy PostgreSQL Operator の高可用性とディザスタリカバリ (DR) について紹介します。</p>
<p><span id="more-7070"></span></p>
<h2>マルチクラウド Kubernetes とは</h2>
<p>マルチクラウド Kubernetes は特定の地域やクラウドサービスに依存せず、 複数のクラウドにまたがって Kubernetes クラスタをデプロイすることで、アプリケーションの可用性と耐障害性を向上させる構成です。</p>
<p>Kubernetes では Pod レベルもしくはノードレベルの障害を自動復旧させることはできますが、Kubernetes クラスタが所属している地域に災害が起きた場合、またはクラウドサービスが利用不能になった場合には、Kubernetes クラスタ全体がダウンしてしまいます。</p>
<p>マルチクラウド Kubernetes 構成を組むことで、一方の Kubernetes クラスタがダウンしても、別のクラスタでサービスを継続させることで、システムのダウンタイムを最小限に抑え、迅速に障害や災害から復旧することが可能になります。</p>
<p>しかし、複数の Kubernetes クラスタやクラウドをまたいでデータベースを管理し、データの同期を行うのは極めて困難です。Crunchy PostgreSQL Operator を利用することで、クラウド間で自動的にレプリケーションされている複数の PostgreSQL クラスタを容易に構築・運用できます。</p>
<h2>マルチクラウド Kubernetes に対応した Crunchy PostgreSQL Operator</h2>
<p>Crunchy PostgreSQL Operator は PostgreSQL インスタンスレベルの可用性を実現することもできますが、複数の Kubernetes クラスタにデプロイしている PostgreSQL クラスタを同期させ、クラスタ間でもフェイルオーバーさせることが可能です。さらに、複数の Kubernetes クラスタを物理的に独立した地域やクラウドに分散配置することでディザスタリカバリにも活用できます。</p>
<p>次の図は、Crunchy PostgreSQL Operator を用いたマルチクラウド Kubernetes の構成図になります。2つの独立した Kubernetes クラスタを異なるクラウドサービス、異なるリージョンに配置します。PostgreSQL クラスタをそれぞれの Kubernetes クラスタにデプロイし、アクティブ/スタンバイ構成で冗長化します。</p>
<p><img decoding="async" class="alignnone size-large wp-image-7139" src="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture-1024x705.png" alt="Multi-Cloud アーキテクチャ" width="1024" height="705" srcset="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture-1024x705.png 1024w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture-300x206.png 300w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture-768x528.png 768w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture-1536x1057.png 1536w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture-304x209.png 304w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture-282x194.png 282w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2021/06/multi-cloud-architecture.png 1593w" sizes="(max-width: 1024px) 100vw, 1024px" /></p>
<p>上記の構成図では、例として PostgreSQL アクティブクラスタを AWS に、スタンバイクラスタを GCP にデプロイしていますが、基本的には Crunchy PostgreSQL Operator が対応しているクラウド環境であれば、どの環境でも使用できます。また、オブジェクトストレージとしては S3 (もしくは S3と互換性のあるオブジェクトストレージ) と GCS のどちらでも利用できます。</p>
<p>上記構成の仕組みについて詳しく説明すると、</p>
<ul>
<li>PostgreSQL アクティブクラスタが定期的にバックアップと WAL アーカイブをオブジェクトストレージに保存します。</li>
<li>PostgreSQL スタンバイクラスタが継続的にオブジェクトストレージから WAL を読み込んで、PostgreSQL のアクティブ・スタンバイクラスタ間で同期を行います。</li>
<li>アクティブクラスタに障害が発生した場合は、手動でスタンバイクラスタをアクティブクラスタに昇格し、サービスを継続させることができます。</li>
<li>また、ダウンしていた旧アクティブクラスタは手動操作により、スタンバイクラスタとして復旧することも可能です。</li>
</ul>
<h2>検証環境</h2>
<p>本記事では、Crunchy PostgreSQL Operator を利用し、AWS と GCP を組み合わせたマルチクラウド環境で動作確認を行いました。検証環境の構成は以下の通りです。</p>
<ul>
<li>PostgreSQL アクティブクラスタ
<ul>
<li>Kubernetes クラスタ: EKS (AWS が提供するマネージド Kubernetes サービス)</li>
<li>リージョン: 東京リージョン</li>
</ul>
</li>
<li>PostgreSQL スタンバイクラスタ
<ul>
<li>Kubernetes クラスタ: GKE (Google が提供するマネージド Kubernetes サービス)</li>
<li>リージョン: 大阪リージョン</li>
</ul>
</li>
<li>オブジェクトストレージ
<ul>
<li>Amazon S3</li>
<li>リージョン: 東京リージョン</li>
</ul>
</li>
</ul>
<p>本記事では投稿時点での各ソフトウェアの最新バージョンを用いて以下の項目について動作確認を行いました。</p>
<ul>
<li>バージョン情報
<ul>
<li>Crunchy PostgreSQL Operator 4.7.0</li>
<li>PostgreSQL 13.3</li>
<li>Kubernetes 1.20</li>
</ul>
</li>
<li>動作確認項目
<ul>
<li>PostgreSQL アクティブクラスタのデプロイ</li>
<li>PostgreSQL スタンバイクラスタのデプロイ</li>
<li>クラスタ間レプリケーションの確認</li>
<li>PostgreSQL スタンバイクラスタの昇格</li>
<li>旧 PostgreSQL アクティブクラスタの復旧</li>
</ul>
</li>
</ul>
<p>なお、動作確認を行う前に、以下項目がすでに完了しているものとします。</p>
<ul>
<li>EKS クラスタの作成 (<a href="https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/create-cluster.html">こちら</a>を参照)</li>
<li>GKE クラスタの作成 (<a href="https://cloud.google.com/kubernetes-engine/docs/how-to?hl=ja">こちら</a>を参照)</li>
<li>Amazon S3 バケットの作成 (<a href="https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/creating-bucket.html">こちら</a>を参照)</li>
</ul>
<h2>PostgreSQL Operator および pgo のインストール・設定</h2>
<p>動作確認を行う前に、それぞれの Kubernetes クラスタにおいて、Crunchy PostgreSQL Operator および <code>pgo</code> クライアントコマンドのインストール・設定を行います。クラスタの切り替えは <code>kubectl config use-context &lt;クラスタ名&gt;</code> コマンドを使用します。クラスタの一覧は <code>kubectl config get-contexts<code> コマンドで確認できます。</code></code></p>
<p>まず、Amazon EKS クラスタに接続します。</p>
<p>Crunchy PostgreSQL Operator をインストールします。</p>
<pre>$ kubectl config use-context &lt;EKSクラスタ名&gt;
$ curl -LO https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/postgres-operator.yml
$ kubectl create namespace pgo
$ kubectl apply -f postgres-operator.yml</pre>
<p>pgo コマンドのインストール・設定を行います。本記事では、ローカル環境から各 Kubernetes クラスタに接続し、各種操作を行いますので、それぞれのクラスタに接続するための情報を $HOME/.pgo/eks と $HOME/.pgo/gke に格納します。</p>
<pre>$ curl -LO https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/client-setup.sh
$ chmod +x client-setup.sh
$ ./client-setup.sh
$ mv $HOME/.pgo/pgo/pgo /usr/local/bin/pgo
$ mv $HOME/.pgo/pgo $HOME/.pgo/eks
$ cat &gt;&gt; $HOME/env-eks &lt;&lt;EOF
export PGOUSER=$HOME/.pgo/eks/pgouser
export PGO_CA_CERT=$HOME/.pgo/eks/client.crt
export PGO_CLIENT_CERT=$HOME/.pgo/eks/client.crt
export PGO_CLIENT_KEY=$HOME/.pgo/eks/client.key
export PGO_APISERVER_URL='https://127.0.0.1:8443/'
export PGO_NAMESPACE=pgo
EOF
$ source $HOME/env-eks
$ kubectl -n pgo port-forward svc/postgres-operator 8443:8443 &amp;</pre>
<p>設定完了後、pgo コマンドを実行してみます。バージョン番号が表示されれば、正しく設定できています。</p>
<pre>$ pgo version
pgo client version 4.7.0
Handling connection for 8443
pgo-apiserver version 4.7.0</pre>
<p>次に、GKE クラスタに切り替えて、同様の設定を行います。</p>
<pre>$ kubectl config use-context &lt;GKEクラスタ名&gt;
$ kubectl create namespace pgo
$ kubectl apply -f postgres-operator.yml
$ ./client-setup.sh
$ mv $HOME/.pgo/pgo $HOME/.pgo/gke</pre>
<p>ローカルの 8443 ポートがすでにアクティブクラスタへの接続で使われていますので、スタンバイクラスタへの接続はローカルの 8444 ポートを使用します。</p>
<pre>$ cat &gt;&gt; $HOME/env-gke &lt;&lt;EOF
export PGOUSER=$HOME/.pgo/gke/pgouser
export PGO_CA_CERT=$HOME/.pgo/gke/client.crt
export PGO_CLIENT_CERT=$HOME/.pgo/gke/client.crt
export PGO_CLIENT_KEY=$HOME/.pgo/gke/client.key
export PGO_APISERVER_URL='https://127.0.0.1:8444/'
export PGO_NAMESPACE=pgo
EOF
$ source $HOME/env-gke
$ kubectl -n pgo port-forward svc/postgres-operator 8444:8443 &amp;</pre>
<p>正しく設定されているかを確認します。</p>
<pre>$ pgo version
pgo client version 4.7.0
Handling connection for 8444
pgo-apiserver version 4.7.0</pre>
<p>以上で、PostgreSQL Operator および pgo コマンドのインストール・設定が完了です。</p>
<p>ここからは、Crunchy PostgreSQL Operator を用いたマルチクラウド Kubernetes の動作確認を行います。</p>
<h2>PostgreSQL アクティブクラスタのデプロイ</h2>
<p>まず、EKS クラスタ上に、PostgreSQL アクティブクラスタをデプロイします。</p>
<pre>$ kubectl config use-context &lt;EKSクラスタ名&gt; &amp;&amp; source $HOME/env-eks
$ pgo create cluster hippo \
--replica-count=2 \
--pgbackrest-storage-type="s3" \
--pgbackrest-s3-bucket="crunchy-pg-backup" \
--pgbackrest-s3-region="ap-northeast-1" \
--pgbackrest-s3-endpoint="s3.ap-northeast-1.amazonaws.com" \
--pgbackrest-s3-key="XXXXXXXX" \
--pgbackrest-s3-key-secret="XXXXXXXXXXXXXXXXXXXXXXXXX" \
--password-superuser="postgres" \
--password-replication="postgres" \
--password="postgres"</pre>
<p>それぞれのオプションの意味は以下の通りです。</p>
<ul>
<li><strong><code>--replica-count</code></strong>: レプリカの数。2を指定すると、プライマリ1台、レプリカ2台がストリーミングレプリケーションを構成します。</li>
<li><strong><code>--pgbackrest-storage-type</code></strong>: バックアップと WAL アーカイブの保存先。s3 または gcs を指定します。Kubernetes の永続ボリュームにも保存したい場合は、local,s3 または local,gcs を指定します。</li>
<li><strong><code>--pgbackrest-s3-bucket</code></strong>: Amazon S3 の Bucket 名。</li>
<li><strong><code>--pgbackrest-s3-region</code></strong>: Amazon S3 のリージョン。</li>
<li><strong><code>--pgbackrest-s3-endpoint</code></strong>: Amazon S3 のエンドポイント。</li>
<li><strong><code>--pgbackrest-s3-key</code></strong>: アクセスキーID。</li>
<li><strong><code>--pgbackrest-s3-key-secret</code></strong>: シークレットアクセスキー。</li>
<li><strong><code>--password-superuser</code></strong>: postgres スーパーユーザのパスワード。</li>
<li><strong><code>--password-replication</code></strong>: レプリケーション用のユーザのパスワード。</li>
<li><strong><code>--password</code></strong>: クラスタ作成時に作られる一般ユーザのパスワード。</li>
</ul>
<p><code>--password-superuser</code> や<code>--password-replication</code>、<code>--password</code> にそれぞれのユーザのパスワードを指定します。指定しない場合はランダムに生成されます。ここでは、検証目的のため、すべてのユーザのパスワードを「postgres」と指定しています。</p>
<p>しばらくしたら、クラスタの状態を確認します。プライマリ、レプリカそれぞれの Pod (Instance) と Serviceが  UP 状態になっていれば、正常に起動できています。PostgreSQL アクティブクラスタが定期的に WAL アーカイブを S3 に転送します。</p>
<pre>$ pgo test hippo
cluster : hippo
Services
primary (10.100.113.239:5432): UP
replica (10.100.57.205:5432): UP
Instances
primary (hippo-7b8b78bf8f-2pd7c): UP
replica (hippo-fmju-7d7586ffcf-mlzxj): UP
replica (hippo-hyrz-789c4bb98c-fkgbf): UP</pre>
<h2>PostgreSQL スタンバイクラスタのデプロイ</h2>
<p>次に、GKE クラスタ上に、PostgreSQL スタンバイクラスタをデプロイします。PostgreSQL スタンバイクラスタが継続的に S3 から WAL を読み込み、変更を適用します。</p>
<pre>$ kubectl config use-context &lt;GKEクラスタ名&gt; &amp;&amp; source $HOME/env-gke
$ pgo create cluster hippo-standby \
--standby \
--replica-count=2 \
--pgbackrest-storage-type="s3" \
--pgbackrest-s3-bucket="crunchy-pg-backup" \
--pgbackrest-s3-region="ap-northeast-1" \
--pgbackrest-s3-endpoint="s3.ap-northeast-1.amazonaws.com" \
--pgbackrest-s3-key="XXXXXXXX" \
--pgbackrest-s3-key-secret="XXXXXXXXXXXXXXXXXXXXXXXXX" \
--pgbackrest-repo-path="/backrestrepo/hippo-backrest-shared-repo" \
--password-superuser="postgres" \
--password-replication="postgres" \
--password="postgres"</pre>
<p>それぞれのオプションの意味は以下の通りです。</p>
<ul>
<li><strong><code>--standby</code></strong>: スタンバイクラスタとして起動します。</li>
<li><strong><code>--replica-count</code></strong>: レプリカの数。2を指定すると、スタンバイ1台、レプリカ2台がカスケードレプリケーションを構成します。</li>
<li><strong><code>--pgbackrest-storage-type</code></strong>: アクティブクラスタのバックアップと WAL アーカイブの保存先。s3 または gcs を指定します。</li>
<li><strong><code>--pgbackrest-s3-bucket</code></strong>: Amazon S3 の Bucket 名。</li>
<li><strong><code>--pgbackrest-s3-region</code></strong>: Amazon S3 のリージョン。</li>
<li><strong><code>--pgbackrest-s3-endpoint</code></strong>: Amazon S3 のエンドポイント。</li>
<li><strong><code>--pgbackrest-s3-key</code></strong>: アクセスキーID。</li>
<li><strong><code>--pgbackrest-s3-key-secret</code></strong>: シークレットアクセスキー。</li>
<li><strong><code>--pgbackrest-repo-path</code></strong>: バックアップや WAL アーカイブを格納するディレクトリのパス。</li>
<li><strong><code>--password-superuser</code></strong>: アクティブクラスタで設定している postgres スーパーユーザのパスワード。</li>
<li><strong><code>--password-replication</code></strong>: アクティブクラスタで設定しているレプリケーション用のユーザのパスワード。</li>
<li><strong><code>--password</code></strong>: アクティブクラスタで設定している一般ユーザのパスワード。</li>
</ul>
<p><code>--password-superuser</code> や <code>--password-replication</code>、<code>--password</code> に指定しているパスワードとアクティブクラスタで指定しているパスワードが一致している必要があるので、注意してください。<br />
しばらくしたら、クラスタの状態を確認します。</p>
<pre>$ pgo test hippo-standby
cluster : hippo-standby
Services
primary (10.8.7.45:5432): UP
replica (10.8.2.146:5432): UP
Instances
primary (hippo-standby-5848d9d45c-j52n5): UP
replica (hippo-standby-eezm-b757c4d98-qt6pr): UP
replica (hippo-standby-jgom-5976f8bf8-lb54f): UP</pre>
<h2>レプリケーションの確認</h2>
<p>PostgreSQL アクティブ/スタンバイクラスタのデプロイが完了したら、クラスタ間でレプリケーションが正しく動作するかを確認します。</p>
<p>まず、アクティブクラスタのプライマリに接続し、データの更新を行います。</p>
<pre>$ kubectl config use-context &lt;EKSクラスタ名&gt; &amp;&amp; source $HOME/env-eks
$ kubectl port-forward svc/hippo 5432:5432 -n pgo &amp;

$ PASSWORD=$(kubectl get secret hippo-postgres-secret -n pgo -o 'jsonpath={.data.password}' | base64 -d)
$ PGPASSWORD=$PASSWORD psql -h 127.0.0.1 -U postgres
postgres=# create table t1 (id int);
postgres=# insert into t1 select generate_series(1,10);</pre>
<p>次に、スタンバイクラスタに接続し、データが同期されていることを確認します。</p>
<pre>$ kubectl config use-context &lt;GKEクラスタ名&gt; &amp;&amp; source $HOME/env-gke
$ kubectl port-forward svc/hippo-standby 5433:5432 -n pgo &amp;
$ PASSWORD=$(kubectl get secret hippo-standby-postgres-secret -n pgo -o 'jsonpath={.data.password}' | base64 -d)
$ PGPASSWORD=$PASSWORD psql -h 127.0.0.1 -U postgres -p 5433
postgres=# select * from t1;
id
----
1
2
3
4
5
6
7
8
9
10</pre>
<p>アクティブクラスタで行った更新がスタンバイクラスタに反映されているので、レプリケーションが正しく設定されていることがわかります。</p>
<h2>PostgreSQL スタンバイクラスタの昇格</h2>
<p>アクティブクラスタに障害が発生した場合、手動でスタンバイクラスタをアクティブクラスタに昇格することが可能です。</p>
<p>ここではアクティブクラスタを停止し、疑似的にクラスタ障害を起こします。</p>
<pre>$ kubectl config use-context &lt;EKSクラスタ名&gt; &amp;&amp; source $HOME/env-eks
$ pgo update cluster hippo --shutdown
WARNING: Are you sure? (yes/no): yes
Handling connection for 8443
updated pgcluster hippo</pre>
<p>スプリットブレイン状態にならないように、アクティブクラスタが完全に停止しているかを確認します。</p>
<pre>$ pgo test hippo
cluster : hippo
Services
Instances
primary (): DOWN</pre>
<p>アクティブクラスタが DOWN という状態になったら、スタンバイクラスタを昇格させます。</p>
<pre>$ kubectl config use-context &lt;GKEクラスタ名&gt; &amp;&amp; source $HOME/env-gke
$ pgo update cluster hippo-standby --promote-standby
Disabling standby mode will enable database writes for this cluster.
Please ensure the cluster this standby cluster is replicating from has been properly shutdown before proceeding!
WARNING: Are you sure? (yes/no): yes
Handling connection for 8444
updated pgcluster hippo-standby</pre>
<p>上記コマンドを実行すると、スタンバイクラスタがアクティブクラスタに昇格され、書き込みクエリ/読み取りクエリを処理できるようになります。</p>
<pre>$ PASSWORD=$(kubectl get secret hippo-standby-postgres-secret -n pgo -o 'jsonpath={.data.password}' | base64 -d)
$ PGPASSWORD=$PASSWORD psql -h 127.0.0.1 -U postgres -p 5433
postgres=# insert into t1 select generate_series(11,20);
INSERT 0 10</pre>
<p>スタンバイクラスタ昇格後、新しいタイムラインが生成され、新しいアクティブクラスタが定期的に WAL アーカイブを S3 に転送します。以下のコマンドで WAL アーカイブを格納するディレクトリの中身を確認できます。</p>
<pre>$ aws s3 ls --recursive s3://crunchy-pg-backup/backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/
2021-06-24 15:45:48 1861462 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000001-f8f3f3cf686b527c734c658cd6225294e708d398.gz
2021-06-24 15:46:47 16882 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000002-b354378ca96866d80fb0ce5dde0bc20e5e97811c.gz
2021-06-24 15:47:22 370 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000002.00000028.backup
2021-06-24 15:47:22 16834 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000003-d19c52e43342f0677293844fce0e9763bd4dc0fd.gz
2021-06-24 15:49:21 16936 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000004-e4353d933eee841030b4a644d457645510501e38.gz
2021-06-24 15:51:22 16461 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000005-f3692f7a98b733e2a16db695d03d85ec7e36a76a.gz
2021-06-24 16:23:28 38823 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000006-54001cf223598aaa70dab09817a960c77186712a.gz
2021-06-24 16:26:27 16457 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000100000000/000000010000000000000007-768ad2fa8f6a87db51bf0a7e199341a93f7839d7.gz
2021-06-24 17:13:36 41 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/00000002.history
2021-06-24 17:13:55 16518 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000200000000/000000020000000000000008-edfd6aae39a79700c091d0be5786fb322288f2cc.gz
2021-06-24 17:14:01 16479 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000200000000/000000020000000000000009-d43396f9558ba42ed492f3085d93edf3d995891f.gz
2021-06-24 17:14:02 370 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000200000000/000000020000000000000009.00000028.backup
2021-06-24 17:16:02 18147 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000200000000/00000002000000000000000A-5732b47a4a1a9a7069f567a5e8379104cfe2c32e.gz
2021-06-24 17:19:02 16462 backrestrepo/hippo-backrest-shared-repo/archive/db/13-1/0000000200000000/00000002000000000000000B-298ede92cecd0d1a1dd09852660c1164f9e73b69.gz</pre>
<h2>旧 PostgreSQL アクティブクラスタの復旧</h2>
<p>Kubernetes クラスタが障害から回復したら、ダウンしていた PostgreSQL アクティブクラスタをスタンバイクラスタとして復旧させることも可能です。<br />
以下のコマンドを実行し、PostgreSQL クラスタをスタンバイクラスタとして起動します。以下のコマンドを実行すると、既存の PVC が削除され、再作成されます。永続ボリュームを残したい場合は、利用している StorageClass の reclaimPolicy を Retain に設定してください。</p>
<pre>$ kubectl config use-context &lt;EKSクラスタ名&gt; &amp;&amp; source $HOME/env-eks
$ pgo update cluster hippo --enable-standby
Enabling standby mode will result in the deltion of all PVCs for this cluster!
Data will only be retained if the proper retention policy is configured for any associated storage
classes and/or persistent volumes.
Please proceed with caution.
WARNING: Are you sure? (yes/no): yes
Handling connection for 8443
updated pgcluster hippo</pre>
<p>ConfigMap からスタンバイクラスタとして設定されていることを確認できます。</p>
<pre>$ kubectl get cm hippo-config -n pgo -o yaml | grep standby
archive-get %f \"%p\""},"use_pg_rewind":true,"use_slots":false},"<strong>standby_cluster</strong>":{"create_replica_methods":["pgbackrest_standby"],"restore_command":"source</pre>
<p>上記設定を確認できたら、スタンバイクラスタを起動します。</p>
<pre>$ pgo update cluster hippo --startup
WARNING: Are you sure? (yes/no): yes
Handling connection for 8443
updated pgcluster hippo</pre>
<p>正常に起動していることを確認します。</p>
<pre>$ pgo test hippo
cluster : hippo
Services
primary (10.100.113.239:5432): UP
replica (10.100.57.205:5432): UP
Instances
primary (hippo-7b8b78bf8f-kdhk4): UP
replica (hippo-fmju-7d7586ffcf-5kxw5): UP
replica (hippo-hyrz-789c4bb98c-l2c4w): UP</pre>
<p>PVC の状態を確認します。「AGE」から PVC が再作成されていることがわかります。</p>
<pre>$ kubectl get pvc -n pgo
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE
NAME              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   <strong>AGE</strong>
hippo             Bound    pvc-51b396c1-7204-45ed-9a03-5542a77dda8f   1Gi        RWO            gp2            <strong>1m40s</strong>
hippo-fmju        Bound    pvc-5223e924-abdb-45a9-bd05-cf4c4ecc4dbd   1Gi        RWO            gp2            <strong>1m40s</strong>
hippo-hyrz        Bound    pvc-fadc8764-1b7c-4004-8c69-70afe9f5142f   1Gi        RWO            gp2            <strong>1m39s</strong>
hippo-pgbr-repo   Bound    pvc-48d60253-4928-4bd3-967a-727d61c71d7d   1Gi        RWO            gp2            <strong>1m39s</strong></pre>
<h2>マルチクラウド Kubernetes の運用</h2>
<p>マルチクラウド Kubernetes 構成では、S3/GCS を介して PostgreSQL アクティブ/スタンバイクラスタがデータの同期を行っていますので、WAL アーカイブが行われる間隔 <code>archive_timeout</code> の設定値が大きすぎると、スタンバイクラスタに適用されるまで大きな遅延が発生する可能性がありますので、運用方針に合わせて設定値を調整してください。Crunchy PostgreSQL Operator のデフォルト値は <code>archive_timeout = 60</code> となります。</p>
<p>また、すでに運用している単一 Kubernetes クラスタをマルチクラスタ構成に変更することも可能です。S3/GCS にベースバックアップおよびベースバックアップ取得後の WAL アーカイブがあれば、いつでも PostgreSQL スタンバイクラスタを追加できます。</p>
<h2>終わりに</h2>
<p>今回は、Crunchy PostgreSQL Operator を用いて複数のクラウドサービス、複数のリージョンにまたがって PostgreSQL を冗長化する方法、障害時の復旧、運用の注意点などについて紹介しました。マルチクラウド Kubernetes 構成により、迅速に障害や災害から復旧することが可能になります。PostgreSQL の高可用性や災害対策を検討する際に、マルチクラウド Kubernetes が1つの有効な選択肢になるでしょう。</p>
<p>本記事の執筆時点では、障害発生時に自動的にスタンバイクラスタを昇格させる機能がなく、手動操作によりフェイルオーバーさせる必要がありますが、開発元が積極的に機能追加を行っており、今後の機能拡張が期待できます。</p>
<div>
<a href="https://www.sraoss.co.jp/prod_serv/support/oss-pro-support/?utm_source=sraoss-techblog&utm_medium=referral&utm_campaign=under-article-oss" rel="noopener" style="color:initial;" target="_blank" class="no-ext"></p>
<div style="background-color:#DAEFF6; padding:20px; border-radius:8px; text-align:center;">
SRA OSSでは、各種OSS のサポートを提供しております。<br />
詳しくは<strong style="color:#2581c4;">弊社ホームページ</strong>をご覧ください。
</div>
<p></a>
</div>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Crunchy Postgres Operatorの紹介</title>
		<link>https://www.sraoss.co.jp/tech-blog/pgsql/crunchy-postgresql-operator/</link>
		
		<dc:creator><![CDATA[彭 博 (Bo Peng)]]></dc:creator>
		<pubDate>Tue, 20 Oct 2020 03:33:07 +0000</pubDate>
				<category><![CDATA[Kubernetes]]></category>
		<category><![CDATA[PostgreSQL]]></category>
		<category><![CDATA[Crunchy]]></category>
		<category><![CDATA[Crunchy Data]]></category>
		<category><![CDATA[Operator]]></category>
		<guid isPermaLink="false">https://www.sraoss.co.jp/tech-blog/?p=6127</guid>

					<description><![CDATA[前回の記事Zalando Postgres Operatorの紹介ではKubernetes上でPostgreSQLのHAクラスタを構築するためのOperatorの1つZalando Postgres Operatorにつ ...]]></description>
										<content:encoded><![CDATA[<p>前回の記事<a href="https://www.sraoss.co.jp/tech-blog/pgsql/zalando-postgres-operator">Zalando Postgres Operatorの紹介</a>では<a href="https://kubernetes.io/">Kubernetes</a>上でPostgreSQLのHAクラスタを構築するためのOperatorの1つZalando Postgres Operatorについて解説しました。</p>
<p>今回の記事では、前回の記事に続いて<a href="https://github.com/CrunchyData/postgres-operator">Crunchy Postgres Operator</a>について解説します。</p>
<p><strong>本記事の説明は Crunchy Postgres Operator  4.7 を対象にします。2021 年にリリースされたバージョン 5 (v5) については<a href="https://www.sraoss.co.jp/tech-blog/kubernetes/crunchy-postgres-operator-v5/">Crunchy Postgres Operator v5 の紹介</a>を参照してください。</strong></p>
<p><span id="more-6127"></span></p>
<h2>Crunchy Postgres Operatorとは</h2>
<p><a href="https://github.com/CrunchyData/postgres-operator">Crunchy Postgres Operator</a>は、コンテナの管理ツールであるKubernetes上でPostgreSQL HAクラスタを容易に構築ためのOperatorの1つです(OperatorはKubernetesの機能を拡張するプラグインのような機構です)。Crunchy Postgres OperatorはPostgreSQLの関連サービスを提供しているアメリカの会社である<a href="https://www.crunchydata.com/">Crunchy Data</a>によって開発され、Apache License 2.0で公開されています。PostgreSQL 9.5以降に対応しています。</p>
<h3>全体構成図</h3>
<p><img decoding="async" class="alignnone size-large wp-image-6541" src="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-1024x507.png" alt="" width="1024" height="507" srcset="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-1024x507.png 1024w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-300x149.png 300w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-768x380.png 768w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-1536x761.png 1536w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-304x151.png 304w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-282x140.png 282w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture.png 1952w" sizes="(max-width: 1024px) 100vw, 1024px" /></p>
<h3>Crunchy Postgres Operatorの機能</h3>
<p>Crunchy Postgres Operatorの主な機能は以下の通りです。</p>
<ul>
<li>PostgreSQL HAクラスタのデプロイ・管理</li>
<li>CLI (pgo)</li>
<li>ストリーミングレプリケーション (同期・非同期)</li>
<li>フェイルオーバー</li>
<li>バックアップ (S3対応)</li>
<li>WALアーカイブ (S3対応)</li>
<li>リストア・PITR</li>
<li>自動アップグレード</li>
<li>コネクションプール (PgBouncer使用)</li>
<li>PostgreSQLのログ解析</li>
<li>監視</li>
</ul>
<h2>検証環境</h2>
<p>本記事ではKubernetesのマネージドサービスである<a href="https://aws.amazon.com/jp/eks/">Amazon EKS</a>上でCrunchy Postgres Operatorの動作確認を行いました。<br />
環境の構成およびバージョン情報は以下の通りです。</p>
<ul>
<li>Crunchy Postgres Operator  4.7.0</li>
<li>Kubernetes: Amazon EKS (Kubernetesのマネージドサービス)</li>
<li>ワーカーノード: t3.medium 2ノード</li>
<li>アーカイブ用ストレージ: Amazon S3</li>
<li>作業環境: CentOS 7.6 (AWS上のEC2)</li>
</ul>
<p>なお、EKSクラスタの作成は既に完了しているものとします。EKSの使用方法については<a href="https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/what-is-eks.html">こちら</a>を参照ください。</p>
<h2>検証内容</h2>
<p>本記事は<a href="https://github.com/CrunchyData/postgres-operator/releases/tag/v4.7.0">Crunchy Postgres Operator 4.7.0</a>を用いて以下の項目について動作確認を行いました。</p>
<ul>
<li>Crunchy Postgres Operatorのデプロイ</li>
<li>pgoクライアントコマンドのインストール</li>
<li>PostgreSQLクラスタの作成</li>
<li>psql による接続確認</li>
<li>PostgreSQLの設定</li>
<li>フェイルオーバー</li>
<li>スケーリング</li>
<li>バックアップ</li>
<li>リストア・PITR</li>
<li>アップグレード</li>
</ul>
<h2>Crunchy Postgres Operatorのデプロイ</h2>
<p>以下の方法でPostgreSQL Operatorをデプロイできます。<br />
&#8211; Ansible<br />
&#8211; Bashスクリプト<br />
&#8211; pgo-deploy Job (※推奨、v4.3.0 ～)</p>
<p>v4.3.0から追加された「pgo-deploy Job」を用いたデプロイ方法は他の方法より簡単にPostgreSQL Operatorをインストール/アップデート/アンインストールできるため、こちらの方法の利用が推奨されています。</p>
<p>以下では「pgo-deploy Job」を用いたデプロイ方法を紹介します。</p>
<p>1. まず、デプロイの設定を記述したマニフェストを取得します。</p>
<pre>$ curl -LO https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/postgres-operator.yml</pre>
<p>2. 環境に合わせて、マニフェストを編集します。</p>
<p>最低限Operatorが利用するストレージの設定が必要になります。指定しない場合は、Amazon EKSデフォルトのストレージクラスを利用します。</p>
<p>デフォルトのストレージクラスが定義されていることを確認します。</p>
<pre>$ kubectl get sc
NAME           PROVISIONER            AGE
gp2 (default)  kubernetes.io/aws-ebs  5h49m</pre>
<p>3. デフォルトではOperatorがpgoというNamespaceにインストールされるため、<strong>pgo</strong>というNamespaceを作成し、マニフェストを適用します。</p>
<pre>$ kubectl create namespace pgo
$ kubectl apply -f postgres-operator.yml</pre>
<p>4. インストール後、PostgreSQL Operatorが正常にインストールされていることを確認します。</p>
<pre>$ kubectl get pod -n pgo
NAME                                 READY   STATUS      RESTARTS   AGE
pgo-deploy-bq9fs                     0/1     Completed   0          4m50s
postgres-operator-5d5ff486c7-jtdc6   4/4     Running     1          3m52s

$ kubectl get svc -n pgo
NAME                TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
postgres-operator   ClusterIP   10.100.180.218   &lt;none&gt;        8443/TCP,4171/TCP,4150/TCP   19m</pre>
<p>5. 終了した 「pgo-deploy」Jobを削除するには以下のコマンドを実行します。</p>
<pre>$ kubectl delete -f postgres-operator.yml</pre>
<h2>pgoクライアントコマンドのインストール</h2>
<p>1. client-setup.shスクリプトをダウンロード・実行し、pgoクライアントをインストールします。</p>
<pre>$ curl -LO https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/client-setup.sh
$ chmod +x client-setup.sh
$ ./client-setup.sh</pre>
<p>2. 以下の環境変数を設定します。</p>
<pre>$ cat &gt;&gt; ~/.bashrc &lt;&lt;EOF 
export PATH="$HOME/.pgo/pgo:$PATH"
export PGOUSER="$HOME/.pgo/pgo/pgouser"
export PGO_CA_CERT="$HOME/.pgo/pgo/client.crt"
export PGO_CLIENT_CERT="$HOME/.pgo/pgo/client.crt"
export PGO_CLIENT_KEY="$HOME/.pgo/pgo/client.key"
export PGO_NAMESPACE=pgo
EOF
$ source ~/.bashrc</pre>
<p>3. インストール後、pgoクライアントが正常にインストールされていることを確認します。</p>
<p>postgres-operatorをローカルの8443へポートフォワードを行います。</p>
<pre>$ kubectl -n pgo port-forward svc/postgres-operator 8443:8443 &amp;
</pre>
<p>APIサーバの環境変数をローカルの8443ポートに設定します。</p>
<pre>$ cat &gt;&gt; ~/.bashrc &lt;&lt;EOF 
export PGO_APISERVER_URL="https://127.0.0.1:8443/"
EOF</pre>
<p>clientとAPIサーバのバージョン番号が表示されれば、正しくインストールできています。</p>
<pre>$ pgo version
pgo client version 4.7.0
Handling connection for 8443
pgo-apiserver version 4.7.0</pre>
<h2>PostgreSQLクラスタの作成</h2>
<p><strong>pgo create cluster</strong>コマンドを用いて PostgreSQLクラスタを作成します。</p>
<pre>$ pgo create cluster hippo --replica-count=1 --sync-replication</pre>
<p>上記コマンドで以下のような構成のクラスタが作成されます。</p>
<ul>
<li>primary 1台、replica 1台</li>
<li>同期レプリケーション</li>
<li>自動フェイルオーバー (デフォルト)</li>
<li>バックアップ (デフォルト)</li>
<li>WAL アーカイブ (デフォルト)</li>
<li>ローカルストレージにバックアップと WALアーカイブを保存 (デフォルト)</li>
</ul>
<p>postgresスーパーユーザのパスワードを設定したい場合は<strong><code>--password-superuser</code></strong>オプションで設定可能です。指定しない場合は自動生成されます。また、バックアップの保存先やサイドカー機能などのオプションの詳細については、後述する「バックアップ」や「サイドカー機能」を参照ください。</p>
<p>クラスタの状態を確認します。正常に起動できれば、primary、replicaそれぞれのPod (Instance)とServiceが<strong>UP</strong>状態になっています。</p>
<pre>$ pgo test hippo
Handling connection for 8443

cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-lbc8l): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h2>psql による接続確認</h2>
<p>Kubernetesクラスタ内のノードからは上記primary及びreplicaのServiceに接続することができます。<br />
作業環境からpsqlでprimary及びreplicaのServiceに接続したい場合はkubectlのport-forward機能を利用します。<br />
ここではprimary Serviceの5432ポートをローカルの5432へポートフォワードを行います。<br />
※ PGPRIMARYにはprimaryのService名が入ります。</p>
<pre>$ export PGPRIMARY=$(kubectl get svc -o jsonpath={.items..metadata.name} -l name=hippo,pg-cluster=hippo,vendor=crunchydata -n pgo)
$ kubectl -n pgo port-forward svc/$PGPRIMARY 5432:5432 &amp;</pre>
<p>psqlで接続します。<br />
接続時にパスワード入力プロンプトが表示されるため、クラスタ作成時に指定したパスワードを入力します。</p>
<pre>$ psql -h localhost -U postgres
ユーザ postgres のパスワード:
postgres=# select application_name, state, sync_state from pg_stat_replication;
      application_name      |   state   | sync_state 
----------------------------+-----------+------------
 hippo-gfps-65f776cc6-mhdcw | streaming | sync
(1 行)
</pre>
<p>クラスタ作成時にパスワードを設定していない場合はランダムに生成されています。生成されたパスワードは<strong>kubectl get secret</strong>コマンドで確認できます。</p>
<pre>$ kubectl get secret hippo-postgres-secret -n pgo -o 'jsonpath={.data.password}' | base64 -d</pre>
<h2>PostgreSQLの設定</h2>
<p>PostgreSQLのpostgresql.confやpg_hba.conf、pg_ident.conf などの設定はConfigMapで設定できます。<br />
事前に作成したConfigMapはクラスタ作成時に<strong><code>--custom-config</code></strong>オプションで適用可能です。<br />
指定しない場合は、クラスタ作成時に<strong>&lt;clusterName&gt;-pgha-config</strong>というConfigMapが作成されます。</p>
<p>ConfigMap &lt;clusterName&gt;-pgha-configは以下で構成されます。</p>
<ul>
<li>Distributed Configuration Store (DCS) : クラスタ全体の設定</li>
<li>local Database : PostgreSQLサーバごとの設定</li>
</ul>
<p><strong><code>kubectl describe configmap</code></strong>コマンドを用いてConfigMapの設定を確認できます。</p>
<pre>$ kubectl describe configmap hippo-pgha-config -n pgo</pre>
<p>設定を変更するには <code>kubectl edit configmap</code> コマンドを利用します。<br />
例えば、<code>log_statement</code>を<code>none</code>から<code>all</code>に変更するには以下のコマンドを実行します。<br />
変更するとOperatorによって変更が検出され、自動的にPostgreSQLに反映されます。</p>
<pre>$ kubectl edit configmap hippo-pgha-config -n pgo
data:
  hippo-dcs-config: |
    postgresql:
      parameters:
      ...
        <strong>log_statement: none -&gt; all に変更</strong></pre>
<p>ただし、PostgreSQLの再起動が必要になるパラメータもあり、再起動が必要かどうかは<strong><code>pgo restart hippo --query</code></strong>コマンドで確認できます。<br />
例えば、max_wal_sendersの設定値を変更した場合、PostgreSQLの再起動が必要になります。</p>
<pre>$ kubectl edit configmap hippo-pgha-config -n pgo
data:
  hippo-dcs-config: |
    postgresql:
      parameters:
      ...
        <strong>max_wal_senders: 6 -&gt; 8 に変更
</strong></pre>
<p>設定変更後<code>pgo restart hippo --query</code>を実行し、PENDING RESTARTカラムがtrueになっていれば、再起動が必要なことを意味しています。</p>
<pre>$ pgo restart hippo --query
Handling connection for 8443
Cluster: hippo
INSTANCE                ROLE            STATUS          NODE                                                       REPLICATION LAG         PENDING RESTART
hippo                   primary         running         ip-192-168-84-180.us-west-2.compute.internal               0 MB                    true
hippo-gfps              replica         running         ip-192-168-30-254.us-west-2.compute.internal               0 MB                    true</pre>
<p>上記結果より、hippo及びhippo-gfpsの再起動が必要なので、それぞれのPod (Instance)名を<strong><code>pgo restart</code></strong>コマンドの<strong><code>--target</code></strong>オプションに指定し、再起動します。</p>
<pre>$ pgo restart hippo --target hippo 
$ pgo restart hippo --target hippo-gfps</pre>
<h2>フェイルオーバー</h2>
<p>primaryのPodに故障が発生した場合は、自動的にフェイルオーバーしてreplicaがprimaryに昇格します。これはPostgreSQL HAのテンプレートであるPatroniを利用して実現しています。</p>
<h3>Podを削除した場合</h3>
<p>primaryのPodを削除した場合、replicaがprimary に昇格し、新たなreplicaが生成され、復旧します。<br />
replicaの生成は<a href="https://pgbackrest.org/">pgBackRest</a>のdelta restoreの機能で、迅速に復旧することができます。</p>
<pre>$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-lbc8l): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP

$ kubectl delete pods hippo-646dfd49f5-lbc8l -n pgo
pod "hippo-646dfd49f5-lbc8l" deleted

$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                replica (hippo-646dfd49f5-x7m67): UP
                primary (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h3>プロセス障害の場合</h3>
<p>primaryの Podのプロセス障害が発生した場合は、replicaがprimaryに昇格し、<br />
旧primaryはPodを維持したままreplicaとして再起動します。<br />
以下の例ではPod内に入り、initプロセスを停止させて疑似的にプロセス障害を起こしています。</p>
<pre>$ kubectl exec hippo-gfps-65f776cc6-mhdcw -it -n pgo -- /bin/sh
$ kill 1

$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-x7m67): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h2>スケーリング</h2>
<p>PostgreSQLのreplicaのスケーリングンにより、データベースの負荷分散や耐障害性の向上を実現できます。<br />
pgoクライアントコマンドを実行することで、簡単にスケールアップ/スケールダウンが可能です。</p>
<h3>スケールアップ</h3>
<p>replicaを1台から2台に増やします。</p>
<pre>$ pgo scale hippo --replica-count=1
$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-x7m67): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP
                replica (hippo-zdlq-69dcc59d9-8hn6f): UP</pre>
<h3>スケールダウン</h3>
<p>スケールダウン可能なreplicaを確認します。</p>
<pre>$ pgo scaledown hippo --query
Handling connection for 8443
Cluster: hippo
REPLICA   STATUS   NODE                                          REPLICATION LAG  PENDING RESTART
hippo-gfps running ip-192-168-30-254.us-west-2.compute.internal  0 MB             false
hippo-zdlq running ip-192-168-84-180.us-west-2.compute.internal  0 MB             false
</pre>
<p>replica「hippo-zdlq」を削除します。</p>
<pre>$ pgo scaledown hippo --target=hippo-zdlq

$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-x7m67): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h2>バックアップ</h2>
<figure id="attachment_6161" aria-describedby="caption-attachment-6161" style="width: 938px" class="wp-caption alignnone"><img loading="lazy" decoding="async" class="size-full wp-image-6161" src="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup.png" alt="" width="938" height="461" srcset="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup.png 938w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-300x147.png 300w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-768x377.png 768w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-304x149.png 304w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-282x139.png 282w" sizes="auto, (max-width: 938px) 100vw, 938px" /><figcaption id="caption-attachment-6161" class="wp-caption-text">バックアップ</figcaption></figure>
<p>Crunchy Postgres Operatorのバックアップ/リストアは内部的に<a href="https://pgbackrest.org/">pgBackRest</a>のバックアップ/リストアユーティリティを利用しています。<br />
定期的にフルバックアップまたは差分バックアップを取得することができます。<br />
取得したバックアップやWALアーカイブはローカルストレージもしくはAmazon S3に保存することができ、保存先の設定はPostgreSQLクラスタ作成時に設定可能です。</p>
<p>バックアップに関するクラスタ作成時のオプションは以下のようなものがあります。</p>
<pre>$ pgo create cluster hippo \
--replica-count=1 \
<strong>--pgbackrest-storage-type="local,s3" \</strong>
<strong>--pgbackrest-s3-bucket="crunchy-postgres-backup" \</strong>
<strong>--pgbackrest-s3-region="us-west-2" \</strong>
<strong>--pgbackrest-s3-endpoint="s3.us-west-2.amazonaws.com" \</strong>
<strong>--pgbackrest-s3-key="xxxxxxxxxx" \</strong>
<strong>--pgbackrest-s3-key-secret="xxxxxxxxxxxxxxxxxxxx" \</strong>
<strong>--pgbackrest-s3-verify-tls=false</strong></pre>
<p>それぞれのオプションの意味は以下の通りです。</p>
<ul>
<li><strong><code>--pgbackrest-storage-type</code></strong>: バックアップとWALアーカイブの保存先。&#8221;local,s3&#8243;を指定した場合は、ローカルストレージとAmazon S3に保存します。デフォルトではローカルストレージに保存します。</li>
<li><strong><code>--pgbackrest-s3-bucket</code></strong>: Amazon S3のBucket名を指定します。</li>
<li><strong><code>--pgbackrest-s3-region</code></strong>: Amazon S3のリージョンを指定します。</li>
<li><strong><code>--pgbackrest-s3-endpoint</code></strong>: Amazon S3のエンドポイントを指定します。</li>
<li><strong><code>--pgbackrest-s3-key</code></strong>: Amazon S3 キーを指定します。</li>
<li><strong><code>--pgbackrest-s3-key-secret</code></strong>: Amazon S3 シークレットキーを指定します。</li>
<li><strong><code>--pgbackrest-s3-verify-tls</code></strong>: pgBackRestがAmazon S3に接続するときにTLS証明書を検証するかどうかを設定します。</li>
</ul>
<p>定期バックアップを設定するには<strong>pgo create schedule</strong>コマンドを使います。<br />
バックアップのスケジュールはcron表記で指定します。</p>
<pre>(毎日午前1時にフルバックアップを実行)
$ pgo create schedule hippo --schedule="0 1 * * *" \
--schedule-type=pgbackrest --pgbackrest-backup-type=full</pre>
<p>差分バックアップを行いたい場合は、<strong><code>--pgbackrest-backup-type=incr</code></strong>を指定します。</p>
<pre>(1時間ごとに差分バックアップを実行)
$ pgo create schedule hippo --schedule="0 */1 * * *" \
--schedule-type=pgbackrest --pgbackrest-backup-type=incr
</pre>
<h2>リストア</h2>
<h3>新しいPostgreSQLクラスタの作成</h3>
<p>バックアップから新しいPostgreSQLクラスタを作成するには<strong>pgo create cluster</strong>を利用します。<br />
例えば、開発やテスト目的で本番環境と同じ環境を用意するときに、<strong><code>--restore-from</code></strong>オプションを使用して本番環境の名前を指定するだけです。</p>
<pre>pgo create cluster hippo2 --restore-from=hippo</pre>
<p>デフォルトでは最新のデータに復元しますが、<strong><code>--restore-opts</code></strong>オプションを使用して、特定の時点まで復元可能です。</p>
<pre>pgo create cluster hippo2 \
--restore-from=hippo \
--restore-opts="--type=time --target='2020-07-27 14:50:00.000000+00'"</pre>
<p>また、Amazon S3に保存されているバックアップからPostgreSQLクラスタを作成する場合は、<br />
<strong><code>--repo-type=s3</code></strong>を指定します。</p>
<pre>pgo create cluster hippo2 --restore-from=hippo --restore-opts="--repo-type=s3"
</pre>
<h3>起動中のPostgreSQLクラスタのPITR</h3>
<p>起動中のPostgreSQLクラスタを以前の時点に復元するには<strong>pgo restore</strong>コマンドを使います。<br />
pgo restoreコマンドは既存のデータディレクトリでリカバリを実行しますので、<br />
クラスタが一旦停止され、作り直されます。</p>
<pre>$ pgo restore hippo --pitr-target="2020-07-27 14:50:00.000000+00" \
--backup-opts="--type=time"</pre>
<h2>ログ</h2>
<p>Crunchy PostgeSQL Operator自体にはログを収集する機能がありません。Podのsidecarコンテナとしてfluentdを導入し外部に転送するなどの作り込みは必要となります。</p>
<p>以下の方法でPodのログやPostgreSQLのログを確認可能です。<br />
クラスタの各Podのログは<strong>kubectl logs</strong>コマンドにより確認できます。</p>
<pre>kubectl logs hippo-646dfd49f5-x7m67 -c database -n pgo</pre>
<p>また、Pod内のPostgreSQLログは以下のように格納されています。</p>
<pre>kubectl exec -i -n pgo -t hippo-646dfd49f5-x7m67 -- ls -alt /pgdata/hippo/pg_log
-rw-------  1 postgres postgres  588 Jul  1 12:00 postgresql-Wed.log</pre>
<h2>アップグレード</h2>
<p>新しいバージョンにアップグレードするには、以下2段階のアップグレードを実行する必要があります。</p>
<ol>
<li>Crunchy Postgres Operator自身のアップグレード</li>
<li>PostgreSQLクラスタのアップグレード</li>
</ol>
<p>アップグレードに伴う注意点は以下の通りです。</p>
<ul>
<li>Operatorのアップグレード後、PostgreSQLクラスタのアップグレード完了まで既存のPostgreSQLクラスタの操作はできない。</li>
<li>PostgreSQLクラスタアップグレード時、replica及びreplicaのPVCが削除されるが、primaryとbackrest-repoのPVCがそのまま残り、それぞれの新しいPodに引き継がれる。</li>
<li>PostgreSQLクラスタのアップグレード中、primary Podが停止し、再作成されるので、PostgreSQLクラスタの<strong>ダウンタイム</strong>が発生する。</li>
</ul>
<h3>Crunchy Postgres Operatorのアップグレード</h3>
<p>前述の通り、pgo-deploy Jobにより、PostgreSQL Operatorをアップデートできるので、<br />
新しいバージョンのpostgres-operator.ymlにて<strong>DEPLOY_ACTION</strong>を<strong>update</strong>に変更し、適用します。</p>
<pre>$ vi postgres-operator.yml
...
- name: DEPLOY_ACTION
<strong>value: "install" -&gt; "update" に変更</strong>

$ kubectl apply -f postgres-operator.yml</pre>
<h3>PostgreSQLクラスタのアップグレード</h3>
<p>PostgreSQLクラスタのアップグレードには<strong>pgo upgrade</strong>コマンドを使います。</p>
<pre>$ pgo upgrade &lt;クラスタ名&gt;</pre>
<h2>便利な機能</h2>
<p>PostgreSQLクラスタ作成時に、オプションを指定することで、コネクションプールや<a href="http://pgbadger.darold.net/" target="_blank" rel="noopener noreferrer">pgbadger</a>によるPostgreSQLログ解析、<a href="https://prometheus.io/" target="_blank" rel="noopener noreferrer">Prometheus</a>監視用のメトリクスの出力といった機能が利用できます。</p>
<p>例えば、<strong>pgo create cluster</strong>でクラスタ作成時に<strong><code>--pgbouncer --metrics --pgbadger</code></strong>を指定することで、これら機能が有効になります。</p>
<pre>$ pgo create cluster hippo \ 
--replica-count=1 \ 
--pgbouncer \ 
--metrics \ 
--pgbadger</pre>
<p>それぞれのオプションの意味は以下の通りです。</p>
<ul>
<li><strong><code>--pgbouncer</code></strong>: pgbouncer Pod起動し、コネクションプール機能を有効にする</li>
<li><strong><code>--metrics</code></strong>: Prometheus Exporterコンテナを各それぞれのPostgreSQLのPodに追加し、データベースサーバのパフォーマンスや使用状況、PostgreSQLクラスタの状態などのPrometheusメトリクスを出力する</li>
<li><strong><code>--pgbadger</code></strong>: pgbadgerコンテナをそれぞれのPostgreSQLのPodに追加し、PostgreSQLのログを解析する</li>
</ul>
<h2>おわりに</h2>
<p>今回はPostgreSQL Operatorの1つCrunchy Postgres Operatorについて紹介しました。Crunchy Postgres Operatorを用いることで、Kubernetes上のPostgreSQL HAクラスタの構築・管理が非常に容易になります。開発元が新機能の追加や機能改善に力をいれており、PostgreSQLの最新バージョンに対応するスピードも速く、Kubernets上でPostgreSQLクラスタの構築を検討する際に、1<span class="st">つの有力な選択肢だ</span>と言えるでしょう。</p>
<p>&nbsp;</p>
<div>
<a href="https://www.sraoss.co.jp/prod_serv/support/oss-pro-support/?utm_source=sraoss-techblog&utm_medium=referral&utm_campaign=under-article-oss" rel="noopener" style="color:initial;" target="_blank" class="no-ext"></p>
<div style="background-color:#DAEFF6; padding:20px; border-radius:8px; text-align:center;">
SRA OSSでは、各種OSS のサポートを提供しております。<br />
詳しくは<strong style="color:#2581c4;">弊社ホームページ</strong>をご覧ください。
</div>
<p></a>
</div>

<div>
<a href="https://www.sraoss.co.jp/prod_serv/support/pgsql-mainte/?utm_source=sraoss-techblog&utm_medium=referral&utm_campaign=under-article-pgsql" rel="noopener" style="color:initial;" target="_blank" class="no-ext"></p>
<div style="background-color:#DAEFF6; padding:20px; border-radius:8px; text-align:center;">
SRA OSSでは、PostgreSQL/Pgpool-II のサポートを提供しております。<br />
詳しくは<strong style="color:#2581c4;">弊社ホームページ</strong>をご覧ください。
</div>
<p></a>
</div>

]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
