<?xml version="1.0" encoding="UTF-8"?><rss version="2.0"
	xmlns:content="http://purl.org/rss/1.0/modules/content/"
	xmlns:wfw="http://wellformedweb.org/CommentAPI/"
	xmlns:dc="http://purl.org/dc/elements/1.1/"
	xmlns:atom="http://www.w3.org/2005/Atom"
	xmlns:sy="http://purl.org/rss/1.0/modules/syndication/"
	xmlns:slash="http://purl.org/rss/1.0/modules/slash/"
	>

<channel>
	<title>Crunchy Data &#8211; SRA OSS Tech Blog</title>
	<atom:link href="https://www.sraoss.co.jp/tech-blog/tag/crunchy-data/feed/index.xml" rel="self" type="application/rss+xml" />
	<link>https://www.sraoss.co.jp/tech-blog/</link>
	<description>OSS専門の技術ブログ。PostgreSQL、Zabbixを中心に10種類以上のOSSの解説、アップデート情報、運用ヒントを提供。</description>
	<lastBuildDate>Mon, 09 Nov 2026 03:38:16 +0000</lastBuildDate>
	<language>ja</language>
	<sy:updatePeriod>
	hourly	</sy:updatePeriod>
	<sy:updateFrequency>
	1	</sy:updateFrequency>
	<generator>https://wordpress.org/?v=7.1.3</generator>

<image>
	<url>https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2018/07/blog-icon-150x150.png</url>
	<title>Crunchy Data &#8211; SRA OSS Tech Blog</title>
	<link>https://www.sraoss.co.jp/tech-blog/</link>
	<width>32</width>
	<height>32</height>
</image> 
	<item>
		<title>Crunchy Postgres Operator v5 の紹介</title>
		<link>https://www.sraoss.co.jp/tech-blog/kubernetes/crunchy-postgres-operator-v5/</link>
		
		<dc:creator><![CDATA[彭 博 (Bo Peng)]]></dc:creator>
		<pubDate>Fri, 25 Mar 2022 05:05:52 +0000</pubDate>
				<category><![CDATA[Kubernetes]]></category>
		<category><![CDATA[Crunchy]]></category>
		<category><![CDATA[Crunchy Data]]></category>
		<category><![CDATA[Operator]]></category>
		<category><![CDATA[PostgreSQL]]></category>
		<guid isPermaLink="false">https://www.sraoss.co.jp/tech-blog/?p=9360</guid>

					<description><![CDATA[以前の記事 Crunchy Postgres Operatorの紹介 では、バージョン 4 を対象に Crunchy Postgres Operator のインストール方法、主な機能について紹介しました。2021 年にリ ...]]></description>
										<content:encoded><![CDATA[<p>以前の記事 <a href="https://www.sraoss.co.jp/tech-blog/pgsql/crunchy-postgresql-operator/">Crunchy Postgres Operatorの紹介</a> では、バージョン 4 を対象に Crunchy Postgres Operator のインストール方法、主な機能について紹介しました。2021 年にリリースされた バージョン 5 (v5) では、インストールや管理方法が大幅に変更され、より簡単に構築・運用できるようになりました。</p>
<p>本記事では、 Crunchy Postgres Operator (PGO) v5 のインストール方法と主な機能の使い方について紹介します。</p>
<p><span id="more-9360"></span></p>
<p>Operator を使う理由や Crunchy Postgres Operator の概要については以前の記事 <a href="https://www.sraoss.co.jp/tech-blog/pgsql/kubernetes-postgres-operator/">Kubernetes PostgreSQL Operatorの紹介</a>、<a href="https://www.sraoss.co.jp/tech-blog/pgsql/crunchy-postgresql-operator/">Crunchy Postgres Operatorの紹介</a> を参照してください。</p>
<h2>PGO v5 の主な変更点</h2>
<p>以前 v4 で紹介した以下の機能は、v5 でも引き続き利用できます。利用する際の設定方法は v4 までと異なるので、詳しい設定方法については後述します。</p>
<ul>
<li>PostgreSQL HA クラスタのデプロイ・管理</li>
<li>ストリーミングレプリケーション (同期・非同期)</li>
<li>フェイルオーバー</li>
<li>バックアップ</li>
<li>WALアーカイブ</li>
<li>リストア・PITR</li>
<li>アップグレード</li>
<li>コネクションプール</li>
<li>モニタリング</li>
</ul>
<p>PGO v5 における構築・運用の主な変更点は以下の通りです。</p>
<ul>
<li>PGO v5 では、Kustomize または Helm を利用し、PGO をインストールします。v4 までの方法に比べて、より簡単にインストールできるようになりました。</li>
<li>PGO v4 では基本的に pgo クライアントコマンドを利用して各種操作を行っていましたが、PGO v5 では pgo クライアントコマンドが廃止されました。PGO v5では、Kubernetes で一般的によく使われるコマンドラインツール kubectl を利用して PostgreSQL の構築および管理を行います。</li>
<li>PostgreSQL インスタンスは StatefulSet を使用するようになりました。</li>
<li>PGO v4 までは PostgreSQL のマイナーバージョンアップを行うために、「PGO 自身のアップデート」と「PostgreSQL のアップデート」の2段階のアップデートを実行する必要がありましたが、PGO v5 では、PGO のバージョンを更新せず、PostgreSQL のイメージをアップデートするだけでマイナーバージョンアップができるようになりました。</li>
</ul>
<p>その他の改良や変更点についてはPGO 5.0.0 の<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/releases/5.0.0/" target="_blank" rel="noopener">リリースノート</a>を参照してください。</p>
<h2>PGO v5 の動作環境</h2>
<p>本記事執筆時点 (2022 年 3 月) では、以下の環境で動作確認が行われています。</p>
<ul>
<li>Kubernetes 1.19 以降</li>
<li>OpenShift 4.6 以降</li>
<li>Rancher</li>
<li>Google Kubernetes Engine (GKE), Anthos を含む</li>
<li>Amazon EKS</li>
<li>Microsoft AKS</li>
<li>VMware Tanzu</li>
</ul>
<h2>検証環境およびバージョン情報</h2>
<p>本記事では Kubernetes のマネージドサービスである <a href="https://aws.amazon.com/jp/eks/" target="_blank" rel="noopener">Amazon EKS</a> 上で PGO v5 のデプロイ・動作確認を行います。</p>
<p>環境の構成およびバージョン情報は以下のとおりです。各ソフトウェアは 2022 年 3 月時点での最新バージョンを利用しています。</p>
<ul>
<li>PGO 5.0.5</li>
<li>Amazon EKS
<ul>
<li>Kubernetes バージョン: 1.21</li>
<li>ノード数: 3ノード</li>
<li>ノードタイプ: t3.medium</li>
</ul>
</li>
<li>オブジェクトストレージ: Amazon S3</li>
<li>ローカル作業環境: CentOS 7.9 (VirtualBox 上の VM)</li>
</ul>
<h2>検証内容</h2>
<p>本記事では、PGO v5 を用いて PostgreSQL クラスタを構築し、以下の機能について動作確認を行います。</p>
<ul>
<li>PGO のデプロイ</li>
<li>PostgreSQL クラスタの作成</li>
<li>psql による接続確認</li>
<li>PostgreSQL の設定</li>
<li>フェイルオーバー</li>
<li>スケーリング</li>
<li>ボリュームサイズの拡張</li>
<li>バックアップ</li>
<li>リストア・PITR</li>
<li>モニタリング</li>
</ul>
<h2>前提条件</h2>
<p>PGO をデプロイする前に、次の準備が完了していることが前提となります。</p>
<ul>
<li style="list-style-type: none;">
<ul>
<li>EKS クラスタの作成 (<a href="https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/create-cluster.html" target="_blank" rel="noopener">こちら</a>を参照)</li>
<li>Amazon S3 バケットの作成 (<a href="https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/creating-bucket.html" target="_blank" rel="noopener">こちら</a>を参照)<br />
※作成したバケットの名前は PostgresCluster (後述) の YAML ファイルに設定します。</li>
</ul>
</li>
</ul>
<h2>PGO のデプロイ</h2>
<p>PGO v5 以降、PGO のデプロイは Kustomize または Helm を使うことになりました。本記事では、Kustomize を用いて PGO をデプロイします。</p>
<p>各種サンプル設定ファイルを含む<a href="https://github.com/CrunchyData/postgres-operator-examples" target="_blank" rel="noopener">postgres-operator-examples</a>リポジトリを作業環境に複製します。</p>
<pre>$ git clone https://github.com/CrunchyData/postgres-operator-examples.git
$ cd postgres-operator-examples/</pre>
<p>PGO をデプロイします。</p>
<pre>$ kubectl apply -k kustomize/install</pre>
<p>上記コマンドを実行すると、postgres-operator という名前空間が作成され、PGO のデプロイに必要なすべてのオブジェクトがこの名前空間に作成されます。</p>
<pre>$ kubectl get pods -n postgres-operator
NAME                   READY   STATUS    RESTARTS   AGE
pgo-59c4f987b6-cd6pn   1/1     Running   0          29s</pre>
<h2>ストレージクラスの作成</h2>
<p>Amazon EKS ではデフォルトで gp2 という名前のストレージクラスが作成されていますが、本記事では以下の属性を持つ PGO 専用のストレージクラスを作成します。</p>
<ul>
<li><code><strong>allowVolumeExpansion</strong></code>: ボリュームの拡張を許可するように true を設定する。</li>
<li><code><strong>reclaimPolicy</strong></code>: PVC が削除された際に PV を残すように Retain を設定する。</li>
</ul>
<pre>$ cat &gt; ~/pgo-sc.yaml &lt;&lt;EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: pgo
provisioner: kubernetes.io/aws-ebs
parameters:
  type: gp2
  fsType: ext4
allowVolumeExpansion: true
reclaimPolicy: Retain
EOF

$ kubectl apply -f ~/pgo-sc.yaml
</pre>
<p>作成したストレージクラス pgo を確認します。</p>
<pre>$ kubectl get sc pgo
NAME   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
pgo    kubernetes.io/aws-ebs   <strong>Retain</strong>          Immediate           <strong>true</strong>                   6m36s
</pre>
<h2>PostgreSQL クラスタの作成</h2>
<p>PostgreSQL クラスタをデプロイします。</p>
<p>今回は以下のような構成の PostgreSQL クラスタを作成します。</p>
<ul>
<li>master 1台、replica 2台</li>
<li>同期レプリケーション</li>
<li>自動フェイルオーバー (デフォルト)</li>
<li>WAL アーカイブ (デフォルト)</li>
<li>永続ボリュームと Amazon S3 にバックアップと WAL アーカイブを保存</li>
</ul>
<p>取得したバックアップや WAL アーカイブは永続ボリュームのほか、S3 や GCS、Azure Blob Storage などのオブジェクトストレージにも保存できます。今回は、Amazon S3 を使います。GCS や Azure Blob Storage の設定については、<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/tutorial/backups/" target="_blank" rel="noopener">こちら</a>を参照してください。</p>
<p><a href="https://github.com/CrunchyData/postgres-operator-examples" target="_blank" rel="noopener">postgres-operator-examples</a> リポジトリに各種構成のサンプル設定ファイルが用意されているので、それらのファイルを元に設定ファイルを作成します。今回は S3 を利用するために、kustomize/s3 配下のサンプルファイルをコピーし、必要に応じて編集します。</p>
<pre>$ cp -r  kustomize/s3 kustomize/my-postgres</pre>
<p>PGO v5 では PostgresCluster リソース (CRD) を使って、PostgreSQL クラスタのデプロイ・管理を行います。 PostgresCluster 設定のサンプルは postgres.yaml ファイルに記述されているので、必要に応じて編集します。</p>
<p>今回は以下のような YAML ファイルを利用して PostgresCluster をデプロイします。</p>
<pre>$ cat kustomize/my-postgres/postgres.yaml
apiVersion: postgres-operator.crunchydata.com/v1beta1
kind: PostgresCluster
metadata:
  name: my-postgres
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      replicas: 3
      dataVolumeClaimSpec:
        accessModes:
        - "ReadWriteOnce"
        resources:
          requests:
            storage: 10Gi
        storageClassName: pgo
  backups:
    pgbackrest:
      image: registry.developers.crunchydata.com/crunchydata/crunchy-pgbackrest:centos8-2.36-1
      configuration:
      - secret:
          name: pgo-s3-creds
      global:
        repo2-path: /pgbackrest/postgres-operator/my-postgres/repo2
      repos:
      - name: repo1
        volume:
          volumeClaimSpec:
            accessModes:
            - "ReadWriteOnce"
            resources:
              requests:
                storage: 10Gi
            storageClassName: pgo
      - name: repo2
        s3:
          bucket: "my-postgres"
          endpoint: "s3.us-west-2.amazonaws.com"
          region: "us-west-2"
  patroni:
    dynamicConfiguration:
      synchronous_mode: true
  users:
    - name: postgres
    - name: testuser
      databases:
        - testdb
</pre>
<p>パラメータの意味は以下のとおりです。</p>
<ul>
<li><code><strong>spec.instances.replicas</strong></code>: レプリカの数を指定します。上記設定では、master 1台、replica 2台の PostgreSQL クラスタが作成されます。</li>
<li><code><strong>spec.backups.pgbackrest.repos.name</strong></code>: バックアップと WAL アーカイブの保存先を設定します。repoN 形式で複数の保存先を指定可能です。上記設定では、永続ボリュームを repo1、S3 を repo2 と設定しています。</li>
<li><code><strong>spec.backups.pgbackrest.repos.s3</strong></code>: Amazon S3 バケット情報を設定します。今回は前述の「前提条件」であらかじめ作成したバケットを利用します。</li>
<li><code><strong>spec.instances.dataVolumeClaimSpec</strong></code>: PostgreSQL データ保存用の PVC を設定します。</li>
<li><code><strong>spec.backups.pgbackrest.repos.volume.volumeClaimSpec</strong></code>: バックアップと WAL アーカイブ保存用の PVC を設定します。</li>
<li><code><strong>spec.patroni.dynamicConfiguration.synchronous_mode</strong></code>: 同期レプリケーションを利用するか否かを true/false で設定します。</li>
<li><code><strong>spec.users</strong></code>: デプロイ時に作成する PostgreSQL ユーザとデータベースを指定します。上記設定では、postgres と testuser ユーザ、testdb データベースが作成され、testuser に testdb へのアクセス権限が付与されます。</li>
</ul>
<p>次に、Amazon S3 にアクセスするためのクレデンシャルを登録します。<code><strong>repoN</strong></code> には、上記 <code>postgres.yaml</code> に設定した S3 のリポジトリ名を指定します。</p>
<pre>$ cp kustomize/my-postgres/s3.conf{.example,}
$ vi kustomize/my-postgres/s3.conf
[global]
<strong>repo2</strong>-s3-key=<strong>&lt;アクセスキー&gt;</strong>
<strong>repo2</strong>-s3-key-secret=<strong>&lt;シークレットアクセスキー&gt;</strong>
</pre>
<p>マニフェストの設定が完了したら、PostgreSQL クラスタをデプロイします。</p>
<pre>$ kubectl apply -k kustomize/my-postgres/</pre>
<p>PostgreSQL クラスタの状態を確認します。3つの Pod が作成されます。各 Pod が master か replica かはラベルで確認できます。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE     ROLE
my-postgres-pg-1-45cl-0   3/3     Running   0          7m14s   <strong>master</strong>
my-postgres-pg-1-ctj8-0   3/3     Running   0          7m14s   <strong>replica</strong>
my-postgres-pg-1-rgc4-0   3/3     Running   0          7m14s   <strong>replica</strong>
</pre>
<h2>psql による接続確認</h2>
<p>Kubernetes クラスタ内のノードから、または他の Pod からは上記の PostgreSQL の Pod に接続できますが、作業環境から psql でアクセスしたい場合は <code>kubectl</code> の <code>port-forward</code> 機能を利用します。<br />
ここでは master Pod の 5432 ポートをローカルの 5432 へポートフォワードを行います。<br />
※ <code>PG_CLUSTER_MASTER_POD</code> には master の Pod 名が入ります。</p>
<pre>$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl -n postgres-operator port-forward "${PG_CLUSTER_MASTER_POD}" 5432:5432 &amp;
</pre>
<p>psql で接続します。<code>testuser</code> ユーザの情報を格納する Secret からデータベースの接続情報を取得します。</p>
<pre>$ PG_CLUSTER_USER_SECRET_NAME=my-postgres-pguser-testuser
$ PGPASSWORD=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.password | base64decode}}') \
PGUSER=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.user | base64decode}}') \
PGDATABASE=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.dbname | base64decode}}') \
psql -h localhost
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

testdb=&gt; \du+
                                            List of roles
  Role name   |                         Attributes                         | Member of | Description 
--------------+------------------------------------------------------------+-----------+-------------
 _crunchyrepl | Replication                                                | {}        | 
 postgres     | Superuser, Create role, Create DB, Replication, Bypass RLS | {}        | 
 testuser     |                                                            | {}        |
</pre>
<p>次に、<code>postgres</code> スーパーユーザで接続し、レプリケーションの状態を確認します。</p>
<pre>$ PG_CLUSTER_USER_SECRET_NAME=my-postgres-pguser-postgres
$ PGPASSWORD=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.password | base64decode}}') \
PGUSER=$(kubectl get secrets -n postgres-operator "${PG_CLUSTER_USER_SECRET_NAME}" -o go-template='{{.data.user | base64decode}}') \
psql -h localhost
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=# select application_name, state, sync_state from pg_stat_replication;
    application_name     |   state   | sync_state 
-------------------------+-----------+------------
 my-postgres-pg-1-rgc4-0 | streaming | sync
 my-postgres-pg-1-ctj8-0 | streaming | async
(2 rows)
</pre>
<h2>PostgreSQL の設定</h2>
<p>PostgreSQL のパラメータは <code>spec.patroni.dynamicConfiguration.postgresql.parameters</code> で設定します。<br />
例えば、<code>log_statement: all</code> の設定を追加して適用すると、自動的に PostgreSQL に反映されます。</p>
<pre>vi kustomize/my-postgres/postgres.yaml
(以下を追加)
spec:
  patroni:
    dynamicConfiguration:
      synchronous_mode: true
<strong>      postgresql:
        parameters:
          log_statement: all</strong>

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>設定値が変更されていることを確認します。</p>
<pre>$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl exec ${PG_CLUSTER_MASTER_POD} -n postgres-operator -it -- psql
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=# show log_statement;
 log_statement 
---------------
 all
(1 row)
</pre>
<p>ただし、PostgreSQL の Pod の再起動が必要になるパラメータもあります。<br />
例えば、<code>max_connections</code> の設定値を変更した場合、Pod の再起動が必要になります。<br />
以下のコマンドを実行し、アノテーションを編集することで、PGO が自動的に変更を検出し、1つずつ Pod の再起動を行います。</p>
<pre>$ kubectl patch postgrescluster/my-postgres -n postgres-operator --type merge \
  --patch '{"spec":{"metadata":{"annotations":{"restarted":"'"$(date)"'"}}}}'
</pre>
<h2>フェイルオーバー</h2>
<p>PostgreSQL の master Pod に故障が発生した場合は、自動的にフェイルオーバーしていずれかの replica が master に昇格します。また、定義した「あるべき状態」を満たすために、新たな replica が起動します。この節では、PGO のフェイルオーバーの動作を検証してみます。</p>
<p>まず、master Pod を削除します。</p>
<pre>$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl delete ${PG_CLUSTER_MASTER_POD} -n postgres-operator
pod "my-postgres-pg-1-45cl-0" deleted</pre>
<p>すると、replica Pod「my-postgres-pg-1-ctj8-0」が master に昇格し、旧 master Pod が replica として再起動されることを確認できます。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE   ROLE
my-postgres-pg-1-45cl-0   3/3     Running   0          74s   <strong>replica</strong>
my-postgres-pg-1-ctj8-0   3/3     Running   0          52m   <strong>master</strong>
my-postgres-pg-1-rgc4-0   3/3     Running   0          52m   <strong>replica</strong>
</pre>
<h2>スケーリング</h2>
<p>スケーリングとは、replica を追加または削除することです。<br />
PostgreSQL クラスタに replica を追加することをクラスタのスケールアップ、クラスタから replica を削除することをクラスタのスケールダウンといいます。<br />
スケーリングすることにより、データベースの負荷分散や耐障害性の向上を実現できます。</p>
<p>YAML ファイルの replicas の数を変更し、適用するだけで、簡単にクラスタのスケールアップ/スケールダウンを行えます。<br />
以下のように replicas の数を 3 から 4 に変更して適用すると、新しい replica Pod が起動します。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(replicas を 3 から 4 に変更)
apiVersion: postgres-operator.crunchydata.com/v1beta1
kind: PostgresCluster
metadata:
  name: my-postgres
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      <strong>replicas: 4</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>新しい replica が起動することを確認します。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE     ROLE
<strong>my-postgres-pg-1-2fzw-0   3/3     Running   0          27s     replica</strong>
my-postgres-pg-1-45cl-0   3/3     Running   0          8m14s   replica
my-postgres-pg-1-ctj8-0   3/3     Running   0          59m     master
my-postgres-pg-1-rgc4-0   3/3     Running   0          59m     replica

$ PG_CLUSTER_MASTER_POD=$(kubectl get pod -n postgres-operator -o name -l postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/role=master)
$ kubectl exec ${PG_CLUSTER_MASTER_POD} -n postgres-operator -it -- psql
Handling connection for 5432
psql (14.2)
SSL connection (protocol: TLSv1.2, cipher: ECDHE-ECDSA-AES256-GCM-SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=# select application_name, state, sync_state from pg_stat_replication;
    application_name     |   state   | sync_state 
-------------------------+-----------+------------
 my-postgres-pg-1-45cl-0 | streaming | async
 my-postgres-pg-1-rgc4-0 | streaming | sync
 my-postgres-pg-1-2fzw-0 | streaming | async
(3 rows)
</pre>
<p>元の設定に戻したい場合には、replicas の数を 4 から 3 に減らすと、いずれかの replica Pod が削除されます。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(replicas を 4 から 3 に変更)
apiVersion: postgres-operator.crunchydata.com/v1beta1
kind: PostgresCluster
metadata:
  name: my-postgres
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      <strong>replicas: 3</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>replica Pod が削除されていることを確認します。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE   ROLE
my-postgres-pg-1-45cl-0   3/3     Running   0          15m   replica
my-postgres-pg-1-ctj8-0   3/3     Running   0          67m   master
my-postgres-pg-1-rgc4-0   3/3     Running   0          67m   replica
</pre>
<h2>ボリュームサイズの拡張</h2>
<p>Kubernetes では、ボリュームの拡張が許可される場合のみ、既存の永続ボリューム (PV) のサイズを拡張できます。ボリュームの拡張を許可するかはストレージクラスの <code>allowVolumeExpansion</code> 属性で設定します。</p>
<p>ボリュームの拡張を行う前に、デプロイ済みの PostgreSQL クラスタが利用しているストレージクラスの <code>allowVolumeExpansion</code> の設定値が true であることを確認します。</p>
<pre>$ kubectl get sc pgo
NAME   PROVISIONER             RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
pgo    kubernetes.io/aws-ebs   Retain          Immediate           <strong>true</strong>                   97m
</pre>
<p>PV と PVC のサイズを確認します。</p>
<pre>$ kubectl get pv,pvc -n postgres-operator
NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                            STORAGECLASS   REASON   AGE
persistentvolume/pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-repo1              pgo                     91m
persistentvolume/pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-rgc4-pgdata   pgo                     91m
persistentvolume/pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-45cl-pgdata   pgo                     91m
persistentvolume/pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>10Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-ctj8-pgdata   pgo                     91m

NAME                                                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/my-postgres-pg-1-45cl-pgdata   Bound    pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>10Gi</strong>       RWO            pgo            91m
persistentvolumeclaim/my-postgres-pg-1-ctj8-pgdata   Bound    pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>10Gi</strong>       RWO            pgo            91m
persistentvolumeclaim/my-postgres-pg-1-rgc4-pgdata   Bound    pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>10Gi</strong>       RWO            pgo            91m
persistentvolumeclaim/my-postgres-repo1              Bound    pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>10Gi</strong>       RWO            pgo            91m
</pre>
<p>PostgreSQL のデータ保存用の PVC とバックアップ保存用の PVC の要求サイズを 20GB に変更してみます。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres:centos8-14.2-0
  postgresVersion: 14
  instances:
    - name: pg-1
      replicas: 3
      dataVolumeClaimSpec:
        accessModes:
        - "ReadWriteOnce"
        resources:
          requests:
            <strong>storage: 20Gi</strong>
        storageClassName: pgo
  backups:
    pgbackrest:
      - name: repo1
        volume:
          volumeClaimSpec:
            accessModes:
            - "ReadWriteOnce"
            resources:
              requests:
                <strong>storage: 20Gi</strong>
            storageClassName: pgo
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>PVC と PV のサイズが拡張されていることを確認します。</p>
<pre>$ kubectl get pv,pvc -n postgres-operator
NAME                                                        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                                            STORAGECLASS   REASON   AGE
persistentvolume/pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-repo1              pgo                     103m
persistentvolume/pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-rgc4-pgdata   pgo                     103m
persistentvolume/pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-45cl-pgdata   pgo                     103m
persistentvolume/pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>20Gi</strong>       RWO            Delete           Bound    postgres-operator/my-postgres-pg-1-ctj8-pgdata   pgo                     103m

NAME                                                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS   AGE
persistentvolumeclaim/my-postgres-pg-1-45cl-pgdata   Bound    pvc-4dde75fe-c392-4f75-b483-326dcd6e5d46   <strong>20Gi</strong>       RWO            pgo            103m
persistentvolumeclaim/my-postgres-pg-1-ctj8-pgdata   Bound    pvc-ff62508e-e743-482d-a67b-19726c075c2c   <strong>20Gi</strong>       RWO            pgo            103m
persistentvolumeclaim/my-postgres-pg-1-rgc4-pgdata   Bound    pvc-1e13602d-1455-46b7-bfb0-7dee549ac70f   <strong>20Gi</strong>       RWO            pgo            103m
persistentvolumeclaim/my-postgres-repo1              Bound    pvc-04060f68-9590-4af1-a341-2dd8e1b42055   <strong>20Gi</strong>       RWO            pgo            103m
</pre>
<p><code>allowVolumeExpansion</code> 機能に対応していないストレージでは、既存の永続ボリュームのサイズを拡張できないため、ボリュームサイズが大きい、新しい PostgreSQL クラスタを作成し、既存のクラスタと同期させる必要があります。詳細については<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/tutorial/resize-cluster/#resize-pvcs-with-storageclass-that-does-not-allow-expansion" target="_blank" rel="noopener">こちら</a>を参照してください。</p>
<h2>バックアップ</h2>
<p>PGO のバックアップ/リストアは内部的に pgBackRest のバックアップ/リストアユーティリティを利用しています。定期的にフルバックアップまたは差分バックアップを取得することができます。バックアップのスケジュールは cron 表記で指定します。</p>
<p>定期バックアップのスケジュールは <code>spec.backups.pgbackrest.repos.schedules</code> で設定します。<br />
例えば、以下のように設定すると、毎日午前1時にフルバックアップ、4時間ごとに差分バックアップを実行するようになります。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  backups:
    pgbackrest:
      image: registry.developers.crunchydata.com/crunchydata/crunchy-pgbackrest:centos8-2.36-1
      configuration:
      - secret:
          name: pgo-s3-creds
      global:
        repo2-path: /pgbackrest/postgres-operator/my-postgres/repo2
      repos:
      - name: repo1
        volume:
          volumeClaimSpec:
            accessModes:
            - "ReadWriteOnce"
            resources:
              requests:
                storage: 10Gi
      - name: repo2
<strong>        schedules:
          full: "0 1 * * *"
          incremental: "0 */4 * * *"</strong>
        s3:
          bucket: "crunchy-pg-backup"
          endpoint: "s3.us-west-2.amazonaws.com"
          region: "us-west-2"
(省略)
</pre>
<h2>リストア</h2>
<h3>PostgreSQL クラスタの複製</h3>
<p>PGO v5 では、既存の PostgreSQL クラスタを複製できます。<br />
既存のクラスタを複製するには、<code>spec.dataSource.postgresCluster</code> にコピー元のクラスタ名、バックアップの格納先のリポジトリ名を指定します。</p>
<pre>spec:
<strong>  dataSource:
    postgresCluster:
      clusterName: my-postgres
      repoName: repo2</strong>
</pre>
<p>デフォルトでは最新のデータにリストアしますが、<code>spec.dataSource.postgresCluster.options</code> を指定して、特定の時点までリストア可能です。</p>
<pre>spec:
  dataSource:
    postgresCluster:
      clusterName: my-postgres
      repoName: repo2
<strong>      options:
      - --type=time
      - --target="2022-03-16 14:00:00+09"
</strong></pre>
<h3>既存の PostgreSQL クラスタの PITR</h3>
<p>起動中の PostgreSQL クラスタを以前の時点にリストアするには <code>spec.backups.pgbackrest.restore</code> を設定します。既存のデータディレクトリでリストアを実行するので、クラスタが一旦停止され、作成しなおされます。</p>
<p>例えば、2022-03-16 14:00:00 時点までリストアする場合は、以下の手順を実行します。</p>
<p>まず、PostgresCluster リソースを設定する YAML ファイル postgres.yaml を編集し、適用します。<br />
※この時点ではリストアが実行されません。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  backups:
    pgbackrest:
<strong>      restore:
        enabled: true
        repoName: repo2
        options:
        - --type=time
        - --target="2022-03-16 14:00:00+09"</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<p>次に、PostgresCluster のアノテーションを設定します。<br />
PostgresCluster のアノテーションを設定すると、リストアが実行されます。</p>
<pre>$ kubectl annotate postgrescluster my-postgres  -n postgres-operator --overwrite \
  postgres-operator.crunchydata.com/pgbackrest-restore=id1
</pre>
<p>リストア完了後、リストアの設定を無効にしておきます。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
  backups:
    pgbackrest:
<strong>      restore:
        enabled: false</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres/
</pre>
<h2>モニタリング</h2>
<p>PGO は Prometheus によるモニタリング機能を提供しています。Kubernetes では Prometheus を利用した監視がよく使われています。Prometheus がクラスタの各種メトリクスを収集し、Grafana と連携して、Grafana のダッシュボードで Kubernetes クラスタと PostgreSQL を監視することができます。</p>
<p>モニタリング機能を利用するために、まず、各  Pod に Exporter サイドカーを追加する必要があります。</p>
<pre>$ vi kustomize/my-postgres/postgres.yaml
(省略)
spec:
<strong>  monitoring:
    pgmonitor:
      exporter:
        image: registry.developers.crunchydata.com/crunchydata/crunchy-postgres-exporter:ubi8-5.0.5-0</strong>
(省略)

$ kubectl apply -k kustomize/my-postgres

$ kubectl get pods -n postgres-operator --selector=postgres-operator.crunchydata.com/cluster=my-postgres,postgres-operator.crunchydata.com/instance-set \
  -L postgres-operator.crunchydata.com/role
NAME                      READY   STATUS    RESTARTS   AGE     ROLE
my-postgres-pg-1-45cl-0   <strong>4/4</strong>     Running   0          3m4s    master
my-postgres-pg-1-ctj8-0  <strong> 4/4</strong>     Running   0          3m35s   replica
my-postgres-pg-1-rgc4-0   <strong>4/4</strong>     Running   0          2m14s   replica
</pre>
<p>次に、監視アプリケーション Prometheus、Grafana、Alertmanager をデプロイします。</p>
<p>Amazon EKS のデフォルトのストレージクラス gp2 を利用しても良いですが、今回は前述の手順で作成したストレージクラスを利用します。Prometheus、Grafana、Alertmanager の PVC を定義する YAML ファイルを編集します。<br />
※ デフォルトのストレージクラスを利用する場合は編集不要です。</p>
<pre>$ vi kustomize/monitoring/pvcs.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/name: pgo-monitoring
    vendor: crunchydata
  name: alertmanagerdata
spec:
(省略)
  <strong>storageClassName: pgo</strong>
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/name: pgo-monitoring
    vendor: crunchydata
  name: grafanadata
spec:
(省略)
  <strong>storageClassName: pgo</strong>
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  labels:
    app.kubernetes.io/name: pgo-monitoring
    vendor: crunchydata
  name: prometheusdata
spec:
(省略)
  <strong>storageClassName: pgo</strong>
</pre>
<p>Prometheus、Grafana、Alertmanager をデプロイします。</p>
<pre>$ kubectl apply -k kustomize/monitoring</pre>
<p>Prometheus、Grafana、Alertmanager の Pod が起動していることを確認できます。</p>
<pre>$ kubectl get pods -n postgres-operator --selector=app.kubernetes.io/name=postgres-operator-monitoring
NAME                                   READY   STATUS    RESTARTS   AGE
crunchy-alertmanager-f7b79cbd8-lfv7s   1/1     Running   0          4m47s
crunchy-grafana-548446d646-lqw4l       1/1     Running   0          4m45s
crunchy-prometheus-556f754797-98lcn    1/1     Running   0          4m44s
</pre>
<p>作業環境のブラウザから Grafana にアクセスするために、Grafana Pod の 3000 ポートをローカルの 3000 へポートフォワードを行います。</p>
<pre>$ GRAFANA_POD=$(kubectl get pod -n postgres-operator -o name -l app.kubernetes.io/name=postgres-operator-monitoring,name=crunchy-grafana)
$ kubectl -n postgres-operator port-forward ${GRAFANA_POD} 3000:3000 &amp;</pre>
<p>ブラウザで http://localhost:3000/ にアクセスすると、Grafana のログイン画面が表示されます。Grafana のログインユーザ名とパスワードは以下のコマンドで確認できます。</p>
<pre>$ kubectl get secret grafana-secret -n postgres-operator -ojsonpath='{.data.username}' | base64 --decode ; echo 
$ kubectl get secret grafana-secret -n postgres-operator -ojsonpath='{.data.password}' | base64 --decode ; echo
</pre>
<p>Grafana にログインし、ダッシュボードで Kubernetes クラスタや PostgreSQL の稼働状況を確認できます。</p>
<p><img fetchpriority="high" decoding="async" class="alignnone size-large wp-image-9430" src="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-1024x495.png" alt="" width="1024" height="495" srcset="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-1024x495.png 1024w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-300x145.png 300w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-768x371.png 768w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-1536x742.png 1536w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-304x147.png 304w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana-282x136.png 282w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2022/03/crunchy-grafana.png 1919w" sizes="(max-width: 1024px) 100vw, 1024px" /></p>
<h2>おわりに</h2>
<p>今回は Crunchy Postgres Operator v5 について紹介しました。</p>
<p>インストールや管理方法が大幅に変更され、kubectl が使用できるようになり、以前のバージョンより構築・管理がさらに容易になりました。さらに詳しく知りたい方は、<a href="https://access.crunchydata.com/documentation/postgres-operator/v5/" target="_blank" rel="noopener">公式ドキュメント</a>をご覧ください。</p>
<div>
<a href="https://www.sraoss.co.jp/prod_serv/support/oss-pro-support/?utm_source=sraoss-techblog&utm_medium=referral&utm_campaign=under-article-oss" rel="noopener" style="color:initial;" target="_blank" class="no-ext"></p>
<div style="background-color:#DAEFF6; padding:20px; border-radius:8px; text-align:center;">
SRA OSSでは、各種OSS のサポートを提供しております。<br />
詳しくは<strong style="color:#2581c4;">弊社ホームページ</strong>をご覧ください。
</div>
<p></a>
</div>

]]></content:encoded>
					
		
		
			</item>
		<item>
		<title>Crunchy Postgres Operatorの紹介</title>
		<link>https://www.sraoss.co.jp/tech-blog/pgsql/crunchy-postgresql-operator/</link>
		
		<dc:creator><![CDATA[彭 博 (Bo Peng)]]></dc:creator>
		<pubDate>Tue, 20 Oct 2020 03:33:07 +0000</pubDate>
				<category><![CDATA[Kubernetes]]></category>
		<category><![CDATA[PostgreSQL]]></category>
		<category><![CDATA[Crunchy]]></category>
		<category><![CDATA[Crunchy Data]]></category>
		<category><![CDATA[Operator]]></category>
		<guid isPermaLink="false">https://www.sraoss.co.jp/tech-blog/?p=6127</guid>

					<description><![CDATA[前回の記事Zalando Postgres Operatorの紹介ではKubernetes上でPostgreSQLのHAクラスタを構築するためのOperatorの1つZalando Postgres Operatorにつ ...]]></description>
										<content:encoded><![CDATA[<p>前回の記事<a href="https://www.sraoss.co.jp/tech-blog/pgsql/zalando-postgres-operator">Zalando Postgres Operatorの紹介</a>では<a href="https://kubernetes.io/">Kubernetes</a>上でPostgreSQLのHAクラスタを構築するためのOperatorの1つZalando Postgres Operatorについて解説しました。</p>
<p>今回の記事では、前回の記事に続いて<a href="https://github.com/CrunchyData/postgres-operator">Crunchy Postgres Operator</a>について解説します。</p>
<p><strong>本記事の説明は Crunchy Postgres Operator  4.7 を対象にします。2021 年にリリースされたバージョン 5 (v5) については<a href="https://www.sraoss.co.jp/tech-blog/kubernetes/crunchy-postgres-operator-v5/">Crunchy Postgres Operator v5 の紹介</a>を参照してください。</strong></p>
<p><span id="more-6127"></span></p>
<h2>Crunchy Postgres Operatorとは</h2>
<p><a href="https://github.com/CrunchyData/postgres-operator">Crunchy Postgres Operator</a>は、コンテナの管理ツールであるKubernetes上でPostgreSQL HAクラスタを容易に構築ためのOperatorの1つです(OperatorはKubernetesの機能を拡張するプラグインのような機構です)。Crunchy Postgres OperatorはPostgreSQLの関連サービスを提供しているアメリカの会社である<a href="https://www.crunchydata.com/">Crunchy Data</a>によって開発され、Apache License 2.0で公開されています。PostgreSQL 9.5以降に対応しています。</p>
<h3>全体構成図</h3>
<p><img decoding="async" class="alignnone size-large wp-image-6541" src="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-1024x507.png" alt="" width="1024" height="507" srcset="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-1024x507.png 1024w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-300x149.png 300w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-768x380.png 768w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-1536x761.png 1536w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-304x151.png 304w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture-282x140.png 282w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/10/architecture.png 1952w" sizes="(max-width: 1024px) 100vw, 1024px" /></p>
<h3>Crunchy Postgres Operatorの機能</h3>
<p>Crunchy Postgres Operatorの主な機能は以下の通りです。</p>
<ul>
<li>PostgreSQL HAクラスタのデプロイ・管理</li>
<li>CLI (pgo)</li>
<li>ストリーミングレプリケーション (同期・非同期)</li>
<li>フェイルオーバー</li>
<li>バックアップ (S3対応)</li>
<li>WALアーカイブ (S3対応)</li>
<li>リストア・PITR</li>
<li>自動アップグレード</li>
<li>コネクションプール (PgBouncer使用)</li>
<li>PostgreSQLのログ解析</li>
<li>監視</li>
</ul>
<h2>検証環境</h2>
<p>本記事ではKubernetesのマネージドサービスである<a href="https://aws.amazon.com/jp/eks/">Amazon EKS</a>上でCrunchy Postgres Operatorの動作確認を行いました。<br />
環境の構成およびバージョン情報は以下の通りです。</p>
<ul>
<li>Crunchy Postgres Operator  4.7.0</li>
<li>Kubernetes: Amazon EKS (Kubernetesのマネージドサービス)</li>
<li>ワーカーノード: t3.medium 2ノード</li>
<li>アーカイブ用ストレージ: Amazon S3</li>
<li>作業環境: CentOS 7.6 (AWS上のEC2)</li>
</ul>
<p>なお、EKSクラスタの作成は既に完了しているものとします。EKSの使用方法については<a href="https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/what-is-eks.html">こちら</a>を参照ください。</p>
<h2>検証内容</h2>
<p>本記事は<a href="https://github.com/CrunchyData/postgres-operator/releases/tag/v4.7.0">Crunchy Postgres Operator 4.7.0</a>を用いて以下の項目について動作確認を行いました。</p>
<ul>
<li>Crunchy Postgres Operatorのデプロイ</li>
<li>pgoクライアントコマンドのインストール</li>
<li>PostgreSQLクラスタの作成</li>
<li>psql による接続確認</li>
<li>PostgreSQLの設定</li>
<li>フェイルオーバー</li>
<li>スケーリング</li>
<li>バックアップ</li>
<li>リストア・PITR</li>
<li>アップグレード</li>
</ul>
<h2>Crunchy Postgres Operatorのデプロイ</h2>
<p>以下の方法でPostgreSQL Operatorをデプロイできます。<br />
&#8211; Ansible<br />
&#8211; Bashスクリプト<br />
&#8211; pgo-deploy Job (※推奨、v4.3.0 ～)</p>
<p>v4.3.0から追加された「pgo-deploy Job」を用いたデプロイ方法は他の方法より簡単にPostgreSQL Operatorをインストール/アップデート/アンインストールできるため、こちらの方法の利用が推奨されています。</p>
<p>以下では「pgo-deploy Job」を用いたデプロイ方法を紹介します。</p>
<p>1. まず、デプロイの設定を記述したマニフェストを取得します。</p>
<pre>$ curl -LO https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/postgres-operator.yml</pre>
<p>2. 環境に合わせて、マニフェストを編集します。</p>
<p>最低限Operatorが利用するストレージの設定が必要になります。指定しない場合は、Amazon EKSデフォルトのストレージクラスを利用します。</p>
<p>デフォルトのストレージクラスが定義されていることを確認します。</p>
<pre>$ kubectl get sc
NAME           PROVISIONER            AGE
gp2 (default)  kubernetes.io/aws-ebs  5h49m</pre>
<p>3. デフォルトではOperatorがpgoというNamespaceにインストールされるため、<strong>pgo</strong>というNamespaceを作成し、マニフェストを適用します。</p>
<pre>$ kubectl create namespace pgo
$ kubectl apply -f postgres-operator.yml</pre>
<p>4. インストール後、PostgreSQL Operatorが正常にインストールされていることを確認します。</p>
<pre>$ kubectl get pod -n pgo
NAME                                 READY   STATUS      RESTARTS   AGE
pgo-deploy-bq9fs                     0/1     Completed   0          4m50s
postgres-operator-5d5ff486c7-jtdc6   4/4     Running     1          3m52s

$ kubectl get svc -n pgo
NAME                TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                      AGE
postgres-operator   ClusterIP   10.100.180.218   &lt;none&gt;        8443/TCP,4171/TCP,4150/TCP   19m</pre>
<p>5. 終了した 「pgo-deploy」Jobを削除するには以下のコマンドを実行します。</p>
<pre>$ kubectl delete -f postgres-operator.yml</pre>
<h2>pgoクライアントコマンドのインストール</h2>
<p>1. client-setup.shスクリプトをダウンロード・実行し、pgoクライアントをインストールします。</p>
<pre>$ curl -LO https://raw.githubusercontent.com/CrunchyData/postgres-operator/v4.7.0/installers/kubectl/client-setup.sh
$ chmod +x client-setup.sh
$ ./client-setup.sh</pre>
<p>2. 以下の環境変数を設定します。</p>
<pre>$ cat &gt;&gt; ~/.bashrc &lt;&lt;EOF 
export PATH="$HOME/.pgo/pgo:$PATH"
export PGOUSER="$HOME/.pgo/pgo/pgouser"
export PGO_CA_CERT="$HOME/.pgo/pgo/client.crt"
export PGO_CLIENT_CERT="$HOME/.pgo/pgo/client.crt"
export PGO_CLIENT_KEY="$HOME/.pgo/pgo/client.key"
export PGO_NAMESPACE=pgo
EOF
$ source ~/.bashrc</pre>
<p>3. インストール後、pgoクライアントが正常にインストールされていることを確認します。</p>
<p>postgres-operatorをローカルの8443へポートフォワードを行います。</p>
<pre>$ kubectl -n pgo port-forward svc/postgres-operator 8443:8443 &amp;
</pre>
<p>APIサーバの環境変数をローカルの8443ポートに設定します。</p>
<pre>$ cat &gt;&gt; ~/.bashrc &lt;&lt;EOF 
export PGO_APISERVER_URL="https://127.0.0.1:8443/"
EOF</pre>
<p>clientとAPIサーバのバージョン番号が表示されれば、正しくインストールできています。</p>
<pre>$ pgo version
pgo client version 4.7.0
Handling connection for 8443
pgo-apiserver version 4.7.0</pre>
<h2>PostgreSQLクラスタの作成</h2>
<p><strong>pgo create cluster</strong>コマンドを用いて PostgreSQLクラスタを作成します。</p>
<pre>$ pgo create cluster hippo --replica-count=1 --sync-replication</pre>
<p>上記コマンドで以下のような構成のクラスタが作成されます。</p>
<ul>
<li>primary 1台、replica 1台</li>
<li>同期レプリケーション</li>
<li>自動フェイルオーバー (デフォルト)</li>
<li>バックアップ (デフォルト)</li>
<li>WAL アーカイブ (デフォルト)</li>
<li>ローカルストレージにバックアップと WALアーカイブを保存 (デフォルト)</li>
</ul>
<p>postgresスーパーユーザのパスワードを設定したい場合は<strong><code>--password-superuser</code></strong>オプションで設定可能です。指定しない場合は自動生成されます。また、バックアップの保存先やサイドカー機能などのオプションの詳細については、後述する「バックアップ」や「サイドカー機能」を参照ください。</p>
<p>クラスタの状態を確認します。正常に起動できれば、primary、replicaそれぞれのPod (Instance)とServiceが<strong>UP</strong>状態になっています。</p>
<pre>$ pgo test hippo
Handling connection for 8443

cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-lbc8l): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h2>psql による接続確認</h2>
<p>Kubernetesクラスタ内のノードからは上記primary及びreplicaのServiceに接続することができます。<br />
作業環境からpsqlでprimary及びreplicaのServiceに接続したい場合はkubectlのport-forward機能を利用します。<br />
ここではprimary Serviceの5432ポートをローカルの5432へポートフォワードを行います。<br />
※ PGPRIMARYにはprimaryのService名が入ります。</p>
<pre>$ export PGPRIMARY=$(kubectl get svc -o jsonpath={.items..metadata.name} -l name=hippo,pg-cluster=hippo,vendor=crunchydata -n pgo)
$ kubectl -n pgo port-forward svc/$PGPRIMARY 5432:5432 &amp;</pre>
<p>psqlで接続します。<br />
接続時にパスワード入力プロンプトが表示されるため、クラスタ作成時に指定したパスワードを入力します。</p>
<pre>$ psql -h localhost -U postgres
ユーザ postgres のパスワード:
postgres=# select application_name, state, sync_state from pg_stat_replication;
      application_name      |   state   | sync_state 
----------------------------+-----------+------------
 hippo-gfps-65f776cc6-mhdcw | streaming | sync
(1 行)
</pre>
<p>クラスタ作成時にパスワードを設定していない場合はランダムに生成されています。生成されたパスワードは<strong>kubectl get secret</strong>コマンドで確認できます。</p>
<pre>$ kubectl get secret hippo-postgres-secret -n pgo -o 'jsonpath={.data.password}' | base64 -d</pre>
<h2>PostgreSQLの設定</h2>
<p>PostgreSQLのpostgresql.confやpg_hba.conf、pg_ident.conf などの設定はConfigMapで設定できます。<br />
事前に作成したConfigMapはクラスタ作成時に<strong><code>--custom-config</code></strong>オプションで適用可能です。<br />
指定しない場合は、クラスタ作成時に<strong>&lt;clusterName&gt;-pgha-config</strong>というConfigMapが作成されます。</p>
<p>ConfigMap &lt;clusterName&gt;-pgha-configは以下で構成されます。</p>
<ul>
<li>Distributed Configuration Store (DCS) : クラスタ全体の設定</li>
<li>local Database : PostgreSQLサーバごとの設定</li>
</ul>
<p><strong><code>kubectl describe configmap</code></strong>コマンドを用いてConfigMapの設定を確認できます。</p>
<pre>$ kubectl describe configmap hippo-pgha-config -n pgo</pre>
<p>設定を変更するには <code>kubectl edit configmap</code> コマンドを利用します。<br />
例えば、<code>log_statement</code>を<code>none</code>から<code>all</code>に変更するには以下のコマンドを実行します。<br />
変更するとOperatorによって変更が検出され、自動的にPostgreSQLに反映されます。</p>
<pre>$ kubectl edit configmap hippo-pgha-config -n pgo
data:
  hippo-dcs-config: |
    postgresql:
      parameters:
      ...
        <strong>log_statement: none -&gt; all に変更</strong></pre>
<p>ただし、PostgreSQLの再起動が必要になるパラメータもあり、再起動が必要かどうかは<strong><code>pgo restart hippo --query</code></strong>コマンドで確認できます。<br />
例えば、max_wal_sendersの設定値を変更した場合、PostgreSQLの再起動が必要になります。</p>
<pre>$ kubectl edit configmap hippo-pgha-config -n pgo
data:
  hippo-dcs-config: |
    postgresql:
      parameters:
      ...
        <strong>max_wal_senders: 6 -&gt; 8 に変更
</strong></pre>
<p>設定変更後<code>pgo restart hippo --query</code>を実行し、PENDING RESTARTカラムがtrueになっていれば、再起動が必要なことを意味しています。</p>
<pre>$ pgo restart hippo --query
Handling connection for 8443
Cluster: hippo
INSTANCE                ROLE            STATUS          NODE                                                       REPLICATION LAG         PENDING RESTART
hippo                   primary         running         ip-192-168-84-180.us-west-2.compute.internal               0 MB                    true
hippo-gfps              replica         running         ip-192-168-30-254.us-west-2.compute.internal               0 MB                    true</pre>
<p>上記結果より、hippo及びhippo-gfpsの再起動が必要なので、それぞれのPod (Instance)名を<strong><code>pgo restart</code></strong>コマンドの<strong><code>--target</code></strong>オプションに指定し、再起動します。</p>
<pre>$ pgo restart hippo --target hippo 
$ pgo restart hippo --target hippo-gfps</pre>
<h2>フェイルオーバー</h2>
<p>primaryのPodに故障が発生した場合は、自動的にフェイルオーバーしてreplicaがprimaryに昇格します。これはPostgreSQL HAのテンプレートであるPatroniを利用して実現しています。</p>
<h3>Podを削除した場合</h3>
<p>primaryのPodを削除した場合、replicaがprimary に昇格し、新たなreplicaが生成され、復旧します。<br />
replicaの生成は<a href="https://pgbackrest.org/">pgBackRest</a>のdelta restoreの機能で、迅速に復旧することができます。</p>
<pre>$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-lbc8l): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP

$ kubectl delete pods hippo-646dfd49f5-lbc8l -n pgo
pod "hippo-646dfd49f5-lbc8l" deleted

$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                replica (hippo-646dfd49f5-x7m67): UP
                primary (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h3>プロセス障害の場合</h3>
<p>primaryの Podのプロセス障害が発生した場合は、replicaがprimaryに昇格し、<br />
旧primaryはPodを維持したままreplicaとして再起動します。<br />
以下の例ではPod内に入り、initプロセスを停止させて疑似的にプロセス障害を起こしています。</p>
<pre>$ kubectl exec hippo-gfps-65f776cc6-mhdcw -it -n pgo -- /bin/sh
$ kill 1

$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-x7m67): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h2>スケーリング</h2>
<p>PostgreSQLのreplicaのスケーリングンにより、データベースの負荷分散や耐障害性の向上を実現できます。<br />
pgoクライアントコマンドを実行することで、簡単にスケールアップ/スケールダウンが可能です。</p>
<h3>スケールアップ</h3>
<p>replicaを1台から2台に増やします。</p>
<pre>$ pgo scale hippo --replica-count=1
$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-x7m67): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP
                replica (hippo-zdlq-69dcc59d9-8hn6f): UP</pre>
<h3>スケールダウン</h3>
<p>スケールダウン可能なreplicaを確認します。</p>
<pre>$ pgo scaledown hippo --query
Handling connection for 8443
Cluster: hippo
REPLICA   STATUS   NODE                                          REPLICATION LAG  PENDING RESTART
hippo-gfps running ip-192-168-30-254.us-west-2.compute.internal  0 MB             false
hippo-zdlq running ip-192-168-84-180.us-west-2.compute.internal  0 MB             false
</pre>
<p>replica「hippo-zdlq」を削除します。</p>
<pre>$ pgo scaledown hippo --target=hippo-zdlq

$ pgo test hippo
Handling connection for 8443
cluster : hippo
        Services
                primary (10.100.43.244:5432): UP
                replica (10.100.157.106:5432): UP
        Instances
                primary (hippo-646dfd49f5-x7m67): UP
                replica (hippo-gfps-65f776cc6-mhdcw): UP</pre>
<h2>バックアップ</h2>
<figure id="attachment_6161" aria-describedby="caption-attachment-6161" style="width: 938px" class="wp-caption alignnone"><img decoding="async" class="size-full wp-image-6161" src="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup.png" alt="" width="938" height="461" srcset="https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup.png 938w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-300x147.png 300w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-768x377.png 768w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-304x149.png 304w, https://www.sraoss.co.jp/tech-blog/wp-content/uploads/2020/07/backup-282x139.png 282w" sizes="(max-width: 938px) 100vw, 938px" /><figcaption id="caption-attachment-6161" class="wp-caption-text">バックアップ</figcaption></figure>
<p>Crunchy Postgres Operatorのバックアップ/リストアは内部的に<a href="https://pgbackrest.org/">pgBackRest</a>のバックアップ/リストアユーティリティを利用しています。<br />
定期的にフルバックアップまたは差分バックアップを取得することができます。<br />
取得したバックアップやWALアーカイブはローカルストレージもしくはAmazon S3に保存することができ、保存先の設定はPostgreSQLクラスタ作成時に設定可能です。</p>
<p>バックアップに関するクラスタ作成時のオプションは以下のようなものがあります。</p>
<pre>$ pgo create cluster hippo \
--replica-count=1 \
<strong>--pgbackrest-storage-type="local,s3" \</strong>
<strong>--pgbackrest-s3-bucket="crunchy-postgres-backup" \</strong>
<strong>--pgbackrest-s3-region="us-west-2" \</strong>
<strong>--pgbackrest-s3-endpoint="s3.us-west-2.amazonaws.com" \</strong>
<strong>--pgbackrest-s3-key="xxxxxxxxxx" \</strong>
<strong>--pgbackrest-s3-key-secret="xxxxxxxxxxxxxxxxxxxx" \</strong>
<strong>--pgbackrest-s3-verify-tls=false</strong></pre>
<p>それぞれのオプションの意味は以下の通りです。</p>
<ul>
<li><strong><code>--pgbackrest-storage-type</code></strong>: バックアップとWALアーカイブの保存先。&#8221;local,s3&#8243;を指定した場合は、ローカルストレージとAmazon S3に保存します。デフォルトではローカルストレージに保存します。</li>
<li><strong><code>--pgbackrest-s3-bucket</code></strong>: Amazon S3のBucket名を指定します。</li>
<li><strong><code>--pgbackrest-s3-region</code></strong>: Amazon S3のリージョンを指定します。</li>
<li><strong><code>--pgbackrest-s3-endpoint</code></strong>: Amazon S3のエンドポイントを指定します。</li>
<li><strong><code>--pgbackrest-s3-key</code></strong>: Amazon S3 キーを指定します。</li>
<li><strong><code>--pgbackrest-s3-key-secret</code></strong>: Amazon S3 シークレットキーを指定します。</li>
<li><strong><code>--pgbackrest-s3-verify-tls</code></strong>: pgBackRestがAmazon S3に接続するときにTLS証明書を検証するかどうかを設定します。</li>
</ul>
<p>定期バックアップを設定するには<strong>pgo create schedule</strong>コマンドを使います。<br />
バックアップのスケジュールはcron表記で指定します。</p>
<pre>(毎日午前1時にフルバックアップを実行)
$ pgo create schedule hippo --schedule="0 1 * * *" \
--schedule-type=pgbackrest --pgbackrest-backup-type=full</pre>
<p>差分バックアップを行いたい場合は、<strong><code>--pgbackrest-backup-type=incr</code></strong>を指定します。</p>
<pre>(1時間ごとに差分バックアップを実行)
$ pgo create schedule hippo --schedule="0 */1 * * *" \
--schedule-type=pgbackrest --pgbackrest-backup-type=incr
</pre>
<h2>リストア</h2>
<h3>新しいPostgreSQLクラスタの作成</h3>
<p>バックアップから新しいPostgreSQLクラスタを作成するには<strong>pgo create cluster</strong>を利用します。<br />
例えば、開発やテスト目的で本番環境と同じ環境を用意するときに、<strong><code>--restore-from</code></strong>オプションを使用して本番環境の名前を指定するだけです。</p>
<pre>pgo create cluster hippo2 --restore-from=hippo</pre>
<p>デフォルトでは最新のデータに復元しますが、<strong><code>--restore-opts</code></strong>オプションを使用して、特定の時点まで復元可能です。</p>
<pre>pgo create cluster hippo2 \
--restore-from=hippo \
--restore-opts="--type=time --target='2020-07-27 14:50:00.000000+00'"</pre>
<p>また、Amazon S3に保存されているバックアップからPostgreSQLクラスタを作成する場合は、<br />
<strong><code>--repo-type=s3</code></strong>を指定します。</p>
<pre>pgo create cluster hippo2 --restore-from=hippo --restore-opts="--repo-type=s3"
</pre>
<h3>起動中のPostgreSQLクラスタのPITR</h3>
<p>起動中のPostgreSQLクラスタを以前の時点に復元するには<strong>pgo restore</strong>コマンドを使います。<br />
pgo restoreコマンドは既存のデータディレクトリでリカバリを実行しますので、<br />
クラスタが一旦停止され、作り直されます。</p>
<pre>$ pgo restore hippo --pitr-target="2020-07-27 14:50:00.000000+00" \
--backup-opts="--type=time"</pre>
<h2>ログ</h2>
<p>Crunchy PostgeSQL Operator自体にはログを収集する機能がありません。Podのsidecarコンテナとしてfluentdを導入し外部に転送するなどの作り込みは必要となります。</p>
<p>以下の方法でPodのログやPostgreSQLのログを確認可能です。<br />
クラスタの各Podのログは<strong>kubectl logs</strong>コマンドにより確認できます。</p>
<pre>kubectl logs hippo-646dfd49f5-x7m67 -c database -n pgo</pre>
<p>また、Pod内のPostgreSQLログは以下のように格納されています。</p>
<pre>kubectl exec -i -n pgo -t hippo-646dfd49f5-x7m67 -- ls -alt /pgdata/hippo/pg_log
-rw-------  1 postgres postgres  588 Jul  1 12:00 postgresql-Wed.log</pre>
<h2>アップグレード</h2>
<p>新しいバージョンにアップグレードするには、以下2段階のアップグレードを実行する必要があります。</p>
<ol>
<li>Crunchy Postgres Operator自身のアップグレード</li>
<li>PostgreSQLクラスタのアップグレード</li>
</ol>
<p>アップグレードに伴う注意点は以下の通りです。</p>
<ul>
<li>Operatorのアップグレード後、PostgreSQLクラスタのアップグレード完了まで既存のPostgreSQLクラスタの操作はできない。</li>
<li>PostgreSQLクラスタアップグレード時、replica及びreplicaのPVCが削除されるが、primaryとbackrest-repoのPVCがそのまま残り、それぞれの新しいPodに引き継がれる。</li>
<li>PostgreSQLクラスタのアップグレード中、primary Podが停止し、再作成されるので、PostgreSQLクラスタの<strong>ダウンタイム</strong>が発生する。</li>
</ul>
<h3>Crunchy Postgres Operatorのアップグレード</h3>
<p>前述の通り、pgo-deploy Jobにより、PostgreSQL Operatorをアップデートできるので、<br />
新しいバージョンのpostgres-operator.ymlにて<strong>DEPLOY_ACTION</strong>を<strong>update</strong>に変更し、適用します。</p>
<pre>$ vi postgres-operator.yml
...
- name: DEPLOY_ACTION
<strong>value: "install" -&gt; "update" に変更</strong>

$ kubectl apply -f postgres-operator.yml</pre>
<h3>PostgreSQLクラスタのアップグレード</h3>
<p>PostgreSQLクラスタのアップグレードには<strong>pgo upgrade</strong>コマンドを使います。</p>
<pre>$ pgo upgrade &lt;クラスタ名&gt;</pre>
<h2>便利な機能</h2>
<p>PostgreSQLクラスタ作成時に、オプションを指定することで、コネクションプールや<a href="http://pgbadger.darold.net/" target="_blank" rel="noopener noreferrer">pgbadger</a>によるPostgreSQLログ解析、<a href="https://prometheus.io/" target="_blank" rel="noopener noreferrer">Prometheus</a>監視用のメトリクスの出力といった機能が利用できます。</p>
<p>例えば、<strong>pgo create cluster</strong>でクラスタ作成時に<strong><code>--pgbouncer --metrics --pgbadger</code></strong>を指定することで、これら機能が有効になります。</p>
<pre>$ pgo create cluster hippo \ 
--replica-count=1 \ 
--pgbouncer \ 
--metrics \ 
--pgbadger</pre>
<p>それぞれのオプションの意味は以下の通りです。</p>
<ul>
<li><strong><code>--pgbouncer</code></strong>: pgbouncer Pod起動し、コネクションプール機能を有効にする</li>
<li><strong><code>--metrics</code></strong>: Prometheus Exporterコンテナを各それぞれのPostgreSQLのPodに追加し、データベースサーバのパフォーマンスや使用状況、PostgreSQLクラスタの状態などのPrometheusメトリクスを出力する</li>
<li><strong><code>--pgbadger</code></strong>: pgbadgerコンテナをそれぞれのPostgreSQLのPodに追加し、PostgreSQLのログを解析する</li>
</ul>
<h2>おわりに</h2>
<p>今回はPostgreSQL Operatorの1つCrunchy Postgres Operatorについて紹介しました。Crunchy Postgres Operatorを用いることで、Kubernetes上のPostgreSQL HAクラスタの構築・管理が非常に容易になります。開発元が新機能の追加や機能改善に力をいれており、PostgreSQLの最新バージョンに対応するスピードも速く、Kubernets上でPostgreSQLクラスタの構築を検討する際に、1<span class="st">つの有力な選択肢だ</span>と言えるでしょう。</p>
<p>&nbsp;</p>
<div>
<a href="https://www.sraoss.co.jp/prod_serv/support/oss-pro-support/?utm_source=sraoss-techblog&utm_medium=referral&utm_campaign=under-article-oss" rel="noopener" style="color:initial;" target="_blank" class="no-ext"></p>
<div style="background-color:#DAEFF6; padding:20px; border-radius:8px; text-align:center;">
SRA OSSでは、各種OSS のサポートを提供しております。<br />
詳しくは<strong style="color:#2581c4;">弊社ホームページ</strong>をご覧ください。
</div>
<p></a>
</div>

<div>
<a href="https://www.sraoss.co.jp/prod_serv/support/pgsql-mainte/?utm_source=sraoss-techblog&utm_medium=referral&utm_campaign=under-article-pgsql" rel="noopener" style="color:initial;" target="_blank" class="no-ext"></p>
<div style="background-color:#DAEFF6; padding:20px; border-radius:8px; text-align:center;">
SRA OSSでは、PostgreSQL/Pgpool-II のサポートを提供しております。<br />
詳しくは<strong style="color:#2581c4;">弊社ホームページ</strong>をご覧ください。
</div>
<p></a>
</div>

]]></content:encoded>
					
		
		
			</item>
	</channel>
</rss>
