eudcで外字を文字コード変換

eudc とは

皆さんの携わるシステムでは外字を使っていますでしょうか。外字とは各文字エンコーディングでユーザ外字領域や私用領域として定められているコードに割り当てられた字のことです。よく知られている用途としては SJIS で動作していたかつての携帯電話で使われていた絵文字があります。

PostgreSQL は、データベースのサーバ文字エンコーディングである UTF8 や EUC_JP、EUC_JIS_2004 において外字を利用可能です。そのコードにどのような字形が割り当てられているかは関知しませんが、外字用とされているコード範囲の文字を読み書きすることができます。

一方で PostgreSQL はクライアント文字エンコーディングからサーバ文字エンコーディングの変換で、一部について外字をサポートしません。日本語の文字エンコーディングでしばしば問題となるのは、サーバ側が UTF8 でクライアント側が SJIS や EUC_JP の場合です。これらの変換では外字はエラーになってしまいます。

続きを読む

誰でも試せる Apache Kafka

kafka_logo
この記事は SRA Advent Calendar 2024 の12月24日の記事を一部改変したものです。
本記事においては Apache Kafka 4.0 におけるコードを参照しています。

Apache Kafka について

Apache Kafka（以下、Kafka）はストリーミング処理に欠かせない重要な OSS です。Kafka を利用することにより高可用性、スケーラブル、低レイテンシといった様々なメリットを得ることができます。
並列分散処理の環境を構築するためには複数のサーバを用意したり、環境設定用の Puppet、Ansible を準備したり、といった作業を想定される方もいらっしゃるかと思います。しかし、Kafka には動作を簡単に確認できる Docker 環境などが用意されており、テスト用に試すのであれば意外と簡単に環境を立てることが可能です。
また、性能測定のために Producer と Consumer をそれぞれ用意する必要がありますが、テスト用のツールについてもコミュニティ提供のものが存在しています。
本記事においては、Kafka に興味のある方に向けて、Docker 環境を用いて簡単に Kafka を試すための手順についてご説明いたします。

続きを読む