Apache Pinot コネクタ¶

Apache Pinot コネクタを使用すると、外部の Apache Pinot データベースでテーブルのクエリと作成を行うことができます。これは、Pinot データのクエリや、Pinot データと他のデータの結合に使用できます。

設定¶

Pinot コネクタを設定するには、etc/catalogにカタログプロパティファイルを作成します。たとえば、pinot.propertiesという名前で、Pinot コネクタをpinotカタログとしてマウントします。次の内容でファイルを作成し、接続プロパティをセットアップに合わせて適宜変更してください。

connector.name=pinot
pinot.controller-urls=controller_host1:9000,controller_host2:9000

pinot.controller-urlsプロパティでは、Pinot コントローラーのホスト/ポートのペアをコンマ区切りリストで指定できます。

複数のPinotクラスタ¶

必要な数のカタログを持つことができます。そのため、追加のPinotクラスタがある場合は、別の名前（.propertiesで終わるようにする）で別のプロパティファイルをetc/catalogに追加するだけです。たとえば、プロパティファイルの名前をsales.propertiesにした場合、Prestoは設定されたコネクタを使用してsalesという名前のカタログを作成します。

カタログプロパティ¶

次のカタログ設定プロパティを使用できます。

pinot.controller-authentication-typeがPASSWORDに設定されている場合、pinot.controller-authentication-userとpinot.controller-authentication-passwordの両方が必要です。

pinot.broker-authentication-typeがPASSWORDに設定されている場合、pinot.broker-authentication-userとpinot.broker-authentication-passwordの両方が必要です。

セッションプロパティ¶

以下のセッションプロパティを使用できます。

PinotスキーマとPrestoスキーマのマッピング¶

一般的に、PinotスキーマからPrestoスキーマへのマッピングは非常に簡単です。デフォルトでは、データ型マッピングは下表に従います。

Pinotは各フィールドをディメンション、メトリック、または時間（date_time）フィールドとして定義するため、Prestoデータ型DATEとTIMESTAMPを推測できます。

• timeGranularityが{ "TimeFormat":"EPOCH", "TimeUnit":"DAYS", "TimeUnitSize": 1 }であるPinotのTIMEフィールドは、DATE型にマッピングできます。

• timeGranularityが{ "TimeFormat":"EPOCH", "TimeUnit":"MILLISECONDS", "TimeUnitSize": 1 }であるPinotのTIMEフィールドは、TIMESTAMP型にマッピングできます。

• 形式が1:DAYS:EPOCHであるPinotのDATE_TIMEフィールドは、DATE型にマッピングできます。

• 形式が1:MILLISECONDS:EPOCHであるPinotのDATE_TIMEフィールドは、TIMESTAMP型にマッピングできます。

この動作を制御するいくつかの設定があります。

• pinot.infer-date-type-in-schema: この設定はデフォルトでfalseです。これをtrueに設定すると、PinotのTIME/DATE_TIMEフィールドを可能であればPrestoのDATEに推測します。

• pinot.infer-timestamp-type-in-schema: この設定はデフォルトでfalseです。これをtrueに設定すると、PinotのTIME/DATE_TIMEフィールドを可能であればPrestoのTIMESTAMPに推測します。

以下は、設定:pinot.infer-timestamp-type-in-schema=trueの例です。

Pinotスキーマのサンプル

{
  "schemaName": "meetupRsvp",
  "dimensionFieldSpecs": [
    {
      "name": "venue_name",
      "dataType": "STRING"
    },
    {
      "name": "event_name",
      "dataType": "STRING"
    },
    {
      "name": "event_id",
      "dataType": "STRING"
    },
    {
      "name": "event_time",
      "dataType": "LONG"
    },
    {
      "name": "group_city",
      "dataType": "STRING"
    },
    {
      "name": "group_country",
      "dataType": "STRING"
    },
    {
      "name": "group_id",
      "dataType": "LONG"
    },
    {
      "name": "group_name",
      "dataType": "STRING"
    }
  ],
  "metricFieldSpecs": [
    {
      "name": "rsvp_count",
      "dataType": "INT"
    }
  ],
  "timeFieldSpec": {
    "incomingGranularitySpec": {
      "name": "mtime",
      "dataType": "LONG",
      "timeType": "MILLISECONDS"
    }
  }
}

Prestoスキーマのサンプル

table_catalog | table_schema | table_name |  column_name  | ordinal_position | column_default | is_nullable | data_type |  comment  | extra_info
---------------+--------------+------------+---------------+------------------+----------------+-------------+-----------+-----------+------------
pinot         | default      | meetuprsvp | venue_name    |                1 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | rsvp_count    |                2 | NULL           | YES         | integer   | METRIC    | NULL
pinot         | default      | meetuprsvp | group_city    |                3 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | event_id      |                4 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | group_country |                5 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | group_id      |                6 | NULL           | YES         | bigint    | DIMENSION | NULL
pinot         | default      | meetuprsvp | group_name    |                7 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | event_name    |                8 | NULL           | YES         | varchar   | DIMENSION | NULL
pinot         | default      | meetuprsvp | mtime         |                9 | NULL           | YES         | timestamp | TIME      | NULL
pinot         | default      | meetuprsvp | event_time    |               10 | NULL           | YES         | bigint    | DIMENSION | NULL

Pinotのクエリ¶

Pinotカタログは、フラットスキーマ内のすべてのPinotテーブルを公開します。クエリを実行する際にはスキーマ名は重要ではありませんが、SHOW SCHEMASを実行すると、defaultのスキーマエントリが1つだけ表示されます。

Pinotカタログの名前は、.properties拡張子を除いた、上記で作成したカタログファイルです。

たとえば、mypinotcluster.propertiesというファイルを作成した場合、以下のコマンドを使用してその中のすべてのテーブルを確認できます。

SHOW TABLES from mypinotcluster.default

または

SHOW TABLES from mypinotcluster.foo

これらのコマンドはどちらも、Pinotにスキーマの概念がないため、Pinotクラスタ内のすべてのテーブルをリストします。

mypinotclusterにclicksというテーブルがあるとします。clicksテーブル内の列のリストは、次のいずれかの方法で確認できます。

DESCRIBE mypinotcluster.dontcare.clicks;
SHOW COLUMNS FROM mypinotcluster.dontcare.clicks;

最後に、clicksテーブルにアクセスできます。

SELECT count(*) FROM mypinotcluster.default.clicks;

Apache Pinotコネクタの動作¶

このコネクタは、Prestoクエリから推測された最大の部分クエリをPinotにプッシュダウンしようとします。集計、グループ化、すべてのUDFなど、Pinotがサポートするすべてのものをプッシュダウンできます。Pinot特有の点を考慮して、正しいPinotクエリを生成します。

デフォルトでは、集計クエリとLIMITクエリをPinotブローカーに送信し、非集計/非LIMITクエリに対して並列スキャンを実行します。Pinotブローカークエリは、Pinotブローカーが分散収集を実行できるようにする単一の分割を作成します。一方、並列スキャンモードでは、1つ以上のPinotセグメントに対して1つの分割が作成され、PrestoサーバーによってPinotサーバーが直接呼び出されます（つまり、Pinotブローカーは並列スキャンモードには関与しません）。

この動作を制御するいくつかの設定があります。

• pinot.prefer-broker-queries: この設定はデフォルトでtrueです。これをfalseに設定すると、集計クエリとLIMITクエリについても並列プランが作成されます。

• pinot.forbid-segment-queries: この設定はデフォルトでfalseです。これをtrueに設定すると、並列クエリが禁止され、すべてのクエリがブローカーを介して実行されます。

• pinot.non-aggregate-limit-for-broker-queries: ブローカーへの過剰な負荷を防ぐために、コネクタは短いクエリに対してのみPinotブローカーへのクエリを許可します。「短い」クエリとは、集計（またはグループ化）クエリ、またはpinot.non-aggregate-limit-for-broker-queriesで設定された値よりも小さいLIMITを持つクエリのいずれかとして定義されます。この制限のデフォルト値は25K行です。