Anaplan Data Orchestrator のデータセットから Snowflake にデータをライトバックする新しいパイプラインを作成できます。

前提条件

パイプラインを作成する前に、この表に記載されている前提条件の項目を満たす必要があります。

アイテム説明
Snowflake アカウント Snowflake アカウント、及びターゲット テーブルが存在するインスタンスへのアクティブなアクセス権が必要です。 
構成済みの Snowflake 接続 

Data Orchestrator で有効な Snowflake 接続を構成する必要があります。 

このプロセスでは、PKCS#8 形式の 2048 ビット RSA 秘密鍵を使用した鍵ペア認証を設定する必要があります。秘密鍵自体は暗号化されていないものでなければなりません。接続を作成する際には、Snowflake のスキーマの詳細も含める必要があります。

詳細については、「Snowflake からのデータのインポート」を参照してください。

適切な権限 接続に関連付けられた Snowflake ユーザー ロールには、ターゲット テーブルにデータを書き込むために必要な権限が付与されている必要があります。これには通常、データベースとスキーマに対する Snowflake USAGE 権限、及びターゲット テーブルに対する INSERT 権限が含まれます。
Snowflake 内のターゲット テーブルSnowflake データベース内にターゲット テーブルをあらかじめ用意しておく必要があります。  

ライトバック パイプラインの作成

ライトバック パイプラインを作成する方法は以下のとおりです。

  1. 左上のナビゲーション メニューから [Data Orchestrator] を選択します。
  2. リストからデータスペースを選択します。
  3. 左側のパネルで [Pipelines] を選択します。
  4. 新規を選択します。
  5. パイプラインの名前を入力してから [Create] を選択します。
    パイプライン デザイナー ビューが表示されます。
  6. [Source] ボックスを選択し、右側のパネルで以下の手順を実行します。
    1.  [Available sources] ドロップダウンから [Datasets] を選択します。
    2. [Source location] を選択し、Data Orchestrator データセットを選択してから [Confirm] を選択します。
      このデータセットはパイプラインのソースとして使用されます。
    3. デザイナー ビューでソースの表示名を変更する場合は、新しいラベルを入力します。
      デフォルトでは、選択したソースの名前がラベル名として表示されます。
  7. [Sink] ボックスを選択し、右側のパネルで以下の手順を実行します。
    1. [Available targets] ドロップダウンから Snowflake ターゲット接続を選択します。
      このターゲットはデータを書き込みたい場所です。
    2. [Target location] を選択し、Snowflake テーブルを選択してから [Done] を選択します。
    3. [Target mapping] を選択し、Data Orchestrator ソース データセットの値をSnowflake のターゲット値にマッピングしてから [Done] を選択します。
    4. 右側のパネルで希望する [Write option] を選択します。
      これによって、データがターゲット テーブルにどのように書き込まれるかが決まります。書き込みオプションについては以下の表を参照してください。
書き込みオプション説明
Append

ソース データのすべての行をターゲット テーブルの既存の行に追加します。

書き込みオプションとして [Append] を選択した場合は、ステージング テーブルを構成するかどうかを決定します。 ステージング テーブルを構成するには、この後の「ステージング テーブル」セクションを参照してください。

Snowflake とのデータ不一致エラーを防ぐために、Data Orchestrator と Snowflake 内のデータのスキーマが一致していることを確認してください。これは、Data Orchestrator と Snowflake のテーブルで列とデータ型を同じにする必要があることを意味しています。

Replace existing tableターゲット テーブル内の既存データをすべて削除し、ソース データで置き換えます。
Upsert

指定されたキーに基づいて、既存の行を更新し、新しい行を追加します。

書き込みオプションとして [Upsert] を選択した場合は [Conflict columns] を選択します。これは、この書き込みオプションを使用する際に既存の行を識別するために使用されます。 

ステージング テーブルを構成するかどうかも決定する必要があります。ステージング テーブルを構成するには、この後の「ステージング テーブル」セクションを参照してください。

Snowflake とのデータ不一致エラーを防ぐために、Data Orchestrator と Snowflake 内のデータのスキーマが一致していることを確認してください。これは、Data Orchestrator と Snowflake のテーブルで列とデータ型を同じにする必要があることを意味しています。

  1. デザイナー ビューでシンクの表示名を変更する場合は、新しいラベルを入力します。
    デフォルトでは、選択したターゲット テーブルの名前がラベル名として表示されます。
  2. [Publish] を選択します。
  3. [Run pipeline] を選択してデータ転送を実行します。

ステージング テーブルの準備

ステージング テーブルは、Data Orchestrator によってデータが Snowflake の最終ターゲット テーブルに読み込まれる前に、データを比較および処理するために使用されます。

[Sink] の詳細を構成する際に [Append] または [Upsert] 書き込みオプションを選択すると、Data Orchestrator では Snowflake のステージング テーブルが使用されます。 [Specify staging table name] チェックボックスは、[Append] 又は [Upsert] 書き込みオプションを選択した後に表示されます。デフォルトではチェックボックスがオフになっています。

デフォルトではチェックボックスがオフになっており、Data Orchestrator によって Snowflake にステージング テーブルが作成されます。Snowflake にテーブルを作成する権限が Data Orchestrator にない場合、Data Orchestrator 内でステージング テーブル情報を手動で作成して指定する必要があります。

ステージング テーブルは次の二通りの方法で作成できます。

  • Data Orchestrator によって、Snowflake にステージング テーブルを自動的に作成する。
  • Snowflake にステージング テーブルを手動で作成する。

Snowflake でのライトバックの検証 

パイプラインが正常に完了したら、Snowflake アカウントにログインしてデータの読み込みを検証できます。 

パイプライン構成で指定されているターゲット データベース、スキーマ、テーブルに移動します。Data Orchestrator データセットから書き込まれたデータは、選択された書き込みオプション (追加、既存テーブルの置換、またはアップサート) に基づいて、ターゲット テーブルで利用可能になります。