Anaplan Data Orchestrator のデータセットから Snowflake にデータをライトバックする新しいパイプラインを作成できます。

前提条件

パイプラインを作成する前に、この表に記載されている前提条件の項目を満たす必要があります。

アイテム説明
Snowflake アカウント Snowflake アカウント、及びターゲット テーブルが存在するインスタンスへのアクティブなアクセス権が必要です。 
構成済みの Snowflake 接続 

Data Orchestrator で有効な Snowflake 接続を構成する必要があります。 

このプロセスでは、PKCS#8 形式の 2048 ビット RSA 秘密鍵を使用した鍵ペア認証を設定する必要があります。秘密鍵自体は暗号化されていないものでなければなりません。接続を作成する際には、Snowflake のスキーマの詳細も含める必要があります。

Snowflake との接続の作成方法については、以下の「Snowflake との接続の作成」セクションを参照してください。

適切な権限 接続に関連付けられた Snowflake ユーザー ロールには、ターゲット テーブルにデータを書き込むために必要な権限が付与されている必要があります。これには通常、データベースとスキーマに対する Snowflake USAGE 権限、及びターゲット テーブルに対する INSERT 権限が含まれます。
Snowflake 内のターゲット テーブルSnowflake データベース内にターゲット テーブルをあらかじめ用意しておく必要があります。  

Snowflake との接続の作成

Data Orchestrator の Snowflake コネクターを使用して接続を作成します。

Snowflake データを Data Orchestrator に接続するには、Snowflake 認証情報が必要です。認証情報の詳細については、Snowflake のドキュメントを参照してください。

接続を作成するには以下を実行します。

  1. 左上のナビゲーション メニューから [Data Orchestrator] を選択します。
  2. リストからデータスペースを選択します。
  3. 左側のパネルから [Connections] を選択します。
  4. [Create connection] を選択します。
  5. [Snowflake] を選択したら [Next] を選択します。
    コネクターが見つからない場合は、[Find...] フィールドに検索ワードを入力します。
  6. [Connection details] 画面で次の詳細を入力し、[Next] を選択します。
    • Name (名前):接続の名前を作成します。名前には英数字とアンダースコアを使用できます。
    • Description (説明):接続に関する説明を入力します。
  7. [Connection credentials] 画面で Snowflake の認証情報を入力し、[Next] を選択します。
    [Connection credentials] 画面のフィールドの詳細については、「Snowflake 接続の認証オプション」を参照してください。
  8. 接続テストが完了したら、[Done] を選択します。

ライトバック パイプラインの作成

ライトバック パイプラインを設定する際には、接続を使用して、ソース データセットと変換ビューのいずれかを Data Orchestrator から Snowflake にエクスポートします。

ライトバック パイプラインを作成する方法は以下のとおりです。

  1. 左上のナビゲーション メニューから [Data Orchestrator] を選択します。
  2. リストからデータスペースを選択します。
  3. 左側のパネルで [Pipelines] を選択します。
  4. パイプラインを作成 を選択します。
  5. パイプラインの名前を入力してから [Create] を選択します。
    パイプライン デザイナー ビューが表示されます。
  6. ソース アイコンを選択し、右側のパネルで以下の手順を実行します。
    1. [Connection type] ドロップダウンを選択してから [Anaplan] を選択します。 
    2. [Choose connection] ドロップダウンを選択してから [Datasets] を選択します。
    3. [Source location] を選択し、Data Orchestrator データセットを選択してから [Confirm] を選択します。
      このデータセットはパイプラインのソースとして使用されます。
    4. デザイナー ビューでソースの表示名を変更する場合は、新しいラベルを入力します。
      デフォルトでは、選択したソース データセットの名前がラベル名として表示されます。
  7. シンク アイコンを選択し、右側のパネルで以下の手順を実行します。
    1. [Connection type] ドロップダウンを選択してから [Snowflake] を選択します。
    2. [Choose connection] ドロップダウンを選択し、作成した Snowflake 接続を選択します。
    3. [Target location] を選択し、Snowflake テーブルを選択してから [Done] を選択します。
    4. [Target mapping] を選択し、Data Orchestrator ソース データセットの値をSnowflake のターゲット値にマッピングしてから [Done] を選択します。
    5. 右側のパネルで希望する [Write option] を選択します。
      これによって、データがターゲット テーブルにどのように書き込まれるかが決まります。書き込みオプションについては以下の表を参照してください。
書き込みオプション説明
Append

ソース データのすべての行をターゲット テーブルの既存の行に追加します。

書き込みオプションとして [Append] を選択した場合は、ステージング テーブルを構成するかどうかを決定します。 ステージング テーブルを構成するには、この後の「ステージング テーブル」セクションを参照してください。

Snowflake とのデータ不一致エラーを防ぐために、Data Orchestrator と Snowflake 内のデータのスキーマが一致していることを確認してください。これは、Data Orchestrator と Snowflake のテーブルで列とデータ型を同じにする必要があることを意味しています。

完全置換ターゲット テーブル内の既存データをすべて削除し、ソース データで置き換えます。
Upsert

指定されたキーに基づいて、既存の行を更新し、新しい行を追加します。

書き込みオプションとして [Upsert] を選択した場合は [Conflict columns] を選択します。これは、この書き込みオプションを使用する際に既存の行を識別するために使用されます。 

ステージング テーブルを構成するかどうかも決定する必要があります。ステージング テーブルを構成するには、この後の「ステージング テーブル」セクションを参照してください。

Snowflake とのデータ不一致エラーを防ぐために、Data Orchestrator と Snowflake 内のデータのスキーマが一致していることを確認してください。これは、Data Orchestrator と Snowflake のテーブルで列とデータ型を同じにする必要があることを意味しています。

  1. デザイナー ビューでシンクの表示名を変更する場合は、新しいラベルを入力します。
    デフォルトでは、選択したターゲット テーブルの名前がラベル名として表示されます。
  2. [Publish] を選択します。
  3. [Run] を選択してデータ転送を実行します。

ステージング テーブルの準備

ステージング テーブルは、Data Orchestrator によってデータが Snowflake の最終ターゲット テーブルに読み込まれる前に、データを比較および処理するために使用されます。

[Sink] の詳細を構成する際に [Append] または [Upsert] 書き込みオプションを選択すると、Data Orchestrator では Snowflake のステージング テーブルが使用されます。 [Specify staging table name] チェックボックスは、[Append] 又は [Upsert] 書き込みオプションを選択した後に表示されます。デフォルトではチェックボックスがオフになっています。

デフォルトではチェックボックスがオフになっており、Data Orchestrator によって Snowflake にステージング テーブルが作成されます。Snowflake にテーブルを作成する権限が Data Orchestrator にない場合、Data Orchestrator 内でステージング テーブル情報を手動で作成して指定する必要があります。

ステージング テーブルは次の二通りの方法で作成できます。

  • Data Orchestrator によって、Snowflake にステージング テーブルを自動的に作成する。
  • Snowflake にステージング テーブルを手動で作成する。

Snowflake でのライトバックの検証 

パイプラインが正常に完了したら、Snowflake アカウントにログインしてデータの読み込みを検証できます。 

パイプライン構成で指定されているターゲット データベース、スキーマ、テーブルに移動します。Data Orchestrator データセットから書き込まれたデータは、選択された書き込みオプション (追加、完全置換、またはアップサート) に基づいて、ターゲット テーブルで利用可能になります。