【AWS初学者向け】AWS認定資格DAS直前対策

Glueの概念で，ネストされたデータを平坦化する変換のことを指す。

セッションID。1個のプロセッサで，1つのユーザセッション内のすべてのアクティビティを処理できる。

Amazon Managed Streaming for Apache Kafka (Amazon MSK)

Amazon Managed Streaming for Apache Kafka (Amazon MSK)。Kinesis Data Streamでは1シャードあたり1MBのデータサイズしかサポートしていないため，データを分割する必要がある。

テーブルを各ノードに割り当てる方式のこと。

• EVEN：行を各ノードに均等に分散する
• ALL：テーブル全体のコピーを全ノードに分散する
• KEY：行を分散キーに指定されたカラムに含まれている値に基づいて各ノードに分散する
• AUTO：テーブルのデータ量に基づいてALLとEVENを使い分ける

複数のカラムを指定したソートキーで，GROUP BYやORDER BYでのパフォーマンス向上を可能にする。複合ソートキーとの違いとしては，それぞれのカラムを単独で指定したとしてもパフォーマンス向上を可能にする点が挙げられる。一方で，インタリーブソートキーではVACCUME REINDEX（再インデックスみたいなもの）を定期的に実行する必要があるため，例えば主キーのIDを含むインタリーブソートキーは推奨されていない。

ORC。ParquetはHadoopとの相性がよく，ORCはHiveとの相性がよい。

• gzip：ストレージコストを節約するが，データの一部にクエリできないためパフォーマンスは向上しない
• lzo：高速な圧縮・解凍が可能で，クエリパフォーマンス向上に寄与する

なお，lzoはLempel Zip Oberhumerの略称で，3名の開発者（貢献者）の名前が由来となっている。

データの格納場所を指定するマニフェストファイルを作成し，COPYコマンドを利用する。

• Index State Management（ISM）を利用する
• OpenSearch Service UltraWarmストレージにインデックスを移行する

Kinesis Client Libraryの略称で，Kinesis Data Streamからデータを処理するコンシューマアプリケーションをカスタム開発する場合に利用されるライブラリのこと。

シャード数に合わせてプロセッサ数を自動調整できる。

ユーザーが独自の処理ロジックを記述したJARファイルを実行できる機能。

不変データフレームに変換するため，速い。Spark DataFrameにS3からデータをあらかじめロードしておけば，わざわざHDFS（Hadoop Distributed File System）にロードする必要はない。

ファイルフォーマットを規定するApacheのプロジェクト。データ構造をリッチに表現でき，スキーマハンドリングが得意。ParquetやORCとは異なり，行志向のフォーマット。

Glueのサーバレス機能で，登録済みのApache Avroスキーマを利用してストリーミングデータの進化（どのようにスキーマが更新されているか等）を検証できる。

Glueスキーマレジストリ。KPLはKinesisプロデューサライブラリ，KCLはKinesisクライアントライブラリの略称。

コンシューマが利用するシャードごとに，2MBのスループットを確保する機能。別名スループット占有と呼ばれることもある。デフォルトだと，複数のコンシューマがアクセスしたとしても，シャードごとにそれらをひっくるめてスループットが決まっていた。拡張ファンアウト機能を利用すると，HTTP/2接続経由でデータを送受信するようになる。

最後のジョブ実行時以降の変更差分を処理できる機能。「差分」という言葉からはDataSyncを思い浮かべてしまうが，DataSyncはオンプレとS3間のデータ移行がユースケースである。

• Kinesis Data Streams＋Kinesis Data Analytics for Apache Flinkなど

なお，Kinesis Data Analytics for SQL Applicationsというサービスも存在するが，公式ドキュメントではKinesis Data Analytics Studioが推奨されているため注意する。

Redshiftではクラスタ単位で並列処理が行われるため，クラスタの倍数となるように送信データを分割する。

• マニフェストファイルを使ってCOPYコマンドを実行し，Redshiftにデータをロードする
• データロード時に一時的なステージングテーブルを利用する

ETLジョブのgroupFilesにinPartitionを指定する。小さなファイルをグループ化することで，メタデータや転送のセットアップに要する時間やメモリ容量を節約することができる。

実行できない。GlueジョブはPythonとScalaのスクリプトをサポートしている。HiveスクリプトはEMRを利用する必要がある。

ストリーム内のレコードが最後にGetされた時刻と現在時刻の差を表すメトリクス。

ステージングテーブルにデータをコピーした後に，マージクエリを実行する。

EMR上でApache Prestoを動作させる

QuickSightのインメモリエンジン。

自動でSPICEにロードされる。

S3をソースとしたエンタープライズエディションのQuickSightであればできる。QuickSight単体では定期更新はできないため，OpenSearch Serviceを利用する。

• タンブリングウィンドウ
  • クエリが各ウィンドウに重複しない。ストリーム内の各レコードはある一つのウィンドウに属する。
• Stagger Windows
  • 各windowは動的に重複する。不規則な間隔で配信されるデータに適している。
• スライディングウィンドウ
  • クエリは各ウィンドウに一定の時間間隔で重複する。ある特定の時刻からwindow幅分の解析が可能。

Stagger window query（ずらしウィンドウクエリ）

OpenSearch。QuickSightはログ解析には適していない。

ルートボリュームとストレージボリュームの実態はEBSであることに注意する。下記の二通りの方法がある。

1. EC2インスタンスでEBSボリューム暗号化を有効化する
2. EMRのセキュリティ設定でローカルディスク暗号化を有効化する

2.は1.よりも優先される。

できる。

証明書を含むzipファイルを作成し，S3に送信する。もしくは，Javaでカスタム証明書プロバイダーを実装する。

行レベルのアクセス制限（RLS：Row Level Securirty）をデータルールセットで定義する。アイデンティティベースのポリシーやバケットポリシーを使う必要はない。なお，RLSはQuickSightのエンタープライズエディションを導入しなければ使うことはできない。

Lake Formation自体にアクセス制御の機能が備わっている。具体的には，テーブルに対するSELECTアクセス権限などをIAMロールと紐づけて指定することができる。

クライアントの証明書とサーバの証明書を利用してHSMとの信頼された接続を設定する。

Redshift

存在する。クライアントのTLS証明書を識別子として，特定のKafkaトピックにのみアクセス権限を与えることが可能。

GRANTコマンドを利用する。例えば，SELECT権限を与えたい場合はGRANT SELECTコマンドを利用する。新しくテーブルを作成したリ，ビューを作成したりする必要はない。

• 一意なルール名
• 1つのアクションと最大3つの条件

登場する。EMRのEC2用サービスロールを，各チームが使うIAMロールでAssumeするという使い方をする。

RedshiftのSGでQuickSightのIPアドレス範囲を許可する。クロスリージョンでも同様の制御方法。

対応していない。

可能。lambdaで並列実行したくなるが，Glueで完結できるというオチ。

Redshift

HDFSはHadoopのエコシステムの一部，EMRFSはS3との仲介役を担う。

• コアノード：オンデマンドインスタンスで実行してHDFSにデータを保持することで，データの損失を防ぐ
• タスクノード：スポットインスタンスを使う。

Amazon Managed Streaming for Apache Kafka（MSK）。ZooKeeperで行っていた管理等もMSKで行うことができる。

できない。

できない。ブループリントはあくまでもデータソースからLake Formationへの移行時に利用される。S3からの移行ではGlueクローラを利用する。

不要なインデックスを削除する。シャードの数を減らす。スケールアップのイメージでシャードを増やすと，スループットが増加してしまうために，インスタンスのメモリ負荷はさらに高まるため注意する。

サポートしていない。SSE-KMSのCMKを利用する。

ほとんどできるが，できないケースも存在する。具体的には，通常数秒でイベントを配信するが，1分以上の遅延が生じるケースもある。したがって，Firehoseで60秒のバッファ間隔を設定するソリューションと比べると，S3のイベント通知を使ったソリューションの方がリアルタイム性に優れている。一方，Firehoseでもデータサイズをトリガーとすれば，バッファ間隔60秒よりも遅延が少なくデータを連携することが可能であるため，ソリューションの記述に注意する必要がある。

S3から大量のデータをHDFSにコピーするツール。

RedshiftのデータをS3にエクスポートするコマンド。

オンプレミスのサーバもしくはEC2が必要。

低減しない。Kinesis Data Streamsでレイテンシーを低減させるためには，KCLのポーリングに関するデフォルト設定を上書きするとよい。

向上しない。あくまでも，プレフィックスの付与はS3のReadに対するパフォーマンスを向上させる。

できない。S3を経由する。

存在する。Hadoopのクラスタリソースマネージャのこと。パッケージマネージャのYarnと混同しないように。

インスタンスグループ。EC2のプレイスメントグループのイメージで捉えるとミスるので注意。

ある。RCFが組み込みで利用可能。

DynamoDB

できない。

できる。

半分本当。Firehoseがターゲットにデータを流すトリガーとしては，

• バッファ容量：1MB〜128MB
• バッファ間隔：60秒〜900秒

の二つを設定でき，いずれかが満たされた場合にトリガーされる。そのため，必ずしもデータロードが60秒間隔という訳ではない。

できる。

必要ない。1つのlambdaで自動スケールする。

lambdaを利用してクロスアカウントでAthenaを利用するときに，lambdaが処理するペイロードが6MBを超えた場合に発生するエラー。lambdaのペイロード容量は変えることができないため，解決策としてはS3オブジェクトの署名付きURLを代わりに返すという方法が挙げられる。

指定できない。あくまでもRedshiftをデータソースに指定する。Redshift Spectrumのによって作成した外部スキーマとテーブルをソースとして参照したい場合でも，結局Redshift上にスキーマとテーブルは作成されるため，Redshiftをデータソースに指定する。

S3へのリクエストが急増し，S3の内部でクエリの最適化が行われている状態。バケットにプレフィックスを追加して同時実行数を調整し，かつクライアント側の再試行回数を増やすことで解決が見込める。クライアントとしては，EMRクラスタ上のApache Sparkなどが挙げられる。

1000KiB。例えば，データレコードが10MBに及ぶという要件に対しては，Kinesis Data StreamやFirehoseではなく，MSKを利用する。

一つのCOPYコマンドだけで並列処理をサポートしているため，複数のCOPYコマンドを実行する必要はない。

サポートしている。JDBCドライバを使うことで，サードパーティツールを用いてSQLを実行することが可能になる。

寄与しない。あくまでもパフォーマンス向上に寄与する。

呼び出せるが，データ変換の文脈ではFirehoseを使った方が圧縮を行うことができるため便利。

S3に保存して，Kinesis Data Analyticsアプリケーションの参照先として設定できる。

キーと値のペア。例えばs3://year=2023/month=07など。

メタデータを更新するために利用される。例えば，S3に格納されたデータにパーティションが追加された場合にAthenaでMSCK REPAIR TABLEコマンドを利用すると，パーティションをAthenaのテーブルに取り込むことができる。

できる。

しない。Athenaを経由する。つまり，QuickSightのデータソースにAthenaを指定することになる。

できない。QuickSightのカスタムフィールドはあくまでもデータ変換のフィールド。

指定できない。ストレージ系サービスをサポートしている。

指定できない。lambdaを利用する。