【AWS】無知なりに頑張ってAmazon Kinesisについて調べてみた
どうもこんにちは！ねこふーです🐈
AWSのサービスであるストリーミングデータ処理サービスのAmazon Kinesisですが名前は知ってはいたけどいまいちどういうサービス把握できていなかったので調べてみました
調べた結果
・Kinesisについて
https://aws.amazon.com/jp/kinesis/
ストリーミングデータをリアルタイムで収集、処理、分析することが簡単になる
・ストリーミングデータとは？
https://aws.amazon.com/jp/streaming-data/
安直翻訳…ストリーミングデータ = 流れ込んでくる情報
よく例として上がるのがTwitterやInstagramなどのSNSの呟き
これら絶えず流れ込んでくるもののことをストリーミングデータ
ざっくり把握
上記のストリーミングデータの意味を把握した上で再度Kinesisの役割を確認
Amazon Kinesisはストリーミングデータをリアルタイムで収集、処理、分析することが簡単になる
では実際に収集したデータに対してどういったことができるのか？
目的に応じて4つの機能から選択する
・Kinesis Video Streams
https://aws.amazon.com/jp/kinesis/video-streams/
ストリーミング動画のキャプチャ、処理、保存
接続されたデバイスからAWSに対して動画を簡単にストリーミングが可能になる
ライブやオンデマンド視聴用の動画の再生が可能になったり、
Amazon Rekognition Video との統合、および Apache MxNet、TensorFlow、OpenCV といった ML フレームワーク向けライブラリとの統合により、コンピュータビジョンと動画分析を活用するアプリケーションを迅速に構築することができます。
・内容要約＆自分の理解
Kinesis Video Streamsはストリーミング動画をAWS上で再生することができ、その動画を様々なサービスを利用することにより動画分析、再生、機械学習などに活用できる
・Kinesis Data Streams
https://aws.amazon.com/jp/kinesis/data-streams/?nc1=h_ls
データストリームのキャプチャ、処理、保存
ウエブサイトクリックストリームやデータべースイベントストリームや金融取引、ソーシャルメディアフィード、ITログ、ロケーション追跡イベントなど何十万ものソースから毎秒ギガバイトのデータを継続してキャプチャできます。収集データはミリ秒で入手でき、リアルタイム分析をリアルタイムダッシュボードやリアルタイム異常検知、ダイナミックな価格設定などの事例に利用可能です。
・内容要約＆自分の理解
Kinesis Data Streamsは膨大な量のストリームデータを処理して次サービスへつなげる役割
大量のリアルタイムのログデータや、イベントをサーバが受け取って処理するのはコスト面でも性能面でも厳しいのでKinesis Data Streamsが受け取ってストリーミングしてくれる
・Kinesis Data Firehose
https://aws.amazon.com/jp/kinesis/data-firehose/
ストリーミングデータをデータレイクやデータストア、分析ツールに確実にロードする最も簡単な方法です。ストリーミングデータをキャプチャして変換し、Amazon S3、Amazon Redshift、Amazon Elasticsearch Service、Splunk にロードして、現在お使いのビジネスインテリジェンスツールやダッシュボードでほぼリアルタイムに分析できます。
・内容要約＆自分の理解
Kinesis Data Firehoseは大量のデータをS3、Redshift、Elastic Searchにストリーミングする役割
ストリーミングされたデータは分析はモニタリングなどに利用される
・Kinesis Data Analytics
https://aws.amazon.com/jp/kinesis/data-analytics/
ストリーミングデータの分析、実用的なインサイトの取得、ビジネスやお客様のニーズへのリアルタイムでの対応を最も簡単に行えるサービスです。Amazon Kinesis Data Analytics を利用すると、ストリーミングアプリケーションを構築し、管理し、AWS のサービスと統合する作業がシンプルになります。一般的な処理関数のための組み込みのテンプレートや演算子を利用し、SQL クエリと高度な Java アプリケーションを簡単に構築し、あらゆる規模のデータを整理、変換、集計、分析できます。
・内容要約＆自分の理解
SQLクエリを利用してリアルタイム分析を行う役割
分析したデータはKinesis Data Streams、Kinesis Data Firehose、Lambda等に送られる
終わりに
4つのKinesisサービスはまとめてAmazon Kinesis Familyと呼ばれているようですね
調べれば調べるほどわかったようでわかってないような気持ちになりますw
間違った理解をしている可能性があるので、
私が記載した内容全てが正しいとは限らないのでそこはご了承ください
※間違った情報があれば指摘していただきたいです…！
あとは実際にサービスに触れれば仕組みとかを把握できそうな気がします
最後まで読んでいただきありがとうございました！
追記
https://www.slideshare.net/dcubeio/kinesis-firehose-80037243
↑こちらおすすめです！全て調べ終わった後にこのスライドシェアを読んだらだいぶ理解度があがりました！
