SlideShare una empresa de Scribd logo
1 de 20
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS 公式 Webinar
https://amzn.to/JPWebinar
過去資料
https://amzn.to/JPArchive
Observability - ログ入門
AWS Black Belt Online Seminar
Amazon Web Services Japan K.K.
Solutions Architect
成尾 文秀
2021-September
© 2021, Amazon Web Services, Inc. or its Affiliates.
このセッションで扱うこと・学べること
o ログの目的
o コンテナ環境におけるログの取り扱い
2
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – 目的
o ログから何をしたいか目的に合わせた仕組みを検討
o 目的例
• 保管目的
• 障害やセキュリティインシデント時の調査
• 分析目的
• ユーサーへ提供するレポート(バッチ分析)
• カスタマーサポート(アドホック分析)
• 監視目的
• 処理のエラーなど異常を検知してアラート
• レスポンスタイムなどサービスの状態をダッシュボードで確認
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – 保管目的
o 保管目的
• データ量が多く保管期間も長いが利用頻度は低い
• S3 で保管
• 99.999999999の耐久性
• ライフサイクルによる削除や安価なストレージクラスへの変更
• 豊富AWSサービスとのインテグレーション
o AWS 構成例
Amazon Kinesis
Data Firehose
Amazon Simple
Storage Service (S3)
Container
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – 分析目的
o 分析目的
• データ量、保管期間、利用頻度が中程度~多い
• 要件次第で分析の速度(リアルタイム、特定時間以内)が求められる
• 要件に合わせてAWSサービスとのインテグレーション
o AWS 構成例
• 分析(バッチ、アドホック)
• 分析(リアルタイム)
o or
Amazon Kinesis
Data Firehose
Amazon Simple
Storage Service (S3)
Container
Amazon Redshift
Amazon Redshift Spectrum
Amazon Athena
Amazon Kinesis
Data Streams
Amazon Kinesis
Data Analytics
Container Amazon Kinesis
Data Firehose
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – 監視目的
o 監視目的
• データ量少ない、保管期間短い、リアルタイム性が求められる
o AWS 構成例
• アラート
o ※ エラーログやレスポンスタイム、エラーレートをカスタムメトリクスとして連携
• リアルタイム監視
Container Amazon CloudWatch
Container Amazon Kinesis
Data Firehose
Amazon OpenSearch Service
(+ Kibana)
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – FireLens
o コンテナアプリケーションからのログ取得方法(Amazon ECS)
• FireLens という選択肢
• Fluentd、 Fluent Bitを利用したログの収集と連携
• Fluent Bit はAWS提供イメージあり(CloudWatch, Kinesis Data Firehose などプラグイン入り)
• タスク定義パラメータで awsfirelens ログドライバーを指定
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – FireLens
o カスタム Fluentd / Fluent Bit 設定ファイル
• S3 または File (コンテナから参照可能なPath)により設定ファイルを指定 (Fargateはfile指定のみ可能)
o 正規表現を使用したフィルタリング
• ログの内容に応じたログのフィルタリングをタスク定義内でサポート
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – コンテナ
o コンテナアプリケーションからのログ取得方法(Amazon EKS)
• Fluentd / Fluent Bit を利用したログの収集と連携
• EC2 Worker Nodes:リソース効率を考え各ノードに DaemonSet として配置や
権限分離などの目的で Pod に Sidecar として配置
• 設定ファイルは ConfigMap を利用して設定
© 2021, Amazon Web Services, Inc. or its Affiliates.
ログ – コンテナ
o コンテナアプリケーションからのログ取得方法(Amazon EKS on Fargate)
• Fluent Bit ベースのビルトインされたログルーターを利用
• CloudWatch, Amazon OpenSearch Service, Kinesis Data Firehose に送信可能
• Fluentd / Fluent Bit を Sidecar として Pod に含める必要はない
• 設定ファイルは ConfigMap を利用して設定
© 2021, Amazon Web Services, Inc. or its Affiliates.
このセッションで扱ったこと
o ログの目的
o コンテナ環境におけるログの取り扱い
11
© 2021, Amazon Web Services, Inc. or its Affiliates.
Link
o カスタムログルーティング - Amazon Elastic Container Service
https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/using_firelens.html
o FireLens 設定を使用するタスク定義の作成 - Amazon Elastic Container Service
https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/firelens-taskdef.html
o 正規表現を使用したログのフィルタリング - Amazon Elastic Container Service
https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/firelens-filtering-logs.html
o Fluent Bit による集中コンテナロギング | Amazon Web Services ブログ
https://aws.amazon.com/jp/blogs/news/centralized-container-logging-fluent-bit/
o Fargate ログ記録 - Amazon EKS
https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/fargate-logging.html
© 2021, Amazon Web Services, Inc. or its Affiliates.
本セッションの担当: 成尾 文秀
o 所属:
アマゾン ウェブ サービスジャパン株式会社
ソリューションアーキテクト
o 好きなAWSサービス:
・ Amazon ECS, Amazon EKS, Amazon S3
o 趣味:
・ねこ、旅行
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS Black Belt Online Seminar とは
o 「サービス別」
「ソリューション別」
「業種別」のそれぞれのテーマに
分け、アマゾン ウェブ サービス ジャパン株式会社が主催する
オンラインセミナーシリーズです。
• AWSの技術担当者が、AWSの各サービスについてテーマごとに動画を公開します
• お好きな時間、お好きな場所でご受講いただけるオンデマンド形式です
• 動画を一時停止・スキップすることで、興味がある分野・項目だけの聴講も可能、
スキマ時間の学習にもお役立ていただけます
© 2021, Amazon Web Services, Inc. or its Affiliates.
内容についての注意点
• 本資料では2021年6月時点のサービス内容および価格についてご説明しています。最新の情報は
AWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。
• 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違が
あった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。
• 価格は税抜表記となっています。日本居住者のお客様には別途消費税をご請求させていただきます。
• AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to
change in accordance with the AWS Customer Agreement available at
http://aws.amazon.com/agreement/. Any pricing information included in this document is
provided only as an estimate of usage charges for AWS services based on certain
information that you have provided. Monthly charges will be based on your actual use of
AWS services, and may vary from the estimates provided.
© 2021, Amazon Web Services, Inc. or its Affiliates.
本資料に関するお問い合わせ・ご感想
o 技術的な内容に関しましては、有料のAWSサポート窓口へお問い合わせくだ
さい
o https://aws.amazon.com/jp/premiumsupport/
o 料金面でのお問い合わせに関しましては、カスタマーサポート窓口へお問い合
わせください(マネジメントコンソールへのログインが必要です)
o https://console.aws.amazon.com/support/home#/case/create?issueTy
pe=customer-service
o 具体的な案件に対する構成相談は、後述する個別技術相談会をご活用ください
ご感想はTwitterへ!ハッシュタグは以下をご利用ください
#awsblackbelt
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS の日本語資料の場所「AWS 資料」で検索
https://amzn.to/JPArchive
© 2021, Amazon Web Services, Inc. or its Affiliates.
AWS のハンズオン資料の場所「AWS ハンズオン」で検索
https://aws.amazon.com/jp/aws-jp-introduction/aws-jp-webinar-hands-on/
© 2021, Amazon Web Services, Inc. or its Affiliates.
で[検
索]
AWS イベント
毎週”W-A個別技術相談会”を実施中
oAWSのソリューションアーキテクト(SA)に
対策などを相談することも可能
o申込みはイベント告知サイトから
(https://aws.amazon.com/jp/about-aws/events/)
AWS Well-Architected 個別技術相談会
19
© 2021, Amazon Web Services, Inc. or its Affiliates.
ご視聴ありがとうございました

Más contenido relacionado

Más de Amazon Web Services Japan

202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用Amazon Web Services Japan
 
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdfAmazon Web Services Japan
 
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介Amazon Web Services Japan
 
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDDAmazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDDAmazon Web Services Japan
 
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのことマルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのことAmazon Web Services Japan
 
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチAmazon Web Services Japan
 
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介Amazon Web Services Japan
 
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer ProfilesAmazon Web Services Japan
 
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するためにAmazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するためにAmazon Web Services Japan
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨Amazon Web Services Japan
 
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介Amazon Web Services Japan
 
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介Amazon Web Services Japan
 
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...Amazon Web Services Japan
 
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピAmazon Web Services Japan
 
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operationsAmazon Web Services Japan
 
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報Amazon Web Services Japan
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをなAmazon Web Services Japan
 
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPNAmazon Web Services Japan
 

Más de Amazon Web Services Japan (20)

202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
202202 AWS Black Belt Online Seminar AWS Managed Rules for AWS WAF の活用
 
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
202203 AWS Black Belt Online Seminar Amazon Connect Tasks.pdf
 
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
SaaS テナント毎のコストを把握するための「AWS Application Cost Profiler」のご紹介
 
Amazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDDAmazon QuickSight の組み込み方法をちょっぴりDD
Amazon QuickSight の組み込み方法をちょっぴりDD
 
マルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのことマルチテナント化で知っておきたいデータベースのこと
マルチテナント化で知っておきたいデータベースのこと
 
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
機密データとSaaSは共存しうるのか!?セキュリティー重視のユーザー層を取り込む為のネットワーク通信のアプローチ
 
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
パッケージソフトウェアを簡単にSaaS化!?既存の資産を使ったSaaS化手法のご紹介
 
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
202202 AWS Black Belt Online Seminar Amazon Connect Customer Profiles
 
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するためにAmazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
Amazon Game Tech Night #24 KPIダッシュボードを最速で用意するために
 
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
202202 AWS Black Belt Online Seminar AWS SaaS Boost で始めるSaaS開発⼊⾨
 
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
 
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
202111 AWS Black Belt Online Seminar AWSで構築するSmart Mirrorのご紹介
 
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
202201 AWS Black Belt Online Seminar Apache Spark Performnace Tuning for AWS ...
 
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
202112 AWS Black Belt Online Seminar 店内の「今」をお届けする小売業向けリアルタイム配信基盤のレシピ
 
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations20211209 Ops-JAWS Re invent2021re-cap-cloud operations
20211209 Ops-JAWS Re invent2021re-cap-cloud operations
 
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
20211203 AWS Black Belt Online Seminar AWS re:Invent 2021アップデート速報
 
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
[AWS EXpert Online for JAWS-UG 18] 見せてやるよ、Step Functions の本気ってやつをな
 
20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes20211109 JAWS-UG SRE keynotes
20211109 JAWS-UG SRE keynotes
 
20211109 bleaの使い方(基本編)
20211109 bleaの使い方(基本編)20211109 bleaの使い方(基本編)
20211109 bleaの使い方(基本編)
 
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
202110 AWS Black Belt Online Seminar AWS Site-to-Site VPN
 

Último

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略Ryo Sasaki
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directoryosamut
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムsugiuralab
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000Shota Ito
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Danieldanielhu54
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxAtomu Hidaka
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdffurutsuka
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。iPride Co., Ltd.
 

Último (9)

[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
 
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
 
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システムスマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
 
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
 
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
 
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By DanielPostman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
 
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptxIoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
 
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdfUPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
 
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ       2024/04/12の勉強会で発表されたものです。新人研修のまとめ       2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
 

202110 AWS Black Belt Online Seminar Observability ログ入門

  • 1. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS 公式 Webinar https://amzn.to/JPWebinar 過去資料 https://amzn.to/JPArchive Observability - ログ入門 AWS Black Belt Online Seminar Amazon Web Services Japan K.K. Solutions Architect 成尾 文秀 2021-September
  • 2. © 2021, Amazon Web Services, Inc. or its Affiliates. このセッションで扱うこと・学べること o ログの目的 o コンテナ環境におけるログの取り扱い 2
  • 3. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – 目的 o ログから何をしたいか目的に合わせた仕組みを検討 o 目的例 • 保管目的 • 障害やセキュリティインシデント時の調査 • 分析目的 • ユーサーへ提供するレポート(バッチ分析) • カスタマーサポート(アドホック分析) • 監視目的 • 処理のエラーなど異常を検知してアラート • レスポンスタイムなどサービスの状態をダッシュボードで確認
  • 4. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – 保管目的 o 保管目的 • データ量が多く保管期間も長いが利用頻度は低い • S3 で保管 • 99.999999999の耐久性 • ライフサイクルによる削除や安価なストレージクラスへの変更 • 豊富AWSサービスとのインテグレーション o AWS 構成例 Amazon Kinesis Data Firehose Amazon Simple Storage Service (S3) Container
  • 5. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – 分析目的 o 分析目的 • データ量、保管期間、利用頻度が中程度~多い • 要件次第で分析の速度(リアルタイム、特定時間以内)が求められる • 要件に合わせてAWSサービスとのインテグレーション o AWS 構成例 • 分析(バッチ、アドホック) • 分析(リアルタイム) o or Amazon Kinesis Data Firehose Amazon Simple Storage Service (S3) Container Amazon Redshift Amazon Redshift Spectrum Amazon Athena Amazon Kinesis Data Streams Amazon Kinesis Data Analytics Container Amazon Kinesis Data Firehose
  • 6. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – 監視目的 o 監視目的 • データ量少ない、保管期間短い、リアルタイム性が求められる o AWS 構成例 • アラート o ※ エラーログやレスポンスタイム、エラーレートをカスタムメトリクスとして連携 • リアルタイム監視 Container Amazon CloudWatch Container Amazon Kinesis Data Firehose Amazon OpenSearch Service (+ Kibana)
  • 7. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – FireLens o コンテナアプリケーションからのログ取得方法(Amazon ECS) • FireLens という選択肢 • Fluentd、 Fluent Bitを利用したログの収集と連携 • Fluent Bit はAWS提供イメージあり(CloudWatch, Kinesis Data Firehose などプラグイン入り) • タスク定義パラメータで awsfirelens ログドライバーを指定
  • 8. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – FireLens o カスタム Fluentd / Fluent Bit 設定ファイル • S3 または File (コンテナから参照可能なPath)により設定ファイルを指定 (Fargateはfile指定のみ可能) o 正規表現を使用したフィルタリング • ログの内容に応じたログのフィルタリングをタスク定義内でサポート
  • 9. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – コンテナ o コンテナアプリケーションからのログ取得方法(Amazon EKS) • Fluentd / Fluent Bit を利用したログの収集と連携 • EC2 Worker Nodes:リソース効率を考え各ノードに DaemonSet として配置や 権限分離などの目的で Pod に Sidecar として配置 • 設定ファイルは ConfigMap を利用して設定
  • 10. © 2021, Amazon Web Services, Inc. or its Affiliates. ログ – コンテナ o コンテナアプリケーションからのログ取得方法(Amazon EKS on Fargate) • Fluent Bit ベースのビルトインされたログルーターを利用 • CloudWatch, Amazon OpenSearch Service, Kinesis Data Firehose に送信可能 • Fluentd / Fluent Bit を Sidecar として Pod に含める必要はない • 設定ファイルは ConfigMap を利用して設定
  • 11. © 2021, Amazon Web Services, Inc. or its Affiliates. このセッションで扱ったこと o ログの目的 o コンテナ環境におけるログの取り扱い 11
  • 12. © 2021, Amazon Web Services, Inc. or its Affiliates. Link o カスタムログルーティング - Amazon Elastic Container Service https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/using_firelens.html o FireLens 設定を使用するタスク定義の作成 - Amazon Elastic Container Service https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/firelens-taskdef.html o 正規表現を使用したログのフィルタリング - Amazon Elastic Container Service https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/firelens-filtering-logs.html o Fluent Bit による集中コンテナロギング | Amazon Web Services ブログ https://aws.amazon.com/jp/blogs/news/centralized-container-logging-fluent-bit/ o Fargate ログ記録 - Amazon EKS https://docs.aws.amazon.com/ja_jp/eks/latest/userguide/fargate-logging.html
  • 13. © 2021, Amazon Web Services, Inc. or its Affiliates. 本セッションの担当: 成尾 文秀 o 所属: アマゾン ウェブ サービスジャパン株式会社 ソリューションアーキテクト o 好きなAWSサービス: ・ Amazon ECS, Amazon EKS, Amazon S3 o 趣味: ・ねこ、旅行
  • 14. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS Black Belt Online Seminar とは o 「サービス別」 「ソリューション別」 「業種別」のそれぞれのテーマに 分け、アマゾン ウェブ サービス ジャパン株式会社が主催する オンラインセミナーシリーズです。 • AWSの技術担当者が、AWSの各サービスについてテーマごとに動画を公開します • お好きな時間、お好きな場所でご受講いただけるオンデマンド形式です • 動画を一時停止・スキップすることで、興味がある分野・項目だけの聴講も可能、 スキマ時間の学習にもお役立ていただけます
  • 15. © 2021, Amazon Web Services, Inc. or its Affiliates. 内容についての注意点 • 本資料では2021年6月時点のサービス内容および価格についてご説明しています。最新の情報は AWS公式ウェブサイト(http://aws.amazon.com)にてご確認ください。 • 資料作成には十分注意しておりますが、資料内の価格とAWS公式ウェブサイト記載の価格に相違が あった場合、AWS公式ウェブサイトの価格を優先とさせていただきます。 • 価格は税抜表記となっています。日本居住者のお客様には別途消費税をご請求させていただきます。 • AWS does not offer binding price quotes. AWS pricing is publicly available and is subject to change in accordance with the AWS Customer Agreement available at http://aws.amazon.com/agreement/. Any pricing information included in this document is provided only as an estimate of usage charges for AWS services based on certain information that you have provided. Monthly charges will be based on your actual use of AWS services, and may vary from the estimates provided.
  • 16. © 2021, Amazon Web Services, Inc. or its Affiliates. 本資料に関するお問い合わせ・ご感想 o 技術的な内容に関しましては、有料のAWSサポート窓口へお問い合わせくだ さい o https://aws.amazon.com/jp/premiumsupport/ o 料金面でのお問い合わせに関しましては、カスタマーサポート窓口へお問い合 わせください(マネジメントコンソールへのログインが必要です) o https://console.aws.amazon.com/support/home#/case/create?issueTy pe=customer-service o 具体的な案件に対する構成相談は、後述する個別技術相談会をご活用ください ご感想はTwitterへ!ハッシュタグは以下をご利用ください #awsblackbelt
  • 17. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS の日本語資料の場所「AWS 資料」で検索 https://amzn.to/JPArchive
  • 18. © 2021, Amazon Web Services, Inc. or its Affiliates. AWS のハンズオン資料の場所「AWS ハンズオン」で検索 https://aws.amazon.com/jp/aws-jp-introduction/aws-jp-webinar-hands-on/
  • 19. © 2021, Amazon Web Services, Inc. or its Affiliates. で[検 索] AWS イベント 毎週”W-A個別技術相談会”を実施中 oAWSのソリューションアーキテクト(SA)に 対策などを相談することも可能 o申込みはイベント告知サイトから (https://aws.amazon.com/jp/about-aws/events/) AWS Well-Architected 個別技術相談会 19
  • 20. © 2021, Amazon Web Services, Inc. or its Affiliates. ご視聴ありがとうございました