Enviar búsqueda
Cargar
No-Ops で大量データ処理基盤を簡単に実現する
•
6 recomendaciones
•
4,829 vistas
Kiyoshi Fukuda
Seguir
【17-D-2】デブサミ2017 資料です。
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 51
Descargar ahora
Descargar para leer sin conexión
Recomendados
Google Cloud Platform 概要
Google Cloud Platform 概要
Kiyoshi Fukuda
Google Cloud のネットワークとロードバランサ
Google Cloud のネットワークとロードバランサ
Google Cloud Platform - Japan
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
Google Cloud Platform - Japan
Google Cloud Platform は何がすごいのか?
Google Cloud Platform は何がすごいのか?
Kiyoshi Fukuda
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
Google Cloud Platform - Japan
ついに上陸!PaaS 最新兵器のご紹介
ついに上陸!PaaS 最新兵器のご紹介
Miho Yamamoto
de:code 2019 Cloud トラック 総まとめ!
de:code 2019 Cloud トラック 総まとめ!
Minoru Naito
Google Cloud Platform 概要
Google Cloud Platform 概要
Kiyoshi Fukuda
Recomendados
Google Cloud Platform 概要
Google Cloud Platform 概要
Kiyoshi Fukuda
Google Cloud のネットワークとロードバランサ
Google Cloud のネットワークとロードバランサ
Google Cloud Platform - Japan
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
グリー株式会社『私たちが GCP を使い始めた本当の理由』第 9 回 Google Cloud INSIDE Game & Apps
Google Cloud Platform - Japan
Google Cloud Platform は何がすごいのか?
Google Cloud Platform は何がすごいのか?
Kiyoshi Fukuda
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
[Cloud OnAir] Google Cloud Next '20: OnAir 特別編 〜世界で人気のあったセッション特集〜 2020年9月24日 放送
Google Cloud Platform - Japan
ついに上陸!PaaS 最新兵器のご紹介
ついに上陸!PaaS 最新兵器のご紹介
Miho Yamamoto
de:code 2019 Cloud トラック 総まとめ!
de:code 2019 Cloud トラック 総まとめ!
Minoru Naito
Google Cloud Platform 概要
Google Cloud Platform 概要
Kiyoshi Fukuda
データからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とは
Miho Yamamoto
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
Google Cloud Platform - Japan
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
Miho Yamamoto
Oracle Cloud MySQL Service
Oracle Cloud MySQL Service
Shinya Sugiyama
Elastic observabilitycansmartlymanagetheappsonkubernetes
Elastic observabilitycansmartlymanagetheappsonkubernetes
Shotaro Suzuki
SQL Server エンジニア のための コンテナ入門(k8s編)
SQL Server エンジニア のための コンテナ入門(k8s編)
Tomoyuki Oota
クラウドネイティブガバナンスの実現
クラウドネイティブガバナンスの実現
Minoru Naito
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Daiyu Hatakeyama
[GKE & Spanner 勉強会] GKE 入門
[GKE & Spanner 勉強会] GKE 入門
Google Cloud Platform - Japan
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
Azure Antenna AI 概要
Azure Antenna AI 概要
Miho Yamamoto
CI65_やってみよう、Azure Stack で マルチ テナント環境の構築
CI65_やってみよう、Azure Stack で マルチ テナント環境の構築
Hiroshi Matsumoto
20140927 azure pack_slideshare
20140927 azure pack_slideshare
Osamu Takazoe
今改めて学ぶ Microsoft Azure 基礎知識
今改めて学ぶ Microsoft Azure 基礎知識
Minoru Naito
Developer summit 2015 gcp
Developer summit 2015 gcp
Google Cloud Platform - Japan
20150704 MS Azure最新 - innovation egg 第4回
20150704 MS Azure最新 - innovation egg 第4回
Keiji Kamebuchi
分析データとトランザクションデータ
分析データとトランザクションデータ
Miho Yamamoto
20170902 kixs azure&azure stack
20170902 kixs azure&azure stack
Osamu Takazoe
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
Daisuke Ikeda
こわくない!デジタルトランスフォーメーション
こわくない!デジタルトランスフォーメーション
Miho Yamamoto
【17-E-1】自動化はどこに向かうのか~まだ開発・運用の自動化で消耗しているの?~
【17-E-1】自動化はどこに向かうのか~まだ開発・運用の自動化で消耗しているの?~
Masahito Zembutsu
Googleのインフラ技術から考える理想のDevOps
Googleのインフラ技術から考える理想のDevOps
Etsuji Nakai
Más contenido relacionado
La actualidad más candente
データからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とは
Miho Yamamoto
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
Google Cloud Platform - Japan
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
Miho Yamamoto
Oracle Cloud MySQL Service
Oracle Cloud MySQL Service
Shinya Sugiyama
Elastic observabilitycansmartlymanagetheappsonkubernetes
Elastic observabilitycansmartlymanagetheappsonkubernetes
Shotaro Suzuki
SQL Server エンジニア のための コンテナ入門(k8s編)
SQL Server エンジニア のための コンテナ入門(k8s編)
Tomoyuki Oota
クラウドネイティブガバナンスの実現
クラウドネイティブガバナンスの実現
Minoru Naito
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Daiyu Hatakeyama
[GKE & Spanner 勉強会] GKE 入門
[GKE & Spanner 勉強会] GKE 入門
Google Cloud Platform - Japan
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
Azure Antenna AI 概要
Azure Antenna AI 概要
Miho Yamamoto
CI65_やってみよう、Azure Stack で マルチ テナント環境の構築
CI65_やってみよう、Azure Stack で マルチ テナント環境の構築
Hiroshi Matsumoto
20140927 azure pack_slideshare
20140927 azure pack_slideshare
Osamu Takazoe
今改めて学ぶ Microsoft Azure 基礎知識
今改めて学ぶ Microsoft Azure 基礎知識
Minoru Naito
Developer summit 2015 gcp
Developer summit 2015 gcp
Google Cloud Platform - Japan
20150704 MS Azure最新 - innovation egg 第4回
20150704 MS Azure最新 - innovation egg 第4回
Keiji Kamebuchi
分析データとトランザクションデータ
分析データとトランザクションデータ
Miho Yamamoto
20170902 kixs azure&azure stack
20170902 kixs azure&azure stack
Osamu Takazoe
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
Daisuke Ikeda
こわくない!デジタルトランスフォーメーション
こわくない!デジタルトランスフォーメーション
Miho Yamamoto
La actualidad más candente
(20)
データからビジネス変革をもたらすマイクロソフトの AI とは
データからビジネス変革をもたらすマイクロソフトの AI とは
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
[Cloud OnAir] 【Anthos 演習】 解説を聞きながら Anthos を体験しよう 2020年11月5日 放送
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
ネットアップとマイクロソフトで アプリケーションをちょっと良くしよう!!
Oracle Cloud MySQL Service
Oracle Cloud MySQL Service
Elastic observabilitycansmartlymanagetheappsonkubernetes
Elastic observabilitycansmartlymanagetheappsonkubernetes
SQL Server エンジニア のための コンテナ入門(k8s編)
SQL Server エンジニア のための コンテナ入門(k8s編)
クラウドネイティブガバナンスの実現
クラウドネイティブガバナンスの実現
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
Japan SQL Server Users Group - 第31回 SQL Server 2019勉強会 - Azure Synapse Analyt...
[GKE & Spanner 勉強会] GKE 入門
[GKE & Spanner 勉強会] GKE 入門
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Azure Antenna AI 概要
Azure Antenna AI 概要
CI65_やってみよう、Azure Stack で マルチ テナント環境の構築
CI65_やってみよう、Azure Stack で マルチ テナント環境の構築
20140927 azure pack_slideshare
20140927 azure pack_slideshare
今改めて学ぶ Microsoft Azure 基礎知識
今改めて学ぶ Microsoft Azure 基礎知識
Developer summit 2015 gcp
Developer summit 2015 gcp
20150704 MS Azure最新 - innovation egg 第4回
20150704 MS Azure最新 - innovation egg 第4回
分析データとトランザクションデータ
分析データとトランザクションデータ
20170902 kixs azure&azure stack
20170902 kixs azure&azure stack
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
AIOpsで実現する効率化 OSC 2022 Online Spring TIS
こわくない!デジタルトランスフォーメーション
こわくない!デジタルトランスフォーメーション
Destacado
【17-E-1】自動化はどこに向かうのか~まだ開発・運用の自動化で消耗しているの?~
【17-E-1】自動化はどこに向かうのか~まだ開発・運用の自動化で消耗しているの?~
Masahito Zembutsu
Googleのインフラ技術から考える理想のDevOps
Googleのインフラ技術から考える理想のDevOps
Etsuji Nakai
Developer Summit 2017
Developer Summit 2017
Hirotaka Niisato
サーバレスアーキテクチャにしてみた【デブサミ2017 17-E-2】
サーバレスアーキテクチャにしてみた【デブサミ2017 17-E-2】
dreamarts_pr
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
真吾 吉田
正しくプロダクトを作り、リリースプランニングするためのプロダクトオーナーの役割とは
正しくプロダクトを作り、リリースプランニングするためのプロダクトオーナーの役割とは
Narichika Kajihara
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
Shingo Kitayama
【17-D-1】今どきのアーキテクチャを現場の立場で斬る
【17-D-1】今どきのアーキテクチャを現場の立場で斬る
Developers Summit
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
Tetsuo Yamabe
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
Yahoo!デベロッパーネットワーク
【17-E-4】GitHub Enterpriseユーザ企業登壇!企業文化にイノベーションを起こすモダンなソフトウェア開発環境とは?
【17-E-4】GitHub Enterpriseユーザ企業登壇!企業文化にイノベーションを起こすモダンなソフトウェア開発環境とは?
Developers Summit
今年はJava進化の年!今知っておくべき新しいJava
今年はJava進化の年!今知っておくべき新しいJava
Takashi Ito
[Devsumi2017]オルタナティブなチーム開発のすゝめ
[Devsumi2017]オルタナティブなチーム開発のすゝめ
Atsushi Kojima
【17-D-3】リーンスタートアップとスマートなエンジニアリングの葛藤 #devsumi #devsumiD
【17-D-3】リーンスタートアップとスマートなエンジニアリングの葛藤 #devsumi #devsumiD
満徳 関
エンジニアが働きたい場所で働けるために、チームに必要なこと
エンジニアが働きたい場所で働けるために、チームに必要なこと
Yuki Okada
Devsumi20170217
Devsumi20170217
Tomonori Yano
リクルート式AIの活用法
リクルート式AIの活用法
Recruit Technologies
[Developers Summit 2017] MicrosoftのAI開発機能/サービス
[Developers Summit 2017] MicrosoftのAI開発機能/サービス
Naoki (Neo) SATO
時を超えた越境への道
時を超えた越境への道
toshihiro ichitani
エンジニアが起業するとき気を付けること
エンジニアが起業するとき気を付けること
晋 奥山
Destacado
(20)
【17-E-1】自動化はどこに向かうのか~まだ開発・運用の自動化で消耗しているの?~
【17-E-1】自動化はどこに向かうのか~まだ開発・運用の自動化で消耗しているの?~
Googleのインフラ技術から考える理想のDevOps
Googleのインフラ技術から考える理想のDevOps
Developer Summit 2017
Developer Summit 2017
サーバレスアーキテクチャにしてみた【デブサミ2017 17-E-2】
サーバレスアーキテクチャにしてみた【デブサミ2017 17-E-2】
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
サーバーレスにおける開発プロセス戦略(パネルディスカッション用スライド)
正しくプロダクトを作り、リリースプランニングするためのプロダクトオーナーの役割とは
正しくプロダクトを作り、リリースプランニングするためのプロダクトオーナーの役割とは
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
【17-D-1】今どきのアーキテクチャを現場の立場で斬る
【17-D-1】今どきのアーキテクチャを現場の立場で斬る
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
スタディサプリを支えるデータ分析基盤 ~設計の勘所と利活用事例~
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
【17-E-4】GitHub Enterpriseユーザ企業登壇!企業文化にイノベーションを起こすモダンなソフトウェア開発環境とは?
【17-E-4】GitHub Enterpriseユーザ企業登壇!企業文化にイノベーションを起こすモダンなソフトウェア開発環境とは?
今年はJava進化の年!今知っておくべき新しいJava
今年はJava進化の年!今知っておくべき新しいJava
[Devsumi2017]オルタナティブなチーム開発のすゝめ
[Devsumi2017]オルタナティブなチーム開発のすゝめ
【17-D-3】リーンスタートアップとスマートなエンジニアリングの葛藤 #devsumi #devsumiD
【17-D-3】リーンスタートアップとスマートなエンジニアリングの葛藤 #devsumi #devsumiD
エンジニアが働きたい場所で働けるために、チームに必要なこと
エンジニアが働きたい場所で働けるために、チームに必要なこと
Devsumi20170217
Devsumi20170217
リクルート式AIの活用法
リクルート式AIの活用法
[Developers Summit 2017] MicrosoftのAI開発機能/サービス
[Developers Summit 2017] MicrosoftのAI開発機能/サービス
時を超えた越境への道
時を超えた越境への道
エンジニアが起業するとき気を付けること
エンジニアが起業するとき気を付けること
Similar a No-Ops で大量データ処理基盤を簡単に実現する
DLLAB Ignite Update Data Platform
DLLAB Ignite Update Data Platform
Deep Learning Lab(ディープラーニング・ラボ)
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
Google Cloud Platform - Japan
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
Google Cloud Platform - Japan
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
日本マイクロソフト株式会社
オープンソースカンファレンス OSC 2014 エンタープライズ 東京 ownCloud 法人向けオンラインストレージ マルチデバイスファイル共有ソリューション
オープンソースカンファレンス OSC 2014 エンタープライズ 東京 ownCloud 法人向けオンラインストレージ マルチデバイスファイル共有ソリューション
Tetsurou Yano
Microsoft Ignite 2019 最新アップデート - Azure Big Data Services を俯瞰的に眺める
Microsoft Ignite 2019 最新アップデート - Azure Big Data Services を俯瞰的に眺める
Daiyu Hatakeyama
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Ryoma Nagata
Microsoft Azure build & ignight update summary
Microsoft Azure build & ignight update summary
Hirano Kazunori
2014年12月04日 ヒーロー島 Azureスペシャル
2014年12月04日 ヒーロー島 Azureスペシャル
Daiyu Hatakeyama
Microsoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update Topics
Microsoft
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
Insight Technology, Inc.
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Hideo Takagi
Go azure keynote-クラウド利用のあらゆるニーズに応える windows azure の進化
Go azure keynote-クラウド利用のあらゆるニーズに応える windows azure の進化
GoAzure
Sql azure入門
Sql azure入門
貴仁 大和屋
IoTから関連するサービス群も含めてAzure 最新アップデートのご紹介_IoTビジネス共創ラボ 第9回 勉強会
IoTから関連するサービス群も含めてAzure 最新アップデートのご紹介_IoTビジネス共創ラボ 第9回 勉強会
IoTビジネス共創ラボ
SQL Server 2008/2008 R2/ 2012(/ 2014) 新機能
SQL Server 2008/2008 R2/ 2012(/ 2014) 新機能
Koichiro Sasaki
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Insight Technology, Inc.
C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章
Insight Technology, Inc.
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
Google Cloud Platform - Japan
G gencorp
G gencorp
ssuser2d6984
Similar a No-Ops で大量データ処理基盤を簡単に実現する
(20)
DLLAB Ignite Update Data Platform
DLLAB Ignite Update Data Platform
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] BigQuery の仕組みからベストプラクティスまでのご紹介 2018年9月6日 放送
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
[Cloud OnAir] 最新アップデート Google Cloud データ関連ソリューション 2020年5月14日 放送
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
【de:code 2020】 Azure Synapse Analytics 技術編 ~ 最新の統合分析プラットフォームによる新しい価値の創出(前編)
オープンソースカンファレンス OSC 2014 エンタープライズ 東京 ownCloud 法人向けオンラインストレージ マルチデバイスファイル共有ソリューション
オープンソースカンファレンス OSC 2014 エンタープライズ 東京 ownCloud 法人向けオンラインストレージ マルチデバイスファイル共有ソリューション
Microsoft Ignite 2019 最新アップデート - Azure Big Data Services を俯瞰的に眺める
Microsoft Ignite 2019 最新アップデート - Azure Big Data Services を俯瞰的に眺める
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Microsoft Azure build & ignight update summary
Microsoft Azure build & ignight update summary
2014年12月04日 ヒーロー島 Azureスペシャル
2014年12月04日 ヒーロー島 Azureスペシャル
Microsoft Ignite Fall 2021 Data Platform Update Topics
Microsoft Ignite Fall 2021 Data Platform Update Topics
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
[db tech showcase Tokyo 2014] C34:[楽天] 詳説 楽天のデータベースアーキテクチャ史 -シングルノードから仮想化フラッシ...
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Microsoft Azureのビッグデータ基盤とAIテクノロジーを活用しよう
Go azure keynote-クラウド利用のあらゆるニーズに応える windows azure の進化
Go azure keynote-クラウド利用のあらゆるニーズに応える windows azure の進化
Sql azure入門
Sql azure入門
IoTから関連するサービス群も含めてAzure 最新アップデートのご紹介_IoTビジネス共創ラボ 第9回 勉強会
IoTから関連するサービス群も含めてAzure 最新アップデートのご紹介_IoTビジネス共創ラボ 第9回 勉強会
SQL Server 2008/2008 R2/ 2012(/ 2014) 新機能
SQL Server 2008/2008 R2/ 2012(/ 2014) 新機能
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
Attunityのソリューションと異種データベース・クラウド移行事例のご紹介
C32 DB Performance on Cloud by 安藤賀章
C32 DB Performance on Cloud by 安藤賀章
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
[Cloud OnAir] BigQuery で実現する Smart Analytics Platform 2019年10月24日 放送
G gencorp
G gencorp
Último
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
Atomu Hidaka
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
furutsuka
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
osamut
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
Shota Ito
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
iPride Co., Ltd.
Último
(9)
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
新人研修のまとめ 2024/04/12の勉強会で発表されたものです。
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
IoT in the era of generative AI, Thanks IoT ALGYAN.pptx
UPWARD_share_company_information_20240415.pdf
UPWARD_share_company_information_20240415.pdf
20240412_HCCJP での Windows Server 2025 Active Directory
20240412_HCCJP での Windows Server 2025 Active Directory
PHP-Conference-Odawara-2024-04-000000000
PHP-Conference-Odawara-2024-04-000000000
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
Amazon SES を勉強してみる その12024/04/12の勉強会で発表されたものです。
No-Ops で大量データ処理基盤を簡単に実現する
1.
福田 潔 Google Cloud
Platform カスタマーエンジニア Google Cloud No-Ops で大量データ処理基盤を 簡単に実現する BigQuery と Cloud Dataflow で実現する次世代データ処理基盤
2.
Data + No-Ops
3.
Data makes software
great. Apps (and companies) win or lose based on how they use it.
4.
Better software, faster.
5.
分析 クラスタを作成クラスタを管理 クラスタを アップグレード インデックスを 定義 ソフトウェアを セットアップ ネットワークを セットアップ スケールを管理 典型的なデータウェアハウス インフラではなく、データから 知見を導くところにフォーカス する 分析 クラウド時代の Big Data アーキテクチャ 分析に費やす時間を増やす
6.
1 Billion Users
7.
8.
Enterprise
9.
世界を駆け巡る Google バックボーンネットワーク
10.
11.
1111 http://www.submarinecablemap.com/#/submarine-cable/faster
12.
データセンター内の 高速ネットワーク ● 5th generation
of custom-made network fablic ● 1Pbps = 100K machines x 10Gbps Jupitor
13.
Borg 大規模クラスタ 管理システム ● Everything at
Google runs in a container ● Separate of infra / application ● Prod + Non-Prod runs on same machine
14.
2016 Google Research 20082002 2004 2006
2010 2012 2014 2015 Open Source 2005 Google Cloud Products GFS Map Reduce 15年以上、データの問題に向き合ってきた
15.
2016 Google Research 20082002 2004 2006
2010 2012 2014 2015 Open Source 2005 Google Cloud Products BigQuery Pub/Sub Dataflow Bigtable ML GFS Map Reduce BigTable Dremel Flume Java Millwheel Tensorflow Apache Beam PubSub 15年以上、データの問題に向き合ってきた
16.
ビッグデータのライフサイクル 保存 分析処理収集
17.
分析保存収集 BigQuery (SQL) 処理 Cloud Dataflow (stream and batch) Cloud Storage (objects) Cloud Datastor (NoSQL) BigQuery Storage (structured) Cloud Dataproc
(Hadoop & Ecosystem) Cloud Bigtable (NoSQL HBase) Cassandra hBase MongoDBRabbit MQ Kafka Cloud 2.0 Cloud 3.0 可視化 Cloud DataLab (iPython/Jupyter) Tableau Pub/Sub Stackdriver Logging BQ Streaming App Engine Cloud SQL (SQL) Cloud Machine Learning プロダクトをマップすると Cloud Spanner (NewSQL)
18.
リファレンスアーキテクチャ : データを収集する Cloud
Pub/Sub At Leaast One の信頼性を持つ、スケーラブルなNo-Opsグローバル分散 メッセージ・キュー Cloud Storage オブジェクトストレージ。外部システムが出力するファイルの GCPへのエントリーポイントとなる 生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 Stackdriver Logging GCP および AWS(EC2) からログイベントを収集 APIを介して任意のアプリケーションログも収集 GCPのシステムロ グ、アプリケーション ログ 等 Transfer Service
19.
リファレンスアーキテクチャ : 処理および変換 生ログ、ファイル、外 部システムからのア ウトプット
等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Cloud Dataflow バッチ/ストリーム両方に対応した データ処理エンジン Transfer Service
20.
リファレンスアーキテクチャ : 処理および変換 生ログ、ファイル、外 部システムからのア ウトプット
等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Cloud Dataflow バッチ/ストリーム両方に対応した データ処理エンジン Cloud Dataproc Spark / Hadoop のマネージド・サービス Batch
21.
リファレンスアーキテクチャ : 分析および保存 生ログ、ファイル、外 部システムからのア ウトプット
等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch BigQuery 大規模データセットに対する 高性能クエリーエンジン
22.
リファレンスアーキテクチャ : 分析および可視化 生ログ、ファイル、外 部システムからのア ウトプット
等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch 外部 アプリケー ション Cloud Datalab 可視化および BI データ共有 B C A BigQuery Dataproc Dataflow Cloud Storage Pub/Sub Stackdriver Logging
23.
生ログ、ファイル、外 部システムからのア ウトプット 等 イベント、 メトリック等 GCPのシステムロ グ、アプリケーション ログ 等 Stream Batch Batch 外部 アプリケー ション Cloud
Datalab 可視化および BI データ共有 B C A a No-Ops big data stack that scales automatically
24.
Cloud Dataflow Batch/Streaming Processing BigQuery Large Scale Analytics
25.
BigQuery Fully managed, Petabyte
Scale, Low Cost Enterprise Data Warehouse for analytics
26.
26 BigQuery とは? 耐久性があり高可用性を備える スタンダードSQL ペタバイト規模で高速 フルマネージドの No-Ops
データウェアハウス
27.
BigQuery の内部構造 SQL クエリ ペタビット ネットワーク BigQuery カラム指向ストレージ
コンピュート ストリーミングイン ジェスト 高速バッチロード Google Cloud Storage Google Drive Google スプレッドシート Federated Query
28.
デモ 1PB Query
29.
30.
継続的な改善 2010 2011 2012
2013 2014 公開 大規模なクエリ結果 2015 2016 900 300 0 1,200 Google I/O でベータリリース Dremel X Big JOIN サポート ダイナミック エグゼキューション Capacitor シャッフル高速化 100k qps のストリーミン グ ユーザー定義関数 100k qps の ストリーミング Code Submits
31.
Unstructured data accounts
for 90% of enterprise data* *Source: IDC
32.
Dataflow New default of
stream processing
33.
バッチ処理の問題点:データは継続的に生成される (=Unbounded Data)。なぜ処理するために待たなければなら ないのか? Dataflow(Apache Beam)
は ストリーム処理の新しいデフォルト バッチ処理はストリーム処理のサブセットと捉える Cloud Dataflow とは?
34.
20122002 2004 2006
2008 2010 MapReduce GFS Big Table Dremel Pregel FlumeJava Colossus Spanner 2014 MillWheel Dataflow 2016 Dataflow は新しいデフォルト
35.
Dataflow モデル および
Cloud Dataflow Dataflow Model & SDKs バッチおよびストリーム処理の 統合プログラムモデル no-ops, フルマネージドサービス (実行環境) Google Cloud Dataflow Apache Beam
36.
{a->[apple, art, argentina],
ar->[art, argentina, armenia],...} Count ExpandPrefixes Top(3) Write Read ExtractTags {a->(argentina, 5M), a->(armenia, 2M), …, ar->(argentina, 5M), ar->(armenia, 2M), ...} {#argentina scores!, watching #armenia vs #argentina, my #art project, …} {argentina, armenia, argentina, art, ...} {argentina->5M, armenia->2M, art->90M, ...} Tweets Predictions
37.
Count ExpandPrefixes Top(3) Write Read ExtractTags Tweets Predictions Pipeline p =
Pipeline.create(new PipelineOptions()); p p.run(); .apply(ParDo.of(new ExtractTags())) .apply(Top.largestPerKey(3)) .apply(Count.perElement()) .apply(ParDo.of(new ExpandPrefixes()) .apply(TextIO.Write.to(“gs://…”)); .apply(TextIO.Read.from(“gs://…”)) class ExpandPrefixes … { public void processElement(ProcessContext c) { String word = c.element().getKey(); for (int i = 1; i <= word.length(); i++) { String prefix = word.substring(0, i); c.output(KV.of(prefix, c.element())); } } }
38.
NYC Taxi and
Limousine Commissions : Open Data
39.
Cloud Pub/Sub (public dataset) Dataflow ETL
using Cloud Dataflow BigQuery BigQuery Cloud Pub/Sub Visualize Application Datalab DataStudio
40.
41.
42.
43.
デモの結果は? 1PB Query
44.
45.
“クラウドプロバイダは成熟してきた。 コストが下がり、信頼性が増し、様々なサービス を提供するようになってきた” Spotify http://www.slideshare.net/JoshBaer/shortening-the-feedback-loop-big-data-spain-external
46.
“物理マシンを所有して運用することは、我々に とっては競争優位ではない “ Spotify http://www.slideshare.net/JoshBaer/shortening-the-feedback-loop-big-data-spain-external
47.
“我々はビッグデータ技術におけるGoogle の 先進性が、我々のデータ処理に優位をもたら してくれると信じている” Spotify http://www.slideshare.net/JoshBaer/shortening-the-feedback-loop-big-data-spain-external
48.
cloud.google.com
49.
https://goo.gl/EolvdJ 4月21日 | 10:00
AM - 5:30 PM ベルサール渋谷ファースト
50.
参考 ● BigQuery ○ https://cloud.google.com/bigquery/ ●
Dataflow ○ https://cloud.google.com/dataflow/ ● Google Big Data Blog ○ https://cloud.google.com/blog/big-data/ ● NYC Taxi Tycoon Codelab ○ https://goo.gl/4g5eep ● Architecture: Optimized Large-Scale Analytics Ingestion ○ https://cloud.google.com/solutions/architecture/optimized-large-scale-a nalytics-ingestion
51.
Thank You! fukudak@google.com
Descargar ahora