データテクノロジースペシャル：Yahoo! JAPANにおけるメタデータ管理の試み

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
吉野彰真
データテクノロジースペシャル：
Yahoo! JAPANにおける
メタデータ管理の試み
2017年2月16日

アジェンダ
1
1. 自己紹介
2. ヤフーの事業
3. ヤフーのビッグデータ
4. データマネジメント概論
5. メタデータ管理の取り組み
6. まとめ

自己紹介
2
データ＆サイエンスソリューション統括本部
データガバナンスチーム
吉野彰真 (YOSHINO Akimasa)
2011年ヤフーに入社
大規模RDB環境(Oracle/MySQL)の
構築・運用を経て、データマネジメ
ント領域を担当

3
データセンター
データ＆サイエンス
Yahoo! JAPAN サービス
データプラットフォーム
サイエンス
データサービス
研究所

1. ヤフーの事業

事業状況
5
20years
17
18
19

0
100
200
300
400
500
600
bilion U.S. dollars
企業価値
6
http://www.statista.com/statistics/277483/market-value-of-the-largest-internet-companies-worldwide/
as of May 2016
世界18位

ユーザー規模
7
9,000万1日約
ユニーク
ブラウザ
※出典：ヤフー株式会社 2016年度第3四半期事業指標推移表（2016年4月-12月の平均）

提供サービス
8
Media
US
Search Video Answer Mail
JP
US
JP
Membership C2C Payment C2C EC B2C EC Local
YAHOO! Google NETFLIX Quora GMail
Aol. PayPal ebay amazon yelp

社外秘
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 9

Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ネット企業から
データドリブン企業へ

データ = AIによる産業革命
11
ーーーーー
生産能力の向上
認知能力の向上
機械
AI
蒸気機関
ビッグデータ
●産業革命
●新産業革命
ビッグデータがないとAIは作れない

社外秘

マルチなデータセット
13
EC FinTech
メディア
など
など
など

データ = 直接的資産
14
検索
EC
金融
メッセージングサービス
地図、カーナビ
興味のある言葉
買ったもの
ユーザーの資産
自然言語
位置情報

データ = エコシステムの源泉
15
サービスや
機能を提供
データがたまる
データから
気づきを得る AI ユーザー
データ

データ = エコシステムの源泉
16
データから
気づきを得る
サービスや
機能を提供
データがたまる
AI ユーザ
データ
無限の再帰性

例: タイムライン
17
タイム
ライン
おすすめ AI
検索クエリ
クリック履歴
おすすめ
記事
検索

例:広告
18
クリック
したくなる
広告
(最適な情報)
検索
広告
Yahoo! JAPAN
サービス
パートナー
サイト
クリック履歴
検索クエリ
訪問履歴
PV履歴
AI

これからのヤフー
19
データから得た気づきを
最大限に活用した
ヤフーにしかできない
提案・サービス

社外秘

取り組んでいくこと
21
データを効率よく運用する
計算力の強化
人財の強化
サービスの磨き込み
ものづくりの変革
１
２
３
４
５
１
２
３
４
５
AI ユーザー
データ

2. ヤフーのビッグデータ

膨大なデータボリューム
23
月間 674億PV
PC + その他
281億 PV
Smart Phone
393億 PV
FY16-3Q事業指標 http://ir.yahoo.co.jp/jp/archives/present/2016q3/index.html

巨大なデータプラットフォーム
24
NoSQL
Object
Storage
DWHHadoop RDB

巨大なデータプラットフォーム
25
NoSQL
Object
Storage
DWHHadoop RDB
7,000 nodes
150PB
800
DBs
600,000
Query/day
1,500
nodes
2,000
nodes
*弊社独自の調査 2017年1月時点

技術
26

Global
27

どれだけ価値を引き出せるか?
28
?

どれだけ価値を引き出せるか?
29
?
データマネジメント
↓
データの資産化
資産価値の最大化

3. データマネジメント概論

フレームワーク
http://cmmiinstitute.com/data-management-maturity
Data Management Maturity (DMM)℠ Model
https://www.dama.org/content/body-knowledge
Data Management Body of Knowledge (DMBOK)
• PMBOK → DMBOK
• 知識体系
• CMMI → DMM
• 成熟度モデル
31

難しいポイント
データの構造事業の構造企業文化
32

ヤフーの考えるマネジメント領域
データスチュ
ワードシップ
メタデータ管理
データアーキ
テクチャ
データウェアハウス
&
ビジネスインテリジェン
ス
データストレー
ジ&オペレー
ション
データインテグ
レーション&イ
ンターオペラビ
リティ
データセキュリティ
ドキュメント&
コンテンツ
リファレンス&
マスターデータ
データモデリ
ング&デザイ
ン
データクォリ
ティ
33

ヤフーの考えるマネジメント領域
データスチュ
ワードシップ
データアーキ
テクチャ
データウェアハウ
ス&ビジネスインテ
リジェンス
データストレー
ジ&オペレー
ション
データインテグ
レーション&イ
ンターオペラビ
リティ
データセキュリティ
ドキュメント&
コンテンツ
リファレンス&
マスターデータ
データモデリ
ング&デザイ
ン
データクォリ
ティ
フレームワークを参考に領域を定義
領域ごとにやること整理
イニシアチブ化
34

目下注力しているイニシアチブ
35
a.データスチュワードシップ
b.データ標準化
c.データライフサイクル&エコシステム
d.メタデータ管理

a. データスチュワードシップ
カンパニーA カンパニーB カンパニーC
全社横断ネットワーク場の・
36

サービスCカンパニーBカンパニーA サービスD
b. データ標準化
37
標準計測と

c. データライフサイクル/エコシステム
38
・利用量の可視化
・利用状況の可視化
利用
・保管方針
・コスト可視化
蓄積

c. データライフサイクル/エコシステム
ログ種別毎 Hadoopアクセス回数(2016/2/1実績)

d. メタデータ管理

4. メタデータ管理の
取り組み

メタデータ管理とは?
42
• メタデータ = “データについてのデータ”
DATA
METADATA
{タイトル} {シリーズ}
{あらすじ}
{著者} {翻訳者}
{出版社} {版}
{発行年月日} {価格}
：

メタデータ管理とは?
43
= データ資産化の第一歩

メタデータの種類
44
テクニカルメタデータテーブル/カラムの定義、ファイルパス、サーバ
ビジネスメタデータ日本語の説明、コード体系(男性=0,女性=1)
運用メタデータ SLA、連絡先、オーナー
データフロー
データ品質
データの価値
リネージ、加工元 → 加工先の関連
定量化・スコア化された指標、正確性・完全性・精度…
意思決定・ビジネス利用の実績・ポテンシャル

45
データフロー
データ品質
データの価値

46
データフロー
データ品質
データの価値

47
データフロー
データ品質
データの価値

48
データフロー
データ品質
データの価値

ポイント
49
課題ベースで選択
&
自動と人手

課題感 (1/2)
50
データ資産の全体観が把握できていない
存在レベルでもいいのでひととおり把握したい
? ? ? ?
× 横断利用
× 資産の把握

課題感 (2/2)
51
“人手” に膨大な工数が必要

データ資産把握のイメージ
52
カバレッジ (100%)
充実度

53
充実度
技術

54
充実度
技術
ルール/マネジメント

メタデータ管理の仕組み(構想)
55
new
Hadoop
(HDFS) (Hive)
new
new
Object
Storage
(S3ライクなFS)
new
Teradata
new
RDB
Oracle/MySQL
new
KVS
準構造化構造化非構造化構造化
メタデータ管理データプラットフォーム
網羅率100%で自動収集
ルールに基づき人手で追記

今後の予定
56
・仕組み構築・ルールの策定と展開
ソリューション明快なルール
開発スチュワードシップ
すべての事業の基礎としてやり遂げる

5. まとめ

まとめ
58
データ=資産
メタデータ管理は資産管理の第一歩
模範をめざす

仲間募集中！
59
日本の課題解決エンジンを支える
Yahoo! JAPAN のデータ部門
スマホ or PC から
「ヤフー採用」
で検索！
※写真はイメージです
名刺交換
or

データテクノロジースペシャル：Yahoo! JAPANにおけるメタデータ管理の試み

Recomendados

Recomendados

Más contenido relacionado

La actualidad más candente

La actualidad más candente (20)

Destacado

Destacado (16)

Similar a データテクノロジースペシャル：Yahoo! JAPANにおけるメタデータ管理の試み

Similar a データテクノロジースペシャル：Yahoo! JAPANにおけるメタデータ管理の試み (20)

Más de Yahoo!デベロッパーネットワーク

Más de Yahoo!デベロッパーネットワーク (20)

Último

Último (10)

データテクノロジースペシャル：Yahoo! JAPANにおけるメタデータ管理の試み