Enviar búsqueda
Cargar
マハラノビス距離を用いた異常値検知
•
Descargar como PPTX, PDF
•
3 recomendaciones
•
3,653 vistas
Y
Yuto Mori
Seguir
Anomaly detection using Mahalanobis distance
Leer menos
Leer más
Tecnología
Denunciar
Compartir
Denunciar
Compartir
1 de 46
Descargar ahora
Recomendados
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
Deep Learning JP
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Recomendados
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
【DL輪読会】The Forward-Forward Algorithm: Some Preliminary
Deep Learning JP
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
深層学習の不確実性 - Uncertainty in Deep Neural Networks -
tmtm otm
【DL輪読会】時系列予測 Transfomers の精度向上手法
【DL輪読会】時系列予測 Transfomers の精度向上手法
Deep Learning JP
Layer Normalization@NIPS+読み会・関西
Layer Normalization@NIPS+読み会・関西
Keigo Nishida
データサイエンス概論第一 5 時系列データの解析
データサイエンス概論第一 5 時系列データの解析
Seiichi Uchida
Attentionの基礎からTransformerの入門まで
Attentionの基礎からTransformerの入門まで
AGIRobots
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
【DL輪読会】Visual ChatGPT: Talking, Drawing and Editing with Visual Foundation Mo...
Deep Learning JP
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
Deep Learning JP
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Kosuke Shinoda
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
HiPPO/S4解説
HiPPO/S4解説
Morpho, Inc.
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Más contenido relacionado
La actualidad más candente
Transformer メタサーベイ
Transformer メタサーベイ
cvpaper. challenge
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Deep Learning JP
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
tmtm otm
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
Satoshi Hara
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
Deep Learning JP
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
Deep Learning JP
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Yoshitaka Ushiku
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
Deep Learning JP
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
Deep Learning JP
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
Deep Learning JP
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
Yusuke Uchida
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Kosuke Shinoda
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
HiPPO/S4解説
HiPPO/S4解説
Morpho, Inc.
La actualidad más candente
(20)
Transformer メタサーベイ
Transformer メタサーベイ
[DL輪読会]Pay Attention to MLPs (gMLP)
[DL輪読会]Pay Attention to MLPs (gMLP)
Bayesian Neural Networks : Survey
Bayesian Neural Networks : Survey
機械学習モデルの判断根拠の説明(Ver.2)
機械学習モデルの判断根拠の説明(Ver.2)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
【DL輪読会】ViT + Self Supervised Learningまとめ
【DL輪読会】ViT + Self Supervised Learningまとめ
ドメイン適応の原理と応用
ドメイン適応の原理と応用
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
backbone としての timm 入門
backbone としての timm 入門
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
【DL輪読会】A Time Series is Worth 64 Words: Long-term Forecasting with Transformers
深層生成モデルと世界モデル
深層生成モデルと世界モデル
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
【DL輪読会】High-Resolution Image Synthesis with Latent Diffusion Models
モデルアーキテクチャ観点からのDeep Neural Network高速化
モデルアーキテクチャ観点からのDeep Neural Network高速化
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
PyTorchLightning ベース Hydra+MLFlow+Optuna による機械学習開発環境の構築
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
HiPPO/S4解説
HiPPO/S4解説
Último
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
danielhu54
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
Último
(10)
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
Postman LT Fukuoka_Quick Prototype_By Daniel
Postman LT Fukuoka_Quick Prototype_By Daniel
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
マハラノビス距離を用いた異常値検知
1.
マハラノビス距離を用いた 異常値検知 Anomaly detection using
Mahalanobis distance 公立はこだて未来大学 森雄斗 1
2.
概要 教師なし学習により、データのパターンを学習させ、パ ターンから外れたデータを異常値として検出する。 検出方法は、マハラノビス距離(Mahalanobis Distance)を 利用する。 2
3.
様々な距離測定 ユークリッド距離 マンハッタン距離
マハラノビス距離 チェビシェフ距離 ミンコフスキー距離 … 3
4.
マハラノビス距離とは データの各方向への散らばり具合まで 考慮した「データ群からの距離」 データに相関関係が強いほど等距離線 が楕円になる http://sky.geocities.jp/rdhdf849/maharanobis.htm 4
5.
ユークリッド距離と マハラノビス距離 ユークリッド距離=等距離線が円 マハラノビス距離=等距離線が楕円 右図のAとCはユークリッド距離を用いると等距 離だが、マハラノビス距離を用いると等距離で ない。 人間から見ても、マハラノビス距離が一番離れ ている点Aが外れ値だと判断できる。 →マハラノビス距離が大きいほど異常度が高い 5
6.
実験環境 Python 3.6.0 Pandas,
Matplotlib, Numpy, Scipy, Axes3D 実際のデータ(全てが正常値) MachineA.csv → 22673個 × 3 (X軸, Y軸, Z軸) MachineB.csv → 18703個 × 3 (X軸, Y軸, Z軸) 6
7.
データ入力(MachineA, X軸)7
8.
データ入力(MachineA, Y軸)8
9.
データ入力(MachineA, Z軸)9
10.
データ入力(MachineA) 特徴 • Y軸は-0.25~0.35と範囲が狭い • Z軸は0以上 •
時系列における定まった分布 (振動など)が存在しない 10
11.
MachineAの相関関係(X-Y)11
12.
MachineAの相関関係(X-Z)12
13.
MachineAの相関関係(Y-Z)13
14.
MachineAの相関関係 特徴 • X-Zグラフは負の相関が強い • 重心に点が集中している 14
15.
MachineAのマハラノビス距離15
16.
正確性の吟味 閾値を0.92に設定 ↓ Mahalanobis
Distance > 0.92 が成り立つ値を異常値と仮定する 右図の赤点が異常値 16 基準に近い閾値を0.03に設定 ↓ Mahalanobis Distance < 0.03 が成り立つ値を基準に近い標本と仮定する 右図の緑点が基準に近い標本
17.
正確性の吟味 赤:異常値 緑:基準に近い標本 17
18.
正確性の吟味(相関)18 赤:異常値 緑:基準に近い標本
19.
正確性の吟味 疑問 Y軸の値はあまり重要視されてない..? 推測 X軸の範囲とZ軸の範囲に対して,
Y軸の範囲 が狭い(X: 1.0, Y: 0.6, Z: 2.0) 19
20.
同様の処理をMachineBに 20
21.
データ入力(MachineB, X軸)21
22.
データ入力(MachineB, Y軸)22
23.
データ入力(MachineB, Z軸)23
24.
データ入力(MachineB) 特徴 • X軸は-0.4~0.4と範囲が狭い • X軸のばらつきが大きい •
Z軸は0以上 24
25.
MachineBの相関関係(X-Y)25
26.
MachineBの相関関係(X-Z)26
27.
MachineBの相関関係(Y-Z)27
28.
MachineBの相関関係 特徴 • X-Yグラフは負の相関が強い • Y-Zグラフは正の相関が強い •
X-Zグラフはばらつきが大きい 28
29.
MachineBのマハラノビス距離29
30.
正確性の吟味 閾値を1.12に設定 ↓ Mahalanobis
Distance > 1.12 が成り立つ値を異常値と仮定する 右図の赤点が異常値 30 基準に近い閾値を0.09に設定 ↓ Mahalanobis Distance < 0.09 が成り立つ値を基準に近い標本と仮定する 右図の緑点が基準に近い標本
31.
正確性の吟味31 赤:異常値 緑:基準に近い標本
32.
正確性の吟味(相関)32 赤:異常値 緑:基準に近い標本
33.
正確性の吟味 結果 MachineAよりも正しく判断されている 推測 X,
Y, Zそれぞれに強い相関関係があるから 33
34.
3D plot(MachineA)34
35.
3D plot(MachineA)35
36.
3D plot(MachineA)+Mahalanobis36 外れ値: Mahalanobis
Distance > 0.87 基準に近い標本: Mahalanobis Distance < 0.04
37.
3D plot(MachineA)+Mahalanobis37 外れ値: Mahalanobis
Distance > 0.87 基準に近い標本: Mahalanobis Distance < 0.04
38.
MD>0.87, MD<0.04 のみ描写38 外れ値:
Mahalanobis Distance > 0.87 基準に近い標本: Mahalanobis Distance < 0.04 MD=Mahalanobis Distance
39.
3D plot(MachineB)39
40.
3D plot(MachineB)40
41.
3D plot(MachineB)+Mahalanobis41 外れ値: Mahalanobis
Distance > 1.00 基準に近い標本: Mahalanobis Distance < 0.13
42.
3D plot(MachineB)+Mahalanobis42 外れ値: Mahalanobis
Distance > 1.00 基準に近い標本: Mahalanobis Distance < 0.13
43.
MD>1.00, MD<0.13 のみ描写43 外れ値:
Mahalanobis Distance > 1.00 基準に近い標本: Mahalanobis Distance < 0.13
44.
ダミーを追加する (成功例)44 MachineAにDummyを追加する。 Dummy(-0.72, 0.52,
0.52) → Mahalanobis Distance: 1.06281239 異常値をMahalanobis Distance >1.06に設定 Dummy
45.
ダミーを追加する (失敗例)45 MachineAにDummyを追加する。 Dummy(-0.62, 0.52,
0.52) → Mahalanobis Distance: 0.99120379 異常値をMahalanobis Distance >1.10に設定 Dummy 2つとも実際の正常データ
46.
まとめ 実際のデータをグラフにして特徴を調べた X,
Y, Z軸のデータをマハラノビス距離に変換して正確性を確かめた 実際のデータからマハラノビス距離を視覚化できた ダミーを追加して異常値として検出するかを確かめた 著しく離れたデータの検出は可能だが、正常値を異常値にする場合がある 46
Descargar ahora