2017年6月14日　ヒューマンインタフェース学会　SIG-UXSD研究会にて発表。

1. Copyright © Masaya Ando
2017年6月14日

2. Copyright © Masaya Ando
本日取り上げる論文
少し出版年は古いが、全体の傾向を捉えた重要な論文として
位置付けられる。
‒ Bargas-Avila, Javier A., ＆ Kasper Hornbæk : Old wine in new bottles
or novel challenges: a critical analysis of empirical studies of user
experience, Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, pp2689-2698, 2011.
‒ Lallemand, C., Gronier, G., & Koenig, V.: User experience: A concept
without consensus? Exploring practitioners’ perspectives through an
international survey, Computers in Human Behavior, 43, pp35-48,
2015.
‒ Law, E. L. C., van Schaik, P., & Roto, V.: Attitudes towards user
experience (UX) measurement, International Journal of Human-
Computer Studies, 72(6), pp526-541, 2014.
‒ Vermeeren, Arnold POS, et al.: User experience evaluation methods:
current state and development needs., Proceedings of the 6th
Nordic Conference on Human-Computer Interaction: Extending
Boundaries., pp.521-530, 2010.

3. Copyright © Masaya Ando
UXの評価の議論
UXの評価は、積年の課題。問題を複雑にしている原因は、
人工物側の品質を人を測定器として見立てて測定するという
発想で良いのか、という根本的な構造がある。
ユーザビリティは
モノサイドの品質

4. Copyright © Masaya Ando
UX評価の課題
従来のユーザビリティ評価は、ユーザー側がなるべくバラつ
かないように制御して測定しようとしているのに対し、UX
評価は何を把握したいのかすら、多様なまま。

5. Copyright © Masaya Ando
UXは未だコンセンサスを得られてない？
Lallemandらによる実践家らへのアンケート調査によると、
UXの定義やUXの構成概念に対する実践家の考えは、部分的
にはコンセンサスを得たものもあるが、かなりバラついてい
ることが示された(Lallemand, et. al., 2015)。
UXの定義を5つ示しどれに賛同するかなどを把握（758件の研究者や実践
者が回答。約4割がフランス語圏の回答者という特徴あり）。
ユーザーの内部状態、過去の経験、目標およびニーズの重要性並びに
人工物が経験されている状況の重要性などは、UXと関連しているとほぼ
コンセンサが取れていると言える。
またUXはマーケティング、愛着とは違うということでもコンセンサスが
取れていると言える。
逆に、UXは人の認知の成果であり行動の成果ではない、すでにエンジニ
リングでカバーされている、製品利用で人々は独自の体験をする、経験
は個人的なものだ、と言ったことはかなり反応が違った。
5つのUXの定義への同意状況でも、結構バラついていることが示された。

6. Copyright © Masaya Ando
研究におけるUX評価の変遷
UXに関する論文では、UXのどのような側面をどのように評
価しているのかについて、2つの論文がある。
2005 2009
51
Bargas-Avila, A. J. & Hornbæk, B., 2011
2010 2012
58
Law, E. L. C., van Schaik, P., &
Roto, V., 2014.
B-A. & H.がメタ分析のプロセスを明確化しておりLawら
はその方法を参照しつつ簡易に分析している。
両者は厳密さの面で異なるが、2010年ごろをまたいだ
UX評価の共通点・変遷をある程度辿れる

7. Copyright © Masaya Ando
UXをどう測定しているか（Bargas-Avila, & Hornbæk, 2011）

8. Copyright © Masaya Ando
UXをどう測定しているか（Bargas-Avila, & Hornbæk, 2011）
SAM Scale

9. Copyright © Masaya Ando
UXをどう測定しているか（Bargas-Avila, & Hornbæk, 2011）
2005～2009年までのUXに関する研究を分析したB-A.&H.
によると、以下のような傾向があった。
使用された方法論は主に定性的であり、伝統的なユーザ
ビリティ研究、特にアンケートと尺度が採用されている。
とりわけ、感情、楽しさ、および美学は、最も頻繁に測
定される次元である。
調査された製品および使用状況は、仕事から余暇に、そ
して制御された仕事から消費者製品および芸術に移って
いる。

10. Copyright © Masaya Ando
研究で用いられているUX評価の構成（Lawら, 2014）
Lawらは、2010-2012年の58件の研究でどんなUXの評価
がされているかを分析（B-A.&H.より限定的な範囲で分析）。
5

11. Copyright © Masaya Ando
Lawらの指摘（Lawら, 2014）
Lawらは、UXがどのように測定されているかについて分析
する一方で、測定・評価後システムにいかにフィードバック
されているかを報告した論文がないことを指摘している。
また、UX専門家対するインタビューでは、Design
orientedな専門家は、UXの測定に懐疑的な傾向があった。
このことを、HCIの関係者（170件回答）に対して、「UX
測定態度調査」を実施し検証した。
その結果、アンケートでは評価できるという積極的態度だっ
たが、UX測定の詳細については微妙な見解があった。
全体として、UXの専門家が懸念するような、還元主義アプ
ローチを採用する限界があるので、総合的な方法でUXを評
価する困難性を妥協する方法が必要だ、としている。

12. Copyright © Masaya Ando
UXの専門家はなんと言っているか？（Lawら, 2014）
Lawらは、UX測定における問題を理論的課題、方法論的課
題、実践的課題に分けて検討し、UX測定の哲学的検討をも
試みている。
‒ UX測定における現在の行われていることは、ホリスティックな理論
が欠如しているように見える。測定の重要な意味は、予測を可能にす
ることだ。しかし、UX尺度を設計結果を独立変数として結びつける
説得可能な理論は、今のところない。
‒ なぜ、それを測定したいのかを理解するまでは、何かを測定すること
に意味はない。
‒ 予測可能なものとするためには、理論が必要である。UX尺度は利用
可能な結果と相関しているが、妥当な理論的枠組みがなければ、結果
をもたらす経験因子を特定することはできない。UXの主な弱点は、
理論が欠如していることである。

13. Copyright © Masaya Ando
Lawらの至った結論（Lawら, 2014）
Lawらは、以下のように議論をまとめている。
‒ 一般に、UXメトリクスは、製品を作って直すといった形成的評価に
役立つ。定性的なものよりも、定量的な評価は、そこに単純でわかり
やすく、意思決定には役立つだろう。
‒ しかし、UXの測定は、評価と再設計の相互作用を行う上で重要な役
割を果たすと結論付ける傾向があるが、数量的な評価が、質的フィー
ドバックよりも重要か否かの議論が残っている。

14. Copyright © Masaya Ando
どんなUX評価を考えるべきか？（Vermeerenら,2010）
Vermeerenらは、96ものUX評価方法を収集し分析。その
上で、UX評価手法のニーズを整理した。
‒ 開発の初期段階の方法：概念やアイデアでのUXをどうやって評価す
るか？
‒ UXを構成する尺度の妥当性：尺度ベースの評価法は妥当性を改善す
るべき。異なる経験の焦点と領域だとか、異文化間などを測定するこ
とで妥当性を示すことはできないか？
‒ ソーシャル／コラボレーションUXの評価方法：オンラインソーシャ
ルなグループ経験における個人の評価の方法が必要。
‒ 手法の実用性の検討：製品開発に役立つ手法については、必要なスキ
ルやスキル、使いやすさ、データ分析の容易性、開発結果の適用性な
どを考慮する必要がある
‒ 効果的なマルチメソッドアプローチ：何と組み合わせて実施するのが
良いか？

15. Copyright © Masaya Ando
まとめ～レビューのポイント
現時点では、UX評価（定性的なものを含む）は実践的には
行われている。その多くはアンケートや尺度によるもの。
尺度で評価する項目（構成概念）やその妥当性は大きな課題
がある。現状では、測れそうなものを測っているにすぎない。
何をどう測定すればいいかについて、ユーザーの利用経験を
どう捉え、何を計測すれば良いかについて、全体的な説明理
論がないことが原因。もっと言えば、”UXとは何か？”につ
いて、未だ議論があるため、学術界としての統一見解が持て
ずにいる。
特に定量的なUX評価を、どのタイミングで、どのように使
うかについても議論すべき。実践的なUX評価の多くは、シ
ステム等の改良に使うことが求められているはずで、どんな
“量”がわかる 必要性があるかも検討が必要。

16. Copyright © Masaya Ando
安藤が過去に取り組んできたUX評価の研究紹介
製品を購入し、長期にわたって利用することを前提とした
ユーザの、実利用環境における評価。
長期・実利用環境での実ユーザの製品評価は、どの程度ユー
ザの心理的要因の影響を受けているかを定量的に分析する

17. Copyright © Masaya Ando
実利用環境における製品評価構造 （安藤, 2009）

18. Copyright © Masaya Ando
製品評価調査の実施概要
同一製品（iPod nano）の実ユーザに対して、製品評価を把
握する調査を実施。
3
(2008)
(2008)
→
ACSI
85

19. Copyright © Masaya Ando
定性的モデルに基づいた定量モデルの検討（安藤, 2009）
0.951
0.889
0.385
0.089
2 61.38
df 20
p 0
111.38
113.38
200.59
AIC
Browne-Cudeck BCC
BIC
GFI
AGFI
RMR
2 RMSEA
2
このモデルの欠点（利用期間の影響がUXの個別評価に影響していない点）

20. Copyright © Masaya Ando
SEPIA法の提案 （安藤, 2009）
ユーザーの自己効力感および製品関与の得点であらかじめ分
類した上で、UX評価尺度の得点傾向を比較分析する方法。
UX評価尺度を全体平均で理解するよりも、より詳細に製品がどんな
ユーザーにどんな体験を提供しているか解釈しやすくなる

21. Copyright © Masaya Ando
ＵＸデザインにおけるコンセプト評価法（登尾, 安藤, 2017）
コンセプトの表現方法ごとに、把握する評価項目を２段階を
分けて評価することで、評価の観点が具体化され、妥当な評
価ができる。

22. Copyright © Masaya Ando
まとめ
UX評価、さらに言えば（定量的な）計測は、世界的にも手
探り状態。しかし、そもそもの課題があると指摘したい。
ユーザー側の特性を分けずに、評価尺度を用いても限界があ
る。全体平均モデルで考えるのではなく、対象ユーザーの心
理的背景を考慮して評価する評価方法論が必要。
評価尺度は、測定次元（因子分析的な次元）は重要だが、そ
れよりも評価するユーザーが何に・どこに基準をおいて評定
しているか（潜在因子という理論的なものではなく、実質的
に何を考えているかということ）を考慮することが重要。
ユーザーの評価は時間によって変化する。そのため、どの時
点で、どの範囲を評価するかを検討することが重要。