Recomendados
Más contenido relacionado
La actualidad más candente
La actualidad más candente (20)
Destacado
Similar a 臨床試験における欠測発生の予防法
臨床試験における欠測発生の予防法
- 2. 欠測は頭の痛い問題・・・ • 多くの場合、データ収集中か収集後に欠測値の多さ に頭を悩ますことが多い（「データをとってみたら、えらい欠測して いる・・・どうやって処理しよう・・・」）。 • データ収集後では、手遅れなケースも多い（「たくさん欠測 してしまった・・・」、「禁酒日数をアウトカムにしたアルコール依存の介入研 究でかなり欠測した。欠測した者は再発している可能性があり、測定できて ない再発がアウトカムに影響している。→非ランダム欠測なので欠測理由も 考慮できないと・・・」） • 重要なのは、データ収集後になってから対処するので はなくて、データ収集前に”予防する”という考え方！ 2
- 3. 欠測予防に関する各種ガイドライン • National Research Councilが2010年にまとめたガイドライン（左）、Mallinckrodtが NRCのガイドラインを元に2013年にまとめたもの（中）、Li et al.が各種ガイドライン を整理して2014年に作成したミニマムスタンダード（右） • Li et al.のミニマムスタンダードを発表の大枠にして、NRCのガイドラインを中心に 欠測値の予防法について説明します。 3
- 4. 欠測はどこで予防できるか？ ＜研究デザインと実施上の工夫＞ ① リサーチクエスチョン(特にアウトカム） を明確にする ② 欠測値を最小限にするためにデザイン と実施上の対策を講じる ③ 欠測値を扱うための統計的手法を予め 決めておく ＜研究実施中の工夫＞ ① 重要なアウトカムの情報収集を継続す る ② 欠測値をモニターする 臨床的疑問の定式化 (PICO,PECO)と先行研究調査 研究デザイン・アウトカム測 定方法の決定 倫理審査など 研究の実施とデータの収集 データ解析 Li et al.,2014,Journal of Clinical Epidemiology：欠測値の予防と処理法 についての各種ガイドラインを整理して，デルファイ法によってミニマ ムスタンダードを抽出した論文から。以降、Li論文をベースに欠測予防 をまとめた。 4
- 5. 欠測はどこで予防できるか？ 臨床的疑問の定式化 (PICO,PECO)と先行研究調査 研究デザイン・アウトカム測 定方法の決定 倫理審査など 研究の実施とデータの収集 データ解析 Li et al.,2014,Journal of Clinical Epidemiology：欠測値の予防と処理法 についての各種ガイドラインを整理して，デルファイ法によってミニマ ムスタンダードを抽出した論文から。以降、Li論文をベースに欠測予防 をまとめた。 ＜研究デザインと実施上の工夫＞ ① リサーチクエスチョン(特にアウトカム） を明確にする ② 欠測値を最小限にするためにデザイン と実施上の対策を講じる ③ 欠測値を扱うための統計的手法を予め 決めておく ＜研究実施中の工夫＞ ① 重要なアウトカムの情報収集を継続す る ② 欠測値をモニターする 5
- 6. ☆リサーチクエスチョンを明確にする（特にアウトカ ム） • 研究プロトコルでは以下を明確にすべき ①研究目的 ②関心のある介入 ③介入の影響を定量化する主なアウトカム ④誰が、いつ、どのようにアウトカムを測定するか ⑤潜在的な交絡因子 ⑥介入効果の測度(関心のある介入の因果関係を捉え る推定値（Estimand）) Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 6
- 7. アウトカムとデザイン・実施・欠測 • アウトカムや効果の測度を明確かつ正確に定義す ることが重要 →アウトカムや効果の測度の選択は、研究デザイン、 実施、予想される欠測の理由や量に関係 例） 新規抗うつ薬とプラセボとを比較する場合、どちらかの治療に割り付け た時のアウトカム改善を知りたい時（副作用などでの中止を含む）と、認容性 があり治療遵守する患者のアウトカム改善を知りたい時では、デザイン（実 施）も欠測の捉え方も異なる。 • アウトカムは、研究参加者全てにとって意味がなく てはならない（死亡者のQOLは無意味） Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 7
- 8. 推定値（Estimand）とは • 臨床試験の推定値(Estimand)には、①母数（平均値 変化の群間差など）、②時点・治療期間、③アウトカ ム、④対象集団、⑤治療非継続時のフォローアップ データの適格・除外などを含む。 • 介入研究における推定値について考える上で、有 効と有用を分ける →有効(efficacy)：治療を継続的に受けた時に、エンド ポイントで期待される効果 →有用(effectiveness)：実際に治療を受けた時（中断す る人もいる状況）の治療効果（有効だが有用ではない 治療もありえる）。 Mallinckridt(2013)”Preventing and Treating Missing Data in Longitudinal Clinical Trials” 8
- 9. 推定値（Estimand）の種類 1. 計画されたエンドポイントにおける無作為割付した全参加者の アウトカム改善の差：ITT分析を行い、治療継続しない者も解析 に含める＜有用性＞ 2. 認容性のある患者におけるアウトカム改善の差：ランダム化治 療中止試験（後述）などにより、認容性のある患者（治療の副 作用に強くでない患者）を対象とする＜有効性＞ 3. 全参加者が治療遵守した時のアウトカム改善の差：参加した 患者全てが脱落せず治療遵守することは、ほぼないので、あ まり使用しない＜有効性＞ 4. 治療遵守中のアウトカムの曲線下面積の差 5. 治療遵守中のアウトカム改善の差 →試験開始から試験終了or遵守終了までのアウトカムの差や曲 線下面積を検討する。アウトカムと参加者の遵守した期間の両方 を治療効果として扱える＜有用性＞ *Mallinckrodtは、６つ目の推定値も提案しているが、今回は省略 Mallinckridt”Preventing and Treating Missing Data in Longitudinal Clinical Trials”,2013; Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 9
- 10. 推定値（Estimand）の種類と属性 • 介入研究における推定値の選択は、研究デザインの選 択、得られた知見の適用範囲、欠測値の出現と処理に関 係してくる。 推定値 仮説 推定 対象集団 エンドポイント 割り付けられた研究治療 の中止後のデータ利用 1 有用 effectiveness 治療方針 全患者 計画されたエ ンドポイント 主な解析に含む 2 有効 efficacy 最初に無作 為化する治療 認容性の ある患者 計画されたエ ンドポイント 主な解析に含まない 3 有効 efficacy 最初に無作 為化する治療 全患者 計画されたエ ンドポイント 主な解析に含まない 4 有用 effectiveness 最初に無作 為化する治療 全患者 未定義 主な解析に含まない 5 有用 effectiveness 最初に無作 為化する治療 全患者 未定義 主な解析に含まない Mallinckridt”Preventing and Treating Missing Data in Longitudinal Clinical Trials”,2013; Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 10
- 11. 欠測はどこで予防できるか？ 臨床的疑問の定式化 (PICO,PECO)と先行研究調査 研究デザイン・アウトカム測 定方法の決定 倫理審査など 研究の実施とデータの収集 データ解析 Li et al.,2014,Journal of Clinical Epidemiology：欠測値の予防と処理法 についての各種ガイドラインを整理して，デルファイ法によってミニマ ムスタンダードを抽出した論文から。以降、Li論文をベースに欠測予防 をまとめた。 ＜研究デザインと実施上の工夫＞ ① リサーチクエスチョン(特にアウトカム） を明確にする ② 欠測値を最小限にするためにデザイン と実施上の対策を講じる ③ 欠測値を扱うための統計的手法を予め 決めておく ＜研究実施中の工夫＞ ① 重要なアウトカムの情報収集を継続す る ② 欠測値をモニターする 11
- 12. 欠測値を最小化するための デザイン上の工夫の具体的指針 • 現在の治療が十分に役に立っておらず、研究に残るインセン ティブのある集団を対象とする • 主要なアウトカムにおけるフォローアップ期間を短くする • 無作為割付前に導入期間を設ける • 長期効果のアセスメントのために、ランダム化治療中止試験 を考慮する。 • 効果と副作用における個人差を調整するような柔軟な治療計 画を許容する • 研究プロトコル内の治療計画の構成要素として示されたレス キュー薬の使用を許容する • 上乗せ試験を考慮する • 実質的に欠測値を引き起こす傾向のあるアウトカムは避ける。 Little et al.(2012) N Engl J Med 12
- 13. ☆現在の治療が十分に役に立っておらず、研究に残るイン センティブのある集団を対象とする • 現在行っている治療がかなり効いている患者が臨 床試験に参加しても効果を感じられずに脱落しやす い。試験参加することがインセンティブになる集団を そもそもの対象にする。 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 ☆主要なアウトカムにおけるフォローアップ期間を短くする • フォローアップ期間が長いと、参加者の転居、副作 用の出現、施設に行く回数や負担が増す可能性が 増えるので、期間短縮は脱落を防ぐ →治療によっては、短期では治療効果を測定できない 場合もあるので、先行する試験から期間を設定する 13
- 14. ☆無作為割付前に導入期間を設ける • 導入期間(run-in period）とは、無作為割付前に研究 治療以外の治療(通常治療or他の治療)orプラセボ 治療を行う期間のこと。 →導入期間を使用することで、そもそも治療の継続が 難しい患者が脱落するので、割り付け後は欠測の少 ないデータ収集ができる。 →一方、結果を適用する対象を限定してしまう欠点も ある（有用性ではなく有効性）。 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 研究治療以外の治療or プラセボ（導入期間） 治療orプラセボ の継続 脱落、中止 無作 為化 研究治療群 コントロール群 14
- 15. ☆長期効果のアセスメントのために、ランダム化治療中止試 験を考慮する。 • ランダム化治療中止試験(randomized withdrawal design)とは、研究治療を一定期間受けた参加者を、 治療継続orプラセボ(実薬治療の中止)のいす゚れ かに無作為割付するデザイン。 →認容性のない患者は除外されるので、試験の参加 者が濃縮される。 →長期効果のアセスメントを行うと脱落しやすくなるが、 ランダム化治療中止試験なら長期効果も検討可能 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 治療反応(高)or 副作用(低) 脱落、中止 無作 為化 研究治療群 コントロール群 ・研究治療 （ランダム化治療中止） 15
- 16. ☆効果と副作用における個人差を調整するような柔軟な治 療計画を許容する ☆研究プロトコル内の治療計画の構成要素として示されたレ スキュー薬の使用を許容する • 研究治療に反応しない場合に、レスキュー治療を許容 するデザインにしておけば脱落を減らすことができる →この場合、レスキュー治療の使用を治療の失敗と見な すなど、アウトカムの定義が必要になるし、切り替えにつ いて明確な基準も必要である。 • 参加者の認容性の個人差を調整できるため、副作 用や効果が低いことを回避でき、脱落を減らす事が でき、割り付けられた治療をより継続できる。 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 16
- 17. ☆上乗せ試験を考慮する • 効果があるとされる既存の標準治療に、関心のある 治療（＋プラセボ）を追加する上乗せ試験(add-on)を 使うことで、効果が低いために生じる脱落を防ぐこと ができる。 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 ☆実質的に欠測値を引き起こす傾向のあるアウトカムは避 ける。 • 多くの（全ての）参加者において確認可能なアウトカ ムを定義する →死亡やレスキュー治療の実施なども組み込んだ複 合アウトカムを使用することで欠測は減る（ただ、複合 アウトカムは解釈が難しい点が欠点） 17
- 18. 欠測値を最小化するための 実施上の工夫の具体的指針 • 優れた実績のある調査者を選択し、訓練する • 完全データの収集に関し、調査者と参加者に対してインセンティブを 提供する • 試験後に有効な治療を受け続けられるようにする • 治療を受け続けているかに関わらず、参加者が終わりまで試験に参 加することの重要性を調査者や研究スタッフに教育する • 参加者のデータ収集における重荷や不便を減らし、出来るかぎり研 究での経験をポジティブなものにする • 参加者から脱落する傾向についての情報を収集し、脱落を減らすた めにこの情報を使用する • 参加者についての最新の連絡先情報を得ておく Little et al.(2012) N Engl J Med 18
- 19. ☆優れた実績のある調査者を選択し、訓練する ☆完全データの収集に関し、調査者と参加者に対してインセ ンティブを提供する • 過去の研究で、参加者の登録・追跡・完全データの 収集に関して優れていた調査者を選び、訓練する。 • 調査者の賃金の支払い方法を工夫して完全データ 収集にかかるインセンティブを高める →登録数に対してだけでなく、フォローアップに対して も賃金を支払う。完全データが得られた時には追加的 に支払いをする（しかし、これにより調査者に利益相反 が生じるので注意が必要）。 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 19
- 20. ☆完全データの収集に関し、調査者と参加者に対してインセ ンティブを提供する ☆試験後に有効な治療を受け続けられるようにする • 非金銭的なインセンティブ：試験後に参加者に効果 的な治療を提供する(認可されるまで効果的な研究 治療を受け続けられる) 、研究のロゴがはいった贈 り物など • 金銭的なインセンティブ：強制力があったり、過度な 影響を及ぼすレベルでない報酬は倫理的とされる （参加者の完了度合いに応じて支払うが一般的な 脱落予防法） Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 20
- 21. ☆治療を受け続けているかに関わらず、参加者が終 わりまで試験に参加することの重要性を調査者や研 究スタッフに教育する • 調査者やスタッフの訓練では以下を強調する ①完全データの重要性 ②研究治療の非継続とデータ収集の非継続の違い ③研究治療非継続後のデータ収集の重要性 ④インフォームドコンセントの重要性: 研究治療後もデータを収 集する重要性を説明したり、それを認識しやすいような同意撤 回書を利用する（例、1.研究治療は中止するがデータ収集は継続;2.研究 治療もデータ収集も中止するが医療記録は利用可能,3.研究治療もデータ収 集も中止し医療記録も利用不可） ⑤欠測値を減らすために患者と協力する方法 ⑥試験参加の中止は参加者の決定で決まること Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 21
- 22. ☆参加者のデータ収集における重荷や不便を減らし、 出来るかぎり研究での経験をポジティブなものにする ① 研究参加とアセスメントの回数を最小限に ② 必要な情報のみ収集 ③ 使いやすい症例報告書の使用 ④ 病院への来訪を求めない直接的なデータ収集の 使用（電話やメールの使用など） ⑤ 比較的大きな猶予期間を設定したフォローアップア セスメント ⑥ 参加者が楽しいと感じれるように工夫: 友好的な環 境の形成、友好的なスタッフの雇用、参加者の時 間とスケジュールを尊重する、小さな子どものため に遊ぶものがあるなど Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 22
- 23. ☆参加者から脱落する傾向についての情報を収集 し、脱落を減らすためにこの情報を使用する • 参加者が脱落するリスクと理由に関する情報を集め る：参加の意図を尋ねて脱落のリスクを確認し、リ スクがある場合はその理由を特定する。理由は後 の欠測値処理に利用できる(Intent to attend questionnaire などを使用:どのくらい研究を完遂するつもりか、どのくらい次回の アセスメントに参加するつもりか、0~10で回答する質問紙, Leon et al., Clinical Trials,2007)。 • 参加者の脱落影響する要因：①参加する時刻とか かる時間②移動に援助が必要or子どもの世話があ る③リマインダーがない④スタッフとの関係に問題 ⑤採血や他の手続きの問題⑥副作用⑦治療効果 の気づき Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 23
- 24. ☆参加者についての最新の連絡先情報を得ておく • 来訪ごとに参加者の連絡先情報を更新（場合によっ ては、自宅訪問も必要）。 ☆その他 • 科学への貢献のために継続参加することの重要性 を伝える：ニューズレターの作成、参加者のための ウェブサイトを日々更新する、暫定的な報告書・研 究進捗・結果を閲覧可能にする。 • 参加者の研究への関与と継続を高める：研究名の 入った贈り物、日常的に口頭や文書で感謝を示す、 SNSの利用、研究上の問題のヒアリング、来訪前に リマンダーを送り、来訪されない時は参加を勧める。 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 24
- 25. 欠測はどこで予防できるか？ 臨床的疑問の定式化 (PICO,PECO)と先行研究調査 研究デザイン・アウトカム測 定方法の決定 倫理審査など 研究の実施とデータの収集 データ解析 Li et al.,2014,Journal of Clinical Epidemiology：欠測値の予防と処理法 についての各種ガイドラインを整理して，デルファイ法によってミニマ ムスタンダードを抽出した論文から。以降、Li論文をベースに欠測予防 をまとめた。 ＜研究デザインと実施上の工夫＞ ① リサーチクエスチョン(特にアウトカム） を明確にする ② 欠測値を最小限にするためにデザイン と実施上の対策を講じる ③ 欠測値を扱うための統計的手法を予め 決めておく ＜研究実施中の工夫＞ ① 重要なアウトカムの情報収集を継続す る ② 欠測値をモニターする 25
- 26. ☆欠測値を扱うための統計的手法を予め決めておく • 欠測値を統計的に補完する場合には、欠測に関す る仮定が必要になる。これは、事後的にデータのみ からは仮定することが難しいので、予めプロトコルに 記載し、介入や調査に関わる者も欠測の仮定に 沿った理解をできるようにしておく。 →プロトコルの段階で欠測値についての仮定と処理法 の決定をしておくことが重要 →予想される欠測値が事前に決まっていれば、欠測 の理由などの情報が収集されたり、予防するための工 夫が動機づけられることが期待できる Li et al.,2014,Journal of Clinical Epidemiology 26
- 27. 欠測値を考慮した例数設計 ① 先行研究から欠測確率を予想し、欠測しても検定 力が低くならないようにサンプルサイズを増やす →完全ランダム欠測では良いが、そうではない場合、 脱落によるバイアスを考慮できてない可能性がある。 ② 脱落による無回答バイアスを調整した効果量で例 数設計をする(ITT分析を想定)。 →先行する臨床試験の感度分析などから無回答バイ アス(Nonresponse bias)を推定できる場合は、バイアス の分だけ効果量を調整して、例数設計を行う。 N2 = N1 * 1 1- pdropout N2: 調整されたサンプルサイズ N1:元々の例数設計で計算されたサンプルサイズ p dropout:予想される欠測の出現確率 27
- 28. 欠測はどこで予防できるか？ 臨床的疑問の定式化 (PICO,PECO)と先行研究調査 研究デザイン・アウトカム測 定方法の決定 倫理審査など 研究の実施とデータの収集 データ解析 Li et al.,2014,Journal of Clinical Epidemiology：欠測値の予防と処理法 についての各種ガイドラインを整理して，デルファイ法によってミニマ ムスタンダードを抽出した論文から。以降、Li論文をベースに欠測予防 をまとめた。 ＜研究デザインと実施上の工夫＞ ① リサーチクエスチョン(特にアウトカム） を明確にする ② 欠測値を最小限にするためにデザイン と実施上の対策を講じる ③ 欠測値を扱うための統計的手法を予め 決めておく ＜研究実施中の工夫＞ ① 重要なアウトカムの情報収集を継続す る ② 欠測値をモニターする 28
- 29. ☆重要なアウトカムにおける情報収集を継続する • 参加者が研究治療を継続しているかにかかわらず、 重要なアウトカムや関連した治療・共変量の情報を 継続的に収集し、記録し、分析に利用すべき →欠測値処理のために「研究参加を継続しない理由」、 「継続しないと決めたのは誰か」、「継続しないのは研 究の全てか一部か」についても収集する →一方で、副作用などにより脱落した患者から情報収 集するのは結構難しいため、欲しい推定値(推定値1 の場合は必要)を明確にした上で収集するかどうか判 断するのでも良い（Mallinckrodt, 2013） Li et al.,2014,Journal of Clinical Epidemiology Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 29
- 30. 欠測はどこで予防できるか？ 臨床的疑問の定式化 (PICO,PECO)と先行研究調査 研究デザイン・アウトカム測 定方法の決定 倫理審査など 研究の実施とデータの収集 データ解析 Li et al.,2014,Journal of Clinical Epidemiology：欠測値の予防と処理法 についての各種ガイドラインを整理して，デルファイ法によってミニマ ムスタンダードを抽出した論文から。以降、Li論文をベースに欠測予防 をまとめた。 ＜研究デザインと実施上の工夫＞ ① リサーチクエスチョン(特にアウトカム） を明確にする ② 欠測値を最小限にするためにデザイン と実施上の対策を講じる ③ 欠測値を扱うための統計的手法を予め 決めておく ＜研究実施中の工夫＞ ① 重要なアウトカムの情報収集を継続す る ② 欠測値をモニターする 30
- 31. ☆欠測値に関して許容可能な目標の確率を決めて、 この目標に関して試験の進展をモニターする(Little et al.(2012) N Engl J Med)。 • プロトコルの段階で、許容可能な欠測確率を決める。試験 中に欠測値をモニターして、「データおよび安全性モニタリ ング委員会（Data and Safety Monitoring Board）」に送る。 ＊許容可能な欠測確率を決定する標準的な方法はまだない が、先行する試験から可能な目標を設定する、感度分析を考 慮して結論に影響しない欠測確率を推定するなどがある。 • データ収集後ではなく、リアルタイムで測定して、問題があ る場合はすぐにミーティングを行う（特定の施設に欠測が 多い場合は、対処方法を決め、訓練を行う or 中止を判断 する）。 Panel on Handling Missing Data in Clinical Trials; National Research Council, “The Prevention and Treatment of Missing Data in Clinical trials”, 2010 31
- 32. 観察研究の場合 • 紹介したガイドラインは、臨床試験を中心に作成さ れたものだが、臨床試験以外のデザインでの縦断 データ収集に関して上記のガイドラインは利用可能 （Li et al.,2014,Journal of Clinical Epidemiology）。 • 一方、クロスセクショナル研究（特に郵送調査）に関 しては、上記のガイドライン以外の工夫点も存在す る(主に調査への反応率を高める工夫)。 →郵送-電子メール調査への反応率に関するRCTをメタ 分析した研究の知見を紹介する(Edwards et al., 2002, BMJで発表され、その後コクランライブラリでのアップ デートされた2009年版) 32
- 35. 参考・引用文献 <主な教科書> • “The Prevention and Treatment of Missing Data in Clinical Trials” , National Research Council, 2011,The National Academies Press • “Preventing and Treating Missing Data in Longitudinal Clinical Trials” Mallinckrodt, 2013, Cambridge university press →NRC本は重要教科書、Mallinckrodt本は分かりやすくまとまっている ＜主な論文＞ • Li et al. (2014). Standards should be applied in the prevention and handling of missing data for patient-centered outcomes research: a systematic review and expert consensus. Journal of Clinical Epidemiology, 67(1), 15–32. • Little et al. (2012). The prevention and treatment of missing data in clinical trials. The New England Journal of Medicine, 367(14), 1355–60. →Li論文は、欠測値予防・処理に関する各種ガイドラインをまとめたミニマルスタ ンダードの論文。Appendixには各種ガイドラインとページなどの情報が掲載され ている（元のガイドラインにあたることが容易だった）。Li論文では、少し手薄だっ たデザインや実施上の工夫については、Little論文のまとめが非常に有用だった。35