95% consistency barと呼ばれ、5%棄却域を持った統計的仮説検定に関係する量であるが、詳細は久保の報告[11]を参照されたい。図4からは、ROC曲線が(1,1）→(0,1）→(0,0）の折れ線にかなり近く、AUCが0.93と1に非常に近い値であることから、DeFN-Rはdiscrimination特性についても高い性能を持っていることがわかる。このように、DeFN-Rはreliabilityとdiscrimination両方について高い性能を兼ね備えた確率予報モデルであるということができる[9]。最後に、ROC曲線は、ある一つのしきい値確率に関しての記述ではなく、曲線全体の形状及びAUCが確率予報全体としての精度に関する情報を記述しているということを強調しておく。ROC曲線を解釈する際に、点(0,1）に最も近い点を与えるしきい値確率が、確率予報を決定論的予報に圧縮する際の最適なしきい値確率であるという議論が、宇宙天気予報の分野でよくされている。しかしこの議論は正しくない。点(0,1）に最も近いROC曲線上の点Pというのは、すなわち、L2:=(1-POD）2+POFD2が最も小さい点を意味しているが、L2という量は予報精度に関する評価指標としての意味を持った量とはみなされていない。さらに、一般的には点PではPOD最大でもなく、POFD最小でもない。すなわちL2が最小であるということが、確率予報を決定論的予報に圧縮する際の、最適なしきい値確率を与えるという意味にはなっていないということである。このように、ROC曲線は、その全体としての形状が評価指標としての意味を持つのであって、ROC曲線上のある特定の一点を与えるしきい値確率に関してはほとんど意味を持たない。ROC曲線が特定の一点について述べている唯一のことは、L1:=|1-POD|+|POFD|が最小の点、すなわちPOD-POFDが最大の点についてである。この点は、ROC曲線上で、POD=POFDを表す対角線からの距離が最大になる点であり、これは決定論的予報に対するdiscrimination性能を評価するPSSを最大にするしきい値確率を与える点である[12]。すなわち、この点は、PSSによって測られる、discrimination性能を最大化するという意味において、最適なしきい値確率を与えることになる。なお、PSSを最大化するしきい値確率は、確率予報の信頼度曲線の値が現象発生頻度の値に等しくなる確率であることが[11]によって示されている。3.3利用者視点での予報評価これまで述べてきた予報評価手法は、予報を提供する側の視点での評価であった。しかし、予報を利用する側、すなわち予報利用者にとっての良い予報と、予報提供者にとっての良い予報は必ずしも一致しない。また、ある利用者にとって最適な予報が、すべての利用者にとって最適な予報であるとは限らない。したがって、利用者視点で見た時の予報評価が重要になる。本小節では、簡単な意思決定理論に基づいた予報評価手法について述べる。予報利用者は、大規模な現象（太陽フレアなど）発生の予報に基づいて回避行動を実施すると仮定する。もし、回避行動を実施せずに大規模な現象が発生した場合には、損失Lが発生するが、経費Cをかけて回避行動を起こすことで、この損失は回避できるとする。この場合、行動の有無と現象の有無の組合せにより、表4のように4つの支出のパターンが考えられる。これに対して表5のように実際の予報結果行列（ただし、各要素を全要素の合計で割って、合計が1になるように規格化）をTとすると、予報に従って回避行動を起こした場合の平均支出Eは、E=Tr(At・T）とあらわせる。ここでAは表4に示されるCost-Loss行列である。完全に正しい予報に対する平均支出をEpとすると、これはEp=s(C+L）となる（s=a+c）。これに対して、予報に関わらず常に回避行動をとる、もしくは常に回避行動をとらない場合の平均支出E0は、E0=min(C,sL）となる。したがって、予報に従った行動のほうが予報と関係なく常に同じ行動をとるよりも平均支出が小さい（E 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1PODPOFD図4 Mクラス以上のフレア発生確率予報に対するROC曲線表4 Cost-Loss行列 A現象有り現象無し行動有りCC行動無しL0表5 予報結果行列 T (a+b+c+d=1)現象有り現象無し予報有りab予報無しcd1935-2 宇宙天気予報評価技術
元のページ ../index.html#199