HTML5 Webook

198/238

より大きいか小さいかで確率予報を決定論的予報に変換し、それに対して決定論的予報の評価手法を適用するというやり方を、宇宙天気予報の分野で頻繁に見かける。しかし、これでは0から1までの連続値を持つ確率予報を2つのカテゴリーに圧縮することになり、予報・結果同時確率密度関数が持つ非常に多くの情報を失ってしまい、十分な評価ができない。また、しきい値確率は作為的に決めることができるため、しきい値確率をいくつにするかというあまり有意義でない議論に陥ってしまうことになる。このようなことから、確率予報としての評価手法は、決定論的予報の評価手法とは異なる手法で行うことが必要である。以下に、確率予報の古典的な評価手法について述べる。なお、以下で述べるようなグラフィカルな評価手法に加えて、Brier skill scoreとそのreliability成分、resolution成分や、情報理論を基にしたIgnorance scoreのようなスカラー値として表される評価指標が使われることも多い（例えば[10]）が、紙面の都合でこれらについては本稿では割愛する。現象発生確率がxであった場合、多数回xという予報をした時の結果o（0か1の値をとる）の平均は、当然xであるのが良いはずである。数学的には、確率xが与えられたという条件の下での結果oの条件付き期待値E(o|x）が、確率xに等しい、すなわち、E(o|x）=xとなるのが良いということを意味している。これは、予報精度評価の分野で信頼度（reliability）と呼ばれる確率予報が備えるべき重要な性質であり、前述の、calibration-refinement分解に関連している。これを、縦軸E(o|x）、横軸xとしてプロットした場合、高い信頼度を持つ予報であればすべての点が対角線に乗るということになり、もし、対角線から外れているならば、その確率予報は信頼度が高くないということになる（図3参照）。この図はreliability diagram（信頼度曲線）と呼ばれており、確率予報の評価を行う際に重要な評価手法になる。一方で、現象が発生した時（o=1）に予報していた現象発生確率は確率1に近い方が良く、現象が発生しなかった時（o=0）に予報していた発生確率は、0に近い方が良い。これは、数学的には結果oが与えられたという条件の下での確率xの条件付き確率密度関数p0(x):=p(x¦o=0）とp1(x):=p(x¦o=1）が、分布としてできるだけ区別されている（p0(x)とp1(x)の確率密度関数としての距離が離れている）ほうが良いということを意味している。この性質は、discriminationと呼ばれ、likelihood-base rate分解に関連した重要な性質である。このdiscriminationを表す指標として、p0(x）とp1(x）それぞれの累積分布関数F0(x）とF1(x）とが使われる。ここで、POD(x）:=1-F1(x）、POFD(x）:=1-F0(x）と定義すると、POD(x）、POFD(x）はそれぞれ、しきい値確率をxとしたときの、決定論的予報評価の指標であるPOD、POFDとなる。そして、しきい値確率xを0から1まで変化させながら縦軸にPOD(x）、横軸にPOFD(x）をプロットしたものはrelative operating characteristic（ROC）曲線と呼ばれている（図4参照）。ここで注意しなくてはならないのは、現象の定義（o=0,1の定義）は事前に決定され、しきい値確率を変化させる際に変化させてはならないということである。変化させてしまうと、何の現象を区別する能力を評価しているのかわからなくなるからである。もし、p0(x）とp1(x）が完全に区別され、関数として重なり合う部分が全くない、すなわち現象が発生した場合には必ず1に近い高い発生確率を予測、現象が発生しなかった場合には必ず0に近い低い発生確率を予測していたならば、ROC曲線は、POFD-POD平面上を点(1,1）からPOFD軸と平行に点(0,1）に移動し、その後、POD軸に沿って点(0,0）と移動する折れ線となる。もし、p0(x）とp1(x）が完全に重なりあう関数であるならば、ROC曲線は、POFD-POD平面上で点(1,1）と点(0,0）を結ぶ対角線になる。その場合、確率予報は現象発生を全く区別することができないということである。すなわちROC曲線は、その曲線の全体としての形状が対角線から(1,1）→(0,1）→(0,0）を結ぶ折れ線に近づくほど（もしくはROC曲線とPOFD軸に挟まれた領域の面積Area under curve: AUCが1に近いほど）discrimination性能が高いことを示すことになり、この曲線の形状は、確率予報の評価を行う際に重要な評価手法になる。NICTで開発しているAI太陽フレア確率予報モデルDeFN-Rの結果に対して、reliability diagramとROC曲線を描いてみると以下のようになる。図3から、DeFN-Rは非常に良いreliability特性を持っていることがわかる。図3の対角線上の誤差棒は、 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 1 0 5000 10000 15000 20000 25000 30000Conditional expectation value of outcomeNumber of forecastForecast probability図3　Mクラス以上のフレア発生確率予報に対するreliability diagram192　　　情報通信研究機構研究報告 Vol.67 No.1 （2021）5　定常業務