予報精度評価法予報と結果に関する情報は、予報（x）と結果（o）を2つの変数とみた場合の同時確率密度関数にすべて含まれていることから、予報精度評価とは予報・結果同時確率密度関数p(x,o）を解析することと等価である。例えば、2カテゴリーの決定論的予報と結果は、2行2列の予報結果行列（contingency table）によって完全に記述される。そして、このcontingency tableの4つの要素の間には、合計が全予報数になるという1つの束縛条件があるため、contingency tableの自由度は3である。そのため、予報・結果同時確率密度関数を余すことなく記述するためには、少なくとも3つの独立な評価指標を示すことが必要であり、一つの評価指標をもってこの予報の精度を議論することはできない[3]。一般的に、2変数の同時確率密度関数は、1変数の周辺確率密度関数と、その1変数を条件づけられた条件付確率密度関数の積に分解することができる。したがってp(x,o）は、予報xを条件づけられた分解p(x,o）=p(o¦x）・p(x）（calibration-refinement分解）と、結果oを条件づけられた分解p(x,o）=p(x¦o）・p(o）（likeli-hood-base rate分解）の2種類があり、この2種類の分解それぞれが、評価される予報の性質に対応する。例えば、p(o¦x）は発信した予報の信頼度（reliability）という性質に対応し、p(x¦o）は現象の発生を区別できていたかどうか（discrimination）という性質に対応する。また、p(x）とp(o）は、過大・過小予報（bias）を表す指標に使われる[4]。この考え方は、distribution-orient-ed approachと呼ばれ、現在の予報評価技術の一般的な考え方となっている[5]。3.1決定論的予報評価本小節で紹介する太陽フレア予報精度評価は、久保ほかの報告[6]の内容を簡略化したものであり、2000年から2015年に発令された5,844日間の予報データを用いて行った結果である。前節で述べたように、NICT太陽フレア予報は、4カテゴリーの決定論的予報である。決定論的予報評価法は、前述の[2]以来、様々な評価指標が提案されているが、それぞれ一長一短がありどの評価指標を選ぶのが良いのかは一概には言えないが、一つのヒントとして、世界気象機関（WMO）が、サイクロン発生予報（2カテゴリー予報）に対する予報評価に関する一つの勧告を出している[7]。サイクロンはまれな現象（[2]では発生頻度は約1-2%）であるという点で、太陽フレアと類似していることから、このWMO勧告に従った評価指標を採用した。それぞれの評価指標の定義や意味、具体的な計算方法などの詳細は、[6]を参照されたい。表2に2000～2015年の太陽フレア予報と結果のcontingency tableを示す。このcontingency tableを、Mクラス以上をイベント、Cクラス以下をイベント無しとして2カテゴリー予報に圧縮したときの、様々な評価指標を算出した結果を図1に示す。代表的な指標を表3のcontingency tableを用いて説明すると、Probability of detection（検出率）：POD=A/(A+C）、Probability of false detection（誤検出率）：POFD=B/(B+D）、Peirce skill score：PSS=POD-POFD（True skill statistic：TSSとも呼ばれる）などがあり、これらはdiscriminationを評価する指標として用いられる。また、reliabilityを表す指標としては、False alarm ratio：FAR=B/(A+B）、biasを表す指標としては、Frequency bias：FB=(A+B）/(A+C）などがある。図1には、NICT予報と、前日結果＝本日の予報3表1 太陽フレアの規模と予報レベル最大X線量Fx(Watts m-2）太陽フレアの規模予報(UGEOAコード）Fx < 10-7A静穏(0）10-7 ≤ Fx < 10-6B静穏(0）10-6 ≤ Fx < 10-5Cやや活発(1）10-5 ≤ Fx < 10-4M活発(2）10-4 ≤ FxX非常に活発(3） 0 1 2 3 0 1 2 3ObservationForecast1979 335 23 0 4191554 379 19 21 453 495 82 2 11 43 29表2 2000～2015年の太陽フレア予報と結果表3 2カテゴリーのcontingency table結果(有り)CA結果(無し)DB予報(無し)予報(有り)190 情報通信研究機構研究報告 Vol.67 No.1 （2021）5 定常業務
元のページ ../index.html#196