人工知能（AI）の発展に伴い、その性能評価がますます重要となっています。AIの性能を評価するために使用される指標の中で、正解率、適合率、再現率、F値は特に重要です。今回は、これらの性能指標について具体的な例を挙げながらその考え方を説明します。
正解率（Accuracy）
正解率は、AIが正しく分類したデータの割合を示す指標です。具体的な例を考えましょう。あるスパムメールフィルターが100通のメールを分類したとき、正しくスパムメールとして分類されたメールが80通だったとしましょう。この場合、正解率は80%となります。
正解率は簡単に理解できる指標ですが、データの不均衡な分布の場合には注意が必要です。例えば、スパムメールのようにスパムでないメールが多い場合、正解率が高くても実際にスパムメールを見逃す可能性があります。
適合率（Precision）
適合率は、AIが正しく分類した陽性データ（真陽性）の割合を示す指標です。スパムメールの例で説明します。100通のメールを分類したうち、AIがスパムと分類したメールが90通あったとします。しかし、そのうち本当にスパムであったのは80通だけでした。この場合、適合率は80/90 = 88.9% となります。
適合率は、AIが陽性と判断したものが実際に陽性である確率を示します。高い適合率は、誤検出を減少させることを意味しますが、再現率とトレードオフの関係にあります。
再現率（Recall）
再現率は、実際に陽性のデータのうち、AIが正しく陽性と分類した割合を示す指標です。先ほどのスパムメールの例で考えてみましょう。実際のスパムメールは100通中80通でしたが、AIが正しく検出したのは70通だけだったとします。この場合、再現率は70/80 = 87.5% となります。
再現率は、陽性データを見逃すリスクを減少させるために重要です。しかし、高い再現率を達成するためには、適合率を犠牲にする可能性があります。
F値（F-score）
F値は、適合率と再現率のバランスを取るための指標です。F値は次の式で計算されます。
F値は、高い適合率と高い再現率の両方を持つモデルが高く評価されるため、バランスの取れた性能評価指標として広く使用されています。
F値の具体例
具体的な例を通じてF値を理解しましょう。ここでは医療診断のシステムを考えてみます。このシステムは患者ががんであるかどうかを判断するものとします。
- 陽性クラス (Positive Class) : 実際にがんである患者
- 陰性クラス (Negative Class) : 実際にがんでない患者
このシステムの性能評価が以下の通りであると仮定します。 - 適合率（Precision）: 0.85（85%の陽性判定が実際にがんである） - 再現率（Recall）: 0.90（90%のがん患者を正しく検出）
この場合、F値を計算します。
このF値は約0.874となり、高い適合率と高い再現率を持つモデルが優れていることを示しています。
F値の特性
F値には以下の特性があります。
- 適合率と再現率のトレードオフを考慮する: 適合率と再現率は通常、トレードオフの関係にあります。つまり、適合率を高くしようとすると再現率が低くなり、逆もまた同様です。F値はこのトレードオフを総合的に評価するための指標として使用されます。モデルを開発する際に、タスクに応じて適合率と再現率のバランスを調整する際にF値が役立ちます。
- 不均衡なデータセットに適している: データセットが陽性クラスと陰性クラスの不均衡な場合、正確度（Accuracy）が高くても陽性データを見落とす可能性があります。しかし、F値は陽性データの検出能力を重視するため、不均衡なデータセットにおいてもモデルの性能を適切に評価できます。
まとめ
AIの性能を評価する際には、正解率、適合率、再現率、F値などの性能指標を考慮することが重要です。これらの指標は、特定のタスクやデータセットに応じて適切に選択する必要があります。適切な性能指標を使用してモデルの評価を行うことは、AIの開発と改善に不可欠なステップです。Pythonによる機械学習の習得には下記のようなオンラインコースの利用がおすすめです。
図解即戦力 機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書 [ 株式会社アイデミー 山口達輝 ]
