機械学習④性能評価指標／データサイエンス入門

takumi_1453

経営・経営企画

回帰用の性能評価指標
■MSE（平均二乗和誤差）
　・予測と実際の差の二乗の平均
■RMSE（平方根平均二乗和誤差）
　・予測と実際の差の二乗の平均の平方根
■MAE（平均絶対値誤差）☆☆☆
　・予測と実際の差の絶対値の平均
　・誤差の平均のため解釈性に優れる

分類用の性能評価指標
■混同行列
　・予測結果と真の結果でクロス集計する
　・予測結果陽性✕真の結果陽性
　　→TP（truepositive）
　・予測結果陰性✕真の結果陽性
　　→FN（falsenegative）
　・予測結果陽性✕真の結果陰性
　　→FP（falsepositive）
　・予測結果陰性✕真の結果陰性
　　→TN（truenegative）
■Accuracy（正解率）
　＝（TP＋TN）/（TP＋TN＋FP＋FN）
■Recall（再現率）
　＝（TP）/（TP＋FN）
■Precision（適合率）
　＝（TP）/（TP＋FP）
■F1（RecallとPrecisionの調和平均）
　・両者のバランスと精度を評価した指標
■目的によって評価指標は変わる
（例）がんの診断
　　→患者視点ではPrecision優先
　　　（がん陽性の予測に対して実際に陽
　　　　性か陰性かを知りたい）
　　　医師目線ならRecall優先
　　　（予測に関係無く真の陽性がんを見
　　　　つけたい）
■ROC曲線とAUC
・Recall、Precision、F1はクラス判定の
　閾値を変更すると値が変わってしまう。
　（例）確率80%以上でがんと判断
　　　　確率60%以上でがんと判断
　　　　→Recallの値が変わる
・閾値に依存しない評価を行いたい場合
　（不均衡データを扱う）
　→ROC曲線とAUCを用いる
　　・ROC曲線
　　　真陽性率、偽陽性率の交点を結ぶ
　　　・真陽性率　（TP/（TP＋FN））
　　　　＊Recallと同義
　　　・偽陽性率　（FP/（FP＋TN））
　　・AUC
　　　・ROC曲線下部の面積
　　　・AUCが大きいほどモデルの性能が
　　　　いいと解釈
　　　・最大値は1、最高性能
　　　・最小値は理論上0.5、最低性能
　　　
　

h-kozawa

メーカー技術・研究・開発

ROC曲線の作成方法以外は、説明内容自体は難し目のお話でしたがイメージは理解できました。

tsukamotoya

営業

学んだ内容を業務や日常において活用できるよう頑張ります。具体的なシーンをイメージしながら学習しました。

hi-std

IT・WEB・エンジニア

立場で性能評価指標が変わることがわかった。

yukofunada

販売・サービス・事務

応用問題で分からなかったところの理解が深まりました。

sakurai_shingo

人事・労務・法務

業務で活用できそう。

pinguino

販売・サービス・事務

今回はよく理解できた。評価によって意味のある分析をしたい。

makidayo

IT・WEB・エンジニア

ROC曲線を実際に手を動かして確認してみたいと思った。

yokoishida

コンサルタント

はじめてきくことがあり、まだ馴染めません。

cs1960

販売・サービス・事務

大変、勉強になりました。

taka1962

販売・サービス・事務

業務にAIを利用する際に、性能評価を継続して行うことが必要なことを
理解することができた。

shin_yako

販売・サービス・事務

参考になりました。理解が深まりました。

masato_86

専門職

わかりそうでわからない部分だったのがわかった気がする。

grateful

専門職

性能評価指標を学びました。

mie_matsui

その他

まだまだ理解不足だと思いました。

takahashi_mi

販売・サービス・事務

言葉だけ頑張って覚えていた、性能評価指標について、意味が少し分かった気がします。

temp_at

IT・WEB・エンジニア

感度や特異度という言葉で知っていた気がするが、もう一もう一度復習しないと理解できているか少し不安。

70sp1208

その他

性能評価指標には様々の手法があることを知った。ただ、数学をよく理解していないといけないので、今一度過去に学習した数学的知識を復習し、今回学んだ性能評価指標について理解を深めていきたい。

kandamasaru

メーカー技術・研究・開発

評価指標について理解することができました

yoshikouc

販売・サービス・事務

性能評価をすることでわかりやすく認識して結果から次につなげることができそうですね。

kyo1227

営業

分類性能評価であるROC曲線については、もう少し復習してみたいと思います。

hrkudo

IT・WEB・エンジニア

ROC曲線はもう一度学習が必要と感じた。

takemaru0530

販売・サービス・事務

難しい章で理解できない箇所がありました。時間が余りましたら、再度見直ししたいです。

aokitaka-tci

その他

性能評価指標につき一定理解が深まった、ROC曲線のところが少しおいつかなかったので整理したい

tasu-o

コンサルタント

ROC曲線の理解が浅いと感じたため、学習を振り返りたい

mutame

その他

RecallとPrecisionの違いが分かりやすかったです。

homma_nanami

販売・サービス・事務

難しかったがイメージはできました。もう少し復習してみたいと思います。

ken222

営業

混同行列と言葉の定義をしっかり身につけたい。

t_htn

経営・経営企画

モデルの性能評価について考え方が把握できた。
適切な評価評価を行い、より最適なモデルを
活用し、データ分析したいと思う

k_yuna

販売・サービス・事務

学びが多い内容でした。

koichi_seya

その他

各評価指標が何のために、この算出方法で出すのか説明が無いので理解が困難だった。

k-akira

営業

回帰及び分類での性能評価の指標について整理できた。混同行列は復習してしっかり覚えたい

stani

専門職

予測と結果で常に評価して進めたい。

7031

経営・経営企画

各評価指標が何のために、この算出方法で出すのか説明が無いので難しかったです。

mainichi365

IT・WEB・エンジニア

どこに活用できるか検討要

user-name01

販売・サービス・事務

複数の指標をどう使い分けるかということについて、患者目線か医師目線かで分けるという点はわかりやすかった。

iso_ken

専門職

モデルの性能評価は判断にとても重要なので、しっかり理解して用いたい。
用いる指標が評価するものによって変わることに注意したい。

yasupii

その他

性能評価指数には色々な種類があることが分かりました。本講座ではその基礎的なお話だったと思います。実際に使いこなすには実践面での学習が必要になってくると思います。今後しっかりと勉強したいです。

choko0504

メーカー技術・研究・開発

評価指標について理解することができた。実務で利用する機会があれば、活用したい。

inyourmind

建設・土木　関連職

性能評価指標のことを知らない人にはまずその説明からしなければいけないのが大変です...。

vz3000

IT・WEB・エンジニア

回帰及び分類での性能評価の指標について理解することができた。

kazuchacha

IT・WEB・エンジニア

立場によって性能評価指標が変わることを理解した

test_test___

メーカー技術・研究・開発

各性能評価指標をどのように算出するのか概要を確認できた。

k--g--

その他

ROC曲線は感度解析のようなものと理解した。

hfkd156036

金融・不動産　関連職

ROC曲線の書き方について少し理解ができた

miura_ka

販売・サービス・事務

一部の項目で後ほど動画を見直してみようと思った。各要素の内容についても改めて確認したい。

512177

資材・購買・物流

性能評価指標を事業運営の月次の中で
使用していきたい

take515

メーカー技術・研究・開発

性能評価指標の基本的事項を確認できた。

hr-sakai

その他

なんとなく理解できた。説明できるまで学習する必要があります。

shirojpn

メーカー技術・研究・開発

言葉の定義等は、初めて聞いた物が多かったが、その内容については
普段から行っている分析手法と同じと感じた。
ROC曲線の部分で、閾値を変化させながらと言っていたがこの部分がピンとこなかった。
もう少し理解を深めたいと感じた。

ni-shi-me

営業

今回の単元、性能評価指数というカテゴリであることを学んだ。DS検定時では概要を覚えるに留まっていたので。

vegitaberu

人事・労務・法務

これまで、理解に、曖昧な部分が多かった、学習の性能評価について、復習でき、より具体的に理解することができました。それとともに、この理解を逆戻りしないよう、実際に使用することが大切だとも感じました。

madogiwazoku

その他

素人には難しすぎました。頭が痛いです。鼻血もでそうです。

suzuqp

IT・WEB・エンジニア

roc曲線は振り返らないと理解がおいつかなかったです

s-ma

経営・経営企画

混同行列の内容について理解が深まった

michiyomichiyo

その他

販売商品の品質に関するクレーム率が低いか高いかなどに使えそう

haruka-

その他

目的に合わせた指標設定が必要ということがわかった。
実際の評価設定の仕方がなんとなくイメージができた気がする。