機械学習④性能評価指標／データサイエンス入門

i_mura888

金融・不動産　関連職

作成したAIモデルの性能評価で利用出来る

koichi_seya

その他

各評価指標が何のために、この算出方法で出すのか説明が無いので理解が困難だった。

tsukamotoya

営業

学んだ内容を業務や日常において活用できるよう頑張ります。具体的なシーンをイメージしながら学習しました。

e_co

販売・サービス・事務

理解しやすく、実務で活用できる場面を検討したいと思いました。

michiyomichiyo

その他

販売商品の品質に関するクレーム率が低いか高いかなどに使えそう

grateful

専門職

性能評価指標を学びました。

suzuqp

IT・WEB・エンジニア

roc曲線は振り返らないと理解がおいつかなかったです

user-name01

販売・サービス・事務

複数の指標をどう使い分けるかということについて、患者目線か医師目線かで分けるという点はわかりやすかった。

shirojpn

メーカー技術・研究・開発

言葉の定義等は、初めて聞いた物が多かったが、その内容については
普段から行っている分析手法と同じと感じた。
ROC曲線の部分で、閾値を変化させながらと言っていたがこの部分がピンとこなかった。
もう少し理解を深めたいと感じた。

mie_matsui

その他

まだまだ理解不足だと思いました。

pinguino

販売・サービス・事務

今回はよく理解できた。評価によって意味のある分析をしたい。

hr-sakai

その他

なんとなく理解できた。説明できるまで学習する必要があります。

inyourmind

建設・土木　関連職

性能評価指標のことを知らない人にはまずその説明からしなければいけないのが大変です...。

k--g--

その他

ROC曲線は感度解析のようなものと理解した。

mainichi365

IT・WEB・エンジニア

どこに活用できるか検討要

vegitaberu

人事・労務・法務

これまで、理解に、曖昧な部分が多かった、学習の性能評価について、復習でき、より具体的に理解することができました。それとともに、この理解を逆戻りしないよう、実際に使用することが大切だとも感じました。

kyo1227

営業

分類性能評価であるROC曲線については、もう少し復習してみたいと思います。

kazuchacha

IT・WEB・エンジニア

立場によって性能評価指標が変わることを理解した

makidayo

IT・WEB・エンジニア

ROC曲線を実際に手を動かして確認してみたいと思った。

yokoishida

コンサルタント

はじめてきくことがあり、まだ馴染めません。

takemaru0530

販売・サービス・事務

難しい章で理解できない箇所がありました。時間が余りましたら、再度見直ししたいです。

miura_ka

販売・サービス・事務

一部の項目で後ほど動画を見直してみようと思った。各要素の内容についても改めて確認したい。

ken222

営業

混同行列と言葉の定義をしっかり身につけたい。

takumi_1453

経営・経営企画

回帰用の性能評価指標
■MSE（平均二乗和誤差）
　・予測と実際の差の二乗の平均
■RMSE（平方根平均二乗和誤差）
　・予測と実際の差の二乗の平均の平方根
■MAE（平均絶対値誤差）☆☆☆
　・予測と実際の差の絶対値の平均
　・誤差の平均のため解釈性に優れる

分類用の性能評価指標
■混同行列
　・予測結果と真の結果でクロス集計する
　・予測結果陽性✕真の結果陽性
　　→TP（truepositive）
　・予測結果陰性✕真の結果陽性
　　→FN（falsenegative）
　・予測結果陽性✕真の結果陰性
　　→FP（falsepositive）
　・予測結果陰性✕真の結果陰性
　　→TN（truenegative）
■Accuracy（正解率）
　＝（TP＋TN）/（TP＋TN＋FP＋FN）
■Recall（再現率）
　＝（TP）/（TP＋FN）
■Precision（適合率）
　＝（TP）/（TP＋FP）
■F1（RecallとPrecisionの調和平均）
　・両者のバランスと精度を評価した指標
■目的によって評価指標は変わる
（例）がんの診断
　　→患者視点ではPrecision優先
　　　（がん陽性の予測に対して実際に陽
　　　　性か陰性かを知りたい）
　　　医師目線ならRecall優先
　　　（予測に関係無く真の陽性がんを見
　　　　つけたい）
■ROC曲線とAUC
・Recall、Precision、F1はクラス判定の
　閾値を変更すると値が変わってしまう。
　（例）確率80%以上でがんと判断
　　　　確率60%以上でがんと判断
　　　　→Recallの値が変わる
・閾値に依存しない評価を行いたい場合
　（不均衡データを扱う）
　→ROC曲線とAUCを用いる
　　・ROC曲線
　　　真陽性率、偽陽性率の交点を結ぶ
　　　・真陽性率　（TP/（TP＋FN））
　　　　＊Recallと同義
　　　・偽陽性率　（FP/（FP＋TN））
　　・AUC
　　　・ROC曲線下部の面積
　　　・AUCが大きいほどモデルの性能が
　　　　いいと解釈
　　　・最大値は1、最高性能
　　　・最小値は理論上0.5、最低性能
　　　
　

7031

経営・経営企画

各評価指標が何のために、この算出方法で出すのか説明が無いので難しかったです。

cs1960

販売・サービス・事務

大変、勉強になりました。

s-ma

経営・経営企画

混同行列の内容について理解が深まった

temp_at

IT・WEB・エンジニア

感度や特異度という言葉で知っていた気がするが、もう一もう一度復習しないと理解できているか少し不安。

stani

専門職

予測と結果で常に評価して進めたい。

masato_86

専門職

わかりそうでわからない部分だったのがわかった気がする。

hrkudo

IT・WEB・エンジニア

ROC曲線はもう一度学習が必要と感じた。

haruka-

その他

目的に合わせた指標設定が必要ということがわかった。
実際の評価設定の仕方がなんとなくイメージができた気がする。

test_test___

メーカー技術・研究・開発

各性能評価指標をどのように算出するのか概要を確認できた。

taka1962

販売・サービス・事務

業務にAIを利用する際に、性能評価を継続して行うことが必要なことを
理解することができた。

k-akira

営業

回帰及び分類での性能評価の指標について整理できた。混同行列は復習してしっかり覚えたい

iso_ken

専門職

モデルの性能評価は判断にとても重要なので、しっかり理解して用いたい。
用いる指標が評価するものによって変わることに注意したい。

t_htn

経営・経営企画

モデルの性能評価について考え方が把握できた。
適切な評価評価を行い、より最適なモデルを
活用し、データ分析したいと思う

ni-shi-me

営業

今回の単元、性能評価指数というカテゴリであることを学んだ。DS検定時では概要を覚えるに留まっていたので。

yukofunada

販売・サービス・事務

応用問題で分からなかったところの理解が深まりました。

512177

資材・購買・物流

性能評価指標を事業運営の月次の中で
使用していきたい

ta-mo-

IT・WEB・エンジニア

性能評価指標の考え方が理解できた。ただ、閾値により評価が変わるのであれば、基本閾値に依存しない手法で進めるのが良いのだろうが、
計算が多くなり負荷がかかるのだろうと推定するが、ここは難しいな、と思いました。

hfkd156036

金融・不動産　関連職

ROC曲線の書き方について少し理解ができた

yoshikouc

販売・サービス・事務

性能評価をすることでわかりやすく認識して結果から次につなげることができそうですね。

70sp1208

その他

性能評価指標には様々の手法があることを知った。ただ、数学をよく理解していないといけないので、今一度過去に学習した数学的知識を復習し、今回学んだ性能評価指標について理解を深めていきたい。

vz3000

IT・WEB・エンジニア

回帰及び分類での性能評価の指標について理解することができた。

take515

メーカー技術・研究・開発

性能評価指標の基本的事項を確認できた。

h-kozawa

メーカー技術・研究・開発

ROC曲線の作成方法以外は、説明内容自体は難し目のお話でしたがイメージは理解できました。

madogiwazoku

その他

素人には難しすぎました。頭が痛いです。鼻血もでそうです。

sakurai_shingo

人事・労務・法務

業務で活用できそう。

choko0504

メーカー技術・研究・開発

評価指標について理解することができた。実務で利用する機会があれば、活用したい。

yasupii

その他

性能評価指数には色々な種類があることが分かりました。本講座ではその基礎的なお話だったと思います。実際に使いこなすには実践面での学習が必要になってくると思います。今後しっかりと勉強したいです。

hi-std

IT・WEB・エンジニア

立場で性能評価指標が変わることがわかった。

k_yuna

販売・サービス・事務

学びが多い内容でした。