機械学習④性能評価指標／データサイエンス入門

aokitaka-tci

その他

性能評価指標につき一定理解が深まった、ROC曲線のところが少しおいつかなかったので整理したい

takemaru0530

販売・サービス・事務

難しい章で理解できない箇所がありました。時間が余りましたら、再度見直ししたいです。

hrkudo

IT・WEB・エンジニア

ROC曲線はもう一度学習が必要と感じた。

kyo1227

営業

分類性能評価であるROC曲線については、もう少し復習してみたいと思います。

yoshikouc

販売・サービス・事務

性能評価をすることでわかりやすく認識して結果から次につなげることができそうですね。

kandamasaru

メーカー技術・研究・開発

評価指標について理解することができました

70sp1208

その他

性能評価指標には様々の手法があることを知った。ただ、数学をよく理解していないといけないので、今一度過去に学習した数学的知識を復習し、今回学んだ性能評価指標について理解を深めていきたい。

xiu14

その他

これまで意識したことがなかった「性能評価指標」について興味が湧いてきました。

takahashi_mi

販売・サービス・事務

言葉だけ頑張って覚えていた、性能評価指標について、意味が少し分かった気がします。

mie_matsui

その他

まだまだ理解不足だと思いました。

grateful

専門職

性能評価指標を学びました。

masato_86

専門職

わかりそうでわからない部分だったのがわかった気がする。

shin_yako

販売・サービス・事務

参考になりました。理解が深まりました。

ta-mo-

IT・WEB・エンジニア

性能評価指標の考え方が理解できた。ただ、閾値により評価が変わるのであれば、基本閾値に依存しない手法で進めるのが良いのだろうが、
計算が多くなり負荷がかかるのだろうと推定するが、ここは難しいな、と思いました。

e_co

販売・サービス・事務

理解しやすく、実務で活用できる場面を検討したいと思いました。

takumi_1453

経営・経営企画

回帰用の性能評価指標
■MSE（平均二乗和誤差）
　・予測と実際の差の二乗の平均
■RMSE（平方根平均二乗和誤差）
　・予測と実際の差の二乗の平均の平方根
■MAE（平均絶対値誤差）☆☆☆
　・予測と実際の差の絶対値の平均
　・誤差の平均のため解釈性に優れる

分類用の性能評価指標
■混同行列
　・予測結果と真の結果でクロス集計する
　・予測結果陽性✕真の結果陽性
　　→TP（truepositive）
　・予測結果陰性✕真の結果陽性
　　→FN（falsenegative）
　・予測結果陽性✕真の結果陰性
　　→FP（falsepositive）
　・予測結果陰性✕真の結果陰性
　　→TN（truenegative）
■Accuracy（正解率）
　＝（TP＋TN）/（TP＋TN＋FP＋FN）
■Recall（再現率）
　＝（TP）/（TP＋FN）
■Precision（適合率）
　＝（TP）/（TP＋FP）
■F1（RecallとPrecisionの調和平均）
　・両者のバランスと精度を評価した指標
■目的によって評価指標は変わる
（例）がんの診断
　　→患者視点ではPrecision優先
　　　（がん陽性の予測に対して実際に陽
　　　　性か陰性かを知りたい）
　　　医師目線ならRecall優先
　　　（予測に関係無く真の陽性がんを見
　　　　つけたい）
■ROC曲線とAUC
・Recall、Precision、F1はクラス判定の
　閾値を変更すると値が変わってしまう。
　（例）確率80%以上でがんと判断
　　　　確率60%以上でがんと判断
　　　　→Recallの値が変わる
・閾値に依存しない評価を行いたい場合
　（不均衡データを扱う）
　→ROC曲線とAUCを用いる
　　・ROC曲線
　　　真陽性率、偽陽性率の交点を結ぶ
　　　・真陽性率　（TP/（TP＋FN））
　　　　＊Recallと同義
　　　・偽陽性率　（FP/（FP＋TN））
　　・AUC
　　　・ROC曲線下部の面積
　　　・AUCが大きいほどモデルの性能が
　　　　いいと解釈
　　　・最大値は1、最高性能
　　　・最小値は理論上0.5、最低性能
　　　
　

tempchan

経理・財務

recall と precision の違いの説明で、がん患者と医師からの目線を使った説明がとてもわかりやすかったです。

takkesa

営業

性能評価指標について多く学びました。

t03290512

営業

日常業務に取り組活動

yoshiyc

その他

一度見ただけでは理解できないため、再度視聴し理解したい。

temp954

販売・サービス・事務

解説が身近な業界を取り上げていて理解がスムーズでした。

globis-mrm

営業

性能評価指標に何があり、どのような違いがあるのかは分かったが、
それぞれの特徴や、どのような場合にどの指標を重視すべきなのかについては理解しづらかった。

hinaya_0821

その他

別システムでそれぞれ申請した内容（旅費申請で出張としているが、勤怠入力申請で休暇等）のデータについて、エビデンスを見ることができ、かつシステムの統合にも役立つように感じた。

これは講義の内容であるが、Video1でRecallの説明の際、分母と分子が逆になっていた。
正しい内容に修正が必要です。

tnema

IT・WEB・エンジニア

再受講して理解を深めたい。

takeshita_ta

営業

性能評価指標を用いて、通話内容分類モデルや顧客満足度予測モデルの精度を評価することが可能である。また、評価結果に基づいてモデルの改善や最適化を行い、コールセンター業務の効率化が期待できる。

tadashiokamoto

専門職

活用できるよう努力します

akiraooe

専門職

分類用の性能評価指標について学習出来た。実際のケースに当てはめて使用し理解を深めたい。

homma_nanami

販売・サービス・事務

難しかったがイメージはできました。もう少し復習してみたいと思います。

asakusajun

営業

嘱託社員です
現役時代には無かった新しい研修を楽しみながら学習しています。

aquico52

IT・WEB・エンジニア

機械学習の評価手法が分かった。教師データ作成とテストデータの確認、その後再学習前にデータ調整などはしたことがあったが、学習モデル事態の性能評価手法は経験がなかったので、エンジニアの方々がどう評価されていたのかが分かった。

warashina12345

その他

評価指標について理解することができました

myu-tan

コンサルタント

混同行列を用いた性能評価指標を予算と実績などに活用できれるようならしてみたい

yukotti_222

その他

実務でAUC、偽陽性率、真陽性率などがでてくるものの、よく意味が分かっていなかったこともあり、勉強したいと思っていた。とても勉強になった。

mori_1991

メーカー技術・研究・開発

性能評価には様々なタイプがあることを学ぶことができた。

sakurai_shingo

人事・労務・法務

業務で活用できそう。

gobau

営業

回帰、分類それぞれの性能評価指標の理解が進んだ。

hirano_rikiya

専門職

統計学の理解が深まりました。

yasupii

その他

性能評価指数には色々な種類があることが分かりました。本講座ではその基礎的なお話だったと思います。実際に使いこなすには実践面での学習が必要になってくると思います。今後しっかりと勉強したいです。

512177

資材・購買・物流

性能評価指標を事業運営の月次の中で
使用していきたい

miura_ka

販売・サービス・事務

一部の項目で後ほど動画を見直してみようと思った。各要素の内容についても改めて確認したい。

hfkd156036

金融・不動産　関連職

ROC曲線の書き方について少し理解ができた

k--g--

その他

ROC曲線は感度解析のようなものと理解した。

ken222

営業

混同行列と言葉の定義をしっかり身につけたい。

kazuchacha

IT・WEB・エンジニア

立場によって性能評価指標が変わることを理解した

vz3000

IT・WEB・エンジニア

回帰及び分類での性能評価の指標について理解することができた。

inyourmind

建設・土木　関連職

性能評価指標のことを知らない人にはまずその説明からしなければいけないのが大変です...。

choko0504

メーカー技術・研究・開発

評価指標について理解することができた。実務で利用する機会があれば、活用したい。

take515

メーカー技術・研究・開発

性能評価指標の基本的事項を確認できた。

iso_ken

専門職

モデルの性能評価は判断にとても重要なので、しっかり理解して用いたい。
用いる指標が評価するものによって変わることに注意したい。

user-name01

販売・サービス・事務

複数の指標をどう使い分けるかということについて、患者目線か医師目線かで分けるという点はわかりやすかった。

mainichi365

IT・WEB・エンジニア

どこに活用できるか検討要

7031

経営・経営企画

各評価指標が何のために、この算出方法で出すのか説明が無いので難しかったです。

stani

専門職

予測と結果で常に評価して進めたい。

k-akira

営業

回帰及び分類での性能評価の指標について整理できた。混同行列は復習してしっかり覚えたい

koichi_seya

その他

各評価指標が何のために、この算出方法で出すのか説明が無いので理解が困難だった。

k_yuna

販売・サービス・事務

学びが多い内容でした。

t_htn

経営・経営企画

モデルの性能評価について考え方が把握できた。
適切な評価評価を行い、より最適なモデルを
活用し、データ分析したいと思う

haruka-

その他

目的に合わせた指標設定が必要ということがわかった。
実際の評価設定の仕方がなんとなくイメージができた気がする。

tsukamotoya

営業

学んだ内容を業務や日常において活用できるよう頑張ります。具体的なシーンをイメージしながら学習しました。

hi-std

IT・WEB・エンジニア

立場で性能評価指標が変わることがわかった。

yukofunada

販売・サービス・事務

応用問題で分からなかったところの理解が深まりました。

pinguino

販売・サービス・事務

今回はよく理解できた。評価によって意味のある分析をしたい。

makidayo

IT・WEB・エンジニア

ROC曲線を実際に手を動かして確認してみたいと思った。

yokoishida

コンサルタント

はじめてきくことがあり、まだ馴染めません。

cs1960

販売・サービス・事務

大変、勉強になりました。

i_mura888

金融・不動産　関連職

作成したAIモデルの性能評価で利用出来る

test_test___

メーカー技術・研究・開発

各性能評価指標をどのように算出するのか概要を確認できた。

h-kozawa

メーカー技術・研究・開発

ROC曲線の作成方法以外は、説明内容自体は難し目のお話でしたがイメージは理解できました。

michiyomichiyo

その他

販売商品の品質に関するクレーム率が低いか高いかなどに使えそう

s-ma

経営・経営企画

混同行列の内容について理解が深まった

taka1962

販売・サービス・事務

業務にAIを利用する際に、性能評価を継続して行うことが必要なことを
理解することができた。

suzuqp

IT・WEB・エンジニア

roc曲線は振り返らないと理解がおいつかなかったです

madogiwazoku

その他

素人には難しすぎました。頭が痛いです。鼻血もでそうです。

vegitaberu

人事・労務・法務

これまで、理解に、曖昧な部分が多かった、学習の性能評価について、復習でき、より具体的に理解することができました。それとともに、この理解を逆戻りしないよう、実際に使用することが大切だとも感じました。

ni-shi-me

営業

今回の単元、性能評価指数というカテゴリであることを学んだ。DS検定時では概要を覚えるに留まっていたので。

shirojpn

メーカー技術・研究・開発

言葉の定義等は、初めて聞いた物が多かったが、その内容については
普段から行っている分析手法と同じと感じた。
ROC曲線の部分で、閾値を変化させながらと言っていたがこの部分がピンとこなかった。
もう少し理解を深めたいと感じた。

hr-sakai

その他

なんとなく理解できた。説明できるまで学習する必要があります。