機械学習⑤モデルの検証／データサイエンス入門

homma_nanami

販売・サービス・事務

モデル検証はわかりやすかったです。最適な検証方法の選択をしたいと思いました。

yutahayasaka

その他

機械学習では、テスト用データと評価用データに分割してモデル構築と評価の両方を行うことが分かりました。その中で正確なモデル構築だけなく、使う目的である予測精度が重要なことも分かりました。

inagaki_tomomi1

販売・サービス・事務

テストデータと練習データの考え方を学びました

mutame

その他

検証方法の概要を確認できた。

tasu-o

コンサルタント

ホールドアウト法と交差検証法のそれぞれの特性について学習することができた。
取り扱うデータに応じて、特性にあった方法で検証を実施していきたい

e_co

販売・サービス・事務

ホールドアウト法と交差検証法を理解できた。
使用するデータや量に注意が必要であると感じた。

masato_86

専門職

試してみたいと思いました。

takemaru0530

販売・サービス・事務

誤差がないものほど性能がいいとは限らない。
はじめて知り勉強になりました。
訓練用データ、評価用データを分けて評価することを学びました。

aquico52

IT・WEB・エンジニア

データ量と評価にかけられる時間を加味して、評価手法を選べばよいことが分かった

hrkudo

IT・WEB・エンジニア

交差検証法とホールドアウト法の使い方について理解しました。

kyo1227

営業

モデルをテストする際のホールドアウト、クロスバリデーションの手法を理解できた。また時系列データを扱う際の注意点も理解できた。

yoshikouc

販売・サービス・事務

大量のデータがある場合はホールドアウト法で行うのがベストだけれど、データ数が少なければK交差検証法で時間はかかるが検証を行う道があるので、どんなデータにも対応できると思いました。

temp_at

IT・WEB・エンジニア

ホールドアウト法と交差検証法のどちらを採用するかは、手持ちのデータ量を考慮し考慮して決める必要がある。

ta-mo-

IT・WEB・エンジニア

モデルの検証において、ホールドアウト、交差の選択としては、技術的には交差だと思うが、工数が課題ですね。
ユーザー部門との事前協議の上、検討が必要と感じた。

shin_yako

販売・サービス・事務

参考になりました。実務の活用を考えます

takumi_1453

経営・経営企画

誤差の無い完璧なモデルとは?
■線形回帰やロジスティック回帰を用いて
　学習用データを完璧に説明できる殆ど誤
　差が無いモデルを作れたと過程
■本当に完璧なモデルか
■信用して実運用して大丈夫か

機械学習の全体像
■学習フェーズ
　過去のデータ→機械学習→学習済モデル
■運用フェーズ
　新たなデータ→学習済モデル→予測結果

本当に評価すべきは未知のデータに対する予測性能
■運用フェーズでの予測性能が重要
■運用フェーズではモデルにとって未知の
　データで予測することになる
■実運用で使えるかは未知データに対する
　評価結果で判断すべき

訓練誤差と汎化誤差
■機械学習ではデータに対する誤差を2種
　類に分けて考える
　①訓練誤差
　　学習に用いたデータに対する誤差
　②汎化誤差☆☆☆
　　未知のデータに対する誤差
　　→未知のデータに対する予測性能を　　　　
　　　汎化性能と呼ぶ☆☆☆
■モデルの作り込みは汎化誤差を小さくな
　るように行うべき

汎化誤差の評価方法・ホールドアウト法
■データを事前に訓練用とテスト用に分割
　し、テスト用データで学習済モデルの汎
　化誤差を（MAEやAccuracy等で）評価す
　る
■実装は容易だがデータ数が少ないと汎化
　誤差をうまく評価できない場合がある
（例）全データ
　→80%訓練用→機械学習→学習済モデル
　→20%テスト用→学習済モデル→評価
■時系列データを分割する際の注意点
　未来を予測するモデルを作る場合、訓練
　用データよりも過去のデータをテストデ
　ータに使わないこと
　→運用時を想定した評価ができないため
■データ数が少ない場合の評価
　ホールドアウト法ではデータの一部をテ
　スト用にするが、全データを用いて汎化
　誤差をうまく評価したい
　→交差検証法を活用する！！☆☆☆

汎化誤差の評価方法・交差検証法
■交差検証法（クロスバリデーション）と
　は、データを複数グループにわけ、テス
　ト役と訓練役を交代しながら汎化誤差を
　評価する方法
（例）全データをK個に分割
　テスト用・訓練1・訓練2・・訓練K-1
　訓練1・テスト用・訓練2・・訓練K-1
　訓練1・訓練2・テスト用・・訓練K-1
　→テストの回ごとにテスト役を交代し、
　　テスト用データに対する評価値を算出
　　（MAEやAccuracy等で）
　→テストが一巡するまで繰り返し、
　　最後に評価値の平均値を汎化誤差の
　　推定値として算出
■K分割交差検証法とも呼ばれる
　・分割数を増やすほど汎化誤差の推定性
　　能が向上する
　・利点
　　全てのデータを使うのでホールドアウ
　　ト法より汎化誤差の推定精度が高い
　・欠点
　　学習と評価を何度も繰り返すため、計
　　算に時間がかかる

grateful

専門職

モデルの検証の方法を学びました。

t03290512

営業

日常業務に取り組活動

holborn-kt

マーケティング

例を出してもらって説明されてもなかなか1回見ただけでは難しい内容

rirac

IT・WEB・エンジニア

モデルの検証にはホールドアウト法、交差検証法の2つあることと、それぞれにメリットやデメリットがあることが分かりました。データ数によって最適な方法が違うので、どちらが理想的なのか考えて運用したいです。

terulin

メディカル　関連職

交差検証法とは、役割を変えながらホールドアウト法を繰り返すということなのでしょうか？

kkmmyy

営業

今後参考にしたいと思います

hiroshi-srkr

経営・経営企画

機械学習におけるモデルの検証は重要な内容と思っていますが、これについてあまり詳しく理解でいていなかったのでこの講座で概要を理解することが出来ました。

egon

マーケティング

モデル検証を理解することができました。

everest

営業

予測精度や信頼性を確認し、実際のビジネス課題に対して最適な意思決定を支援するために活用したい。

yy_nn

その他

学んだ内容は、モデルを実運用フェーズに移すときの意思決定の役立つと思いました。汎用誤差の評価方法を推定精度と時間のバランスを考慮して選び、汎用性能を汎化誤差から判断できるようになるには、いくつか訓練や経験値、参考値が必要だと思いました。商品の需給バランスを予測するモデルなどが思い浮かびます。供給側のキャパがあったり素早く判断したい場合にはホールドアウト法で評価する、細かい供給調整が必要な場合や時間に余裕がある場合には交差検証法で評価するといいとイメージしました。

srk1

その他

モデルを検証する手法と注意点について理解できました。

nokt

メーカー技術・研究・開発

機械学習のモデルの検証方法について基本的な内容を学ぶことができました。機械学習の知識を取り入れていきたいので、繰り返し受講したいと思います。

staka3

その他

検証法によって時間の違いがあるが繰り返し検証していくことが大事であると感じました。

myu-tan

コンサルタント

モデルの検証について、ホールドアウト法、K分割交差検証法のメリデメを考えて活用したい

yoshiyc

その他

検証法によりメリット・デメリットが学習できた。
今度は同じデータを使用して検証法を変え、結果の比較等を実感してみたい。

temp954

販売・サービス・事務

検証法の違いを理解はできるが最適な検証法を割り当てるまでが難しいと感じました。

globis-mrm

営業

モデルの検証について、訓練誤差・汎化誤差の定義、その評価方法について学び、理解することができた。

hinaya_0821

その他

検証法の違いやメリットデメリットをしっかり理解して業務に役立てたい。

takeshita_ta

営業

モデルの検証を行うことで、顧客対応システムや問い合わせ予測モデルの信頼性を確保することが可能である。定期的な検証と改善により、コールセンターの業務効率と顧客満足度の向上が期待できる。

tadashiokamoto

専門職

活用できるよう努力します

uragami_kenji

IT・WEB・エンジニア

例の説明でテスト用が200件でも少ない扱いなので、少し驚いた。

asakusajun

営業

再雇用の身ですが、現役時代にはなかった新しい研修を楽しく
学習しています。

hi-std

IT・WEB・エンジニア

ホールドアウト法と交差検証法を学ぶ事が出来た。

warashina12345

その他

大変勉強になりました。

user-name01

販売・サービス・事務

機械学習のために訓練用データと評価用データに分けていることを学んだ。

miura_ka

販売・サービス・事務

モデル検証法の種類について確認する事が出来た。

hfkd156036

金融・不動産　関連職

モデルの汎化性能を検証する方法について理解できた

k--g--

その他

交差検証法を使う前に本当にデータを集められないか確認したい。

ken222

営業

ホールドアウト法と交差検証法をしっかり覚えたい。

sesesese

その他

交差検証法について訳わかりませんでした。
モデルもk個できると思うのですが、どのモデルを採用するのですか？

vz3000

IT・WEB・エンジニア

モデル検証法にホールドアウト法、交差検証法があること、状況に応じて検証法を選択する必要があることが理解できた。

kenjiro_fujita

コンサルタント

機械学習の誤差を求める方法として、汎化誤差評価とクロスバリエーションという方法があることをはじめてしった。社内の機械学習モデルの精度を双方で評価した結果があるか確認していきたい。

inyourmind

建設・土木　関連職

CVだとk回のそれぞれのケースにおいて別々のモデルパラメータとなると思いますが、実運用するときはそのうちのどのモデルを用いるのでしょうか?

choko0504

メーカー技術・研究・開発

データサイエンスのモデル検証手法について理解することができた。実務で利用する機会があれば活用したい。

iso_ken

専門職

交差検証法の考え方は参考になった

take515

メーカー技術・研究・開発

検証方法の概要を確認できた。

7031

経営・経営企画

モデルの汎化性能を検証する方法については、概ね理解出来ました。

stani

専門職

モデル化するデータは最新でなければならない。

k-akira

営業

汎化性能を高める検証法の理解ができた

koichi_seya

その他

ホールドアウト法、交差検証法を使い分ける理由が理解できた。

puchi

メーカー技術・研究・開発

ホールドアウト法に関して学んだ

watanabe-tat

専門職

交差検証法でモデルを評価して、運用データを使って追加でホールドアウト法で追加学習することを試みたい。

junichi0706

営業

ホールドアウト法と交差検証法の概略を理解することができた

k_yuna

販売・サービス・事務

大変勉強になりました。

t_htn

経営・経営企画

モデル検証の考え方が把握できた。
モデル検証を正しく行い、
データ分析をより正しく行えるようにしたいと
思う

chikako_k

IT・WEB・エンジニア

誤差がどれくらいになるのか、データ分割の基準はあるのか、不明点が多かったです。

yasu-okazaki

メーカー技術・研究・開発

実装後に問題が出ることが多いので、交差検証法は有効だ。取り入れたい。

haruka-

その他

データ数、検証時間などで検証法を変えられる。用途やプロジェクトに応じて選択できると良い。

70sp1208

その他

ＡＩにおいても評価は重要であることがわかった。また、当たり前のことであるが、想定外のことがあって人的被害を起こしてしまってはいきないため、評価は念入りにしなかればいけないと思った。

kazumi_100pot

金融・不動産　関連職

モデルの汎化性能を検証する方法については、概ね理解できています。

sakurai_shingo

人事・労務・法務

業務に活用できると思います。

pinguino

販売・サービス・事務

わかりやすかった。評価により精度の高いモデル運用をしたい。

kiyama-h

IT・WEB・エンジニア

検証方法についてよく理解ができる内容。
復習にも便利。

atsushi_komaki

金融・不動産　関連職

ＤＳ検定リテラシーレベル合格のために。

makidayo

IT・WEB・エンジニア

モデル検証はわかりやすかった。

yokoishida

コンサルタント

計算速度ですね。ものすごく大きなデータの話ですね。将来にわたり、私に限って扱う気がしません。

cs1960

販売・サービス・事務

大変勉強になりました。

i_mura888

金融・不動産　関連職

AIモデルの学習の際に活用出来る

test_test___

メーカー技術・研究・開発

ホールドアウト法と交差検証法についてそれぞの利点と欠点を学びました。

tsukamotoya

資材・購買・物流

汎化誤差について学びました。 汎化誤差は未知のデータに対する損失を表します。 この汎化誤差は訓練誤差とは異なり、学習が進むにつれて過学習などが生じてしまうと値がとても大きくなっ ていきます。ホールドアウト法についても学びました。全訓練データを 3 つのサブセットに分ける方法でした。業務に活かせるよう考えていきます。

s-ma

経営・経営企画

モデルの評価手法とその特性について理解が深まった

michiyomichiyo

その他

訓練用と評価用のデータを分ける事

k_k_ai

メーカー技術・研究・開発

検証について良く理解できました。
実業務でも良く検証して精度が良いモデルができた・・という話をなんとなく聞いていましたが、この講座をきいたことで
その意味を理解することができました。

popcorn1212

販売・サービス・事務

機械学習を行うデータは多ければ多い程予測の精度があがる。
少ない場合は出た予測が必ずしも正しいとは判断しない方が良い。

taka1962

販売・サービス・事務

AIモデルの検証で高成績が得られていれば、AIを使うことへの不安を軽減させることができるので、大変重要だと思います

suzuqp

IT・WEB・エンジニア

訓練用には古いデータ、テスト用には新しいデータを用いるという点は言われてみればその通りだと感じました。データについての考慮が漏れていたことに気づけました。

madogiwazoku

その他

素人には難しすぎました。頭が痛いです。鼻血もでそうです。

vegitaberu

人事・労務・法務

モデルの検証法について、復習でき、自分の理解がおおよそ正しいことが理解でき、自信となりました。ただし、それは理論だけのことなので、実際に使うには、足りない部分があると思ういますので、実際に使えるようにしたいと思います。

shirojpn

メーカー技術・研究・開発

ホールドアウト法における、注意点として時系列データの活用での注意点として
挙げられた、訓練用には古いデータ、テスト用には新しいデータを用いるという点は
うっかりやってしまわないように注意したい。

kk1000

販売・サービス・事務

様々な検証法があり、選択していくのが難しいと感じました。