機械学習⑤モデルの検証／データサイエンス入門

watanabe-tat

専門職

交差検証法でモデルを評価して、運用データを使って追加でホールドアウト法で追加学習することを試みたい。

puchi

メーカー技術・研究・開発

ホールドアウト法に関して学んだ

koichi_seya

その他

ホールドアウト法、交差検証法を使い分ける理由が理解できた。

k-akira

営業

汎化性能を高める検証法の理解ができた

stani

専門職

モデル化するデータは最新でなければならない。

7031

経営・経営企画

モデルの汎化性能を検証する方法については、概ね理解出来ました。

user-name01

販売・サービス・事務

機械学習のために訓練用データと評価用データに分けていることを学んだ。

iso_ken

専門職

交差検証法の考え方は参考になった

choko0504

メーカー技術・研究・開発

データサイエンスのモデル検証手法について理解することができた。実務で利用する機会があれば活用したい。

inyourmind

建設・土木　関連職

CVだとk回のそれぞれのケースにおいて別々のモデルパラメータとなると思いますが、実運用するときはそのうちのどのモデルを用いるのでしょうか?

kenjiro_fujita

コンサルタント

機械学習の誤差を求める方法として、汎化誤差評価とクロスバリエーションという方法があることをはじめてしった。社内の機械学習モデルの精度を双方で評価した結果があるか確認していきたい。

vz3000

IT・WEB・エンジニア

モデル検証法にホールドアウト法、交差検証法があること、状況に応じて検証法を選択する必要があることが理解できた。

sesesese

その他

交差検証法について訳わかりませんでした。
モデルもk個できると思うのですが、どのモデルを採用するのですか？

ken222

営業

ホールドアウト法と交差検証法をしっかり覚えたい。

k--g--

その他

交差検証法を使う前に本当にデータを集められないか確認したい。

hfkd156036

金融・不動産　関連職

モデルの汎化性能を検証する方法について理解できた

miura_ka

販売・サービス・事務

モデル検証法の種類について確認する事が出来た。

take515

メーカー技術・研究・開発

検証方法の概要を確認できた。

kk1000

販売・サービス・事務

様々な検証法があり、選択していくのが難しいと感じました。

shirojpn

メーカー技術・研究・開発

ホールドアウト法における、注意点として時系列データの活用での注意点として
挙げられた、訓練用には古いデータ、テスト用には新しいデータを用いるという点は
うっかりやってしまわないように注意したい。

vegitaberu

人事・労務・法務

モデルの検証法について、復習でき、自分の理解がおおよそ正しいことが理解でき、自信となりました。ただし、それは理論だけのことなので、実際に使うには、足りない部分があると思ういますので、実際に使えるようにしたいと思います。

madogiwazoku

その他

素人には難しすぎました。頭が痛いです。鼻血もでそうです。

suzuqp

IT・WEB・エンジニア

訓練用には古いデータ、テスト用には新しいデータを用いるという点は言われてみればその通りだと感じました。データについての考慮が漏れていたことに気づけました。

taka1962

販売・サービス・事務

AIモデルの検証で高成績が得られていれば、AIを使うことへの不安を軽減させることができるので、大変重要だと思います

popcorn1212

販売・サービス・事務

機械学習を行うデータは多ければ多い程予測の精度があがる。
少ない場合は出た予測が必ずしも正しいとは判断しない方が良い。

k_k_ai

メーカー技術・研究・開発

検証について良く理解できました。
実業務でも良く検証して精度が良いモデルができた・・という話をなんとなく聞いていましたが、この講座をきいたことで
その意味を理解することができました。

michiyomichiyo

その他

訓練用と評価用のデータを分ける事

s-ma

経営・経営企画

モデルの評価手法とその特性について理解が深まった

haruka-

その他

データ数、検証時間などで検証法を変えられる。用途やプロジェクトに応じて選択できると良い。

test_test___

メーカー技術・研究・開発

ホールドアウト法と交差検証法についてそれぞの利点と欠点を学びました。

i_mura888

金融・不動産　関連職

AIモデルの学習の際に活用出来る

cs1960

販売・サービス・事務

大変勉強になりました。

yokoishida

コンサルタント

計算速度ですね。ものすごく大きなデータの話ですね。将来にわたり、私に限って扱う気がしません。

makidayo

IT・WEB・エンジニア

モデル検証はわかりやすかった。

atsushi_komaki

金融・不動産　関連職

ＤＳ検定リテラシーレベル合格のために。

kiyama-h

IT・WEB・エンジニア

検証方法についてよく理解ができる内容。
復習にも便利。

pinguino

販売・サービス・事務

わかりやすかった。評価により精度の高いモデル運用をしたい。

sakurai_shingo

人事・労務・法務

業務に活用できると思います。

hi-std

IT・WEB・エンジニア

ホールドアウト法と交差検証法を学ぶ事が出来た。

70sp1208

その他

ＡＩにおいても評価は重要であることがわかった。また、当たり前のことであるが、想定外のことがあって人的被害を起こしてしまってはいきないため、評価は念入りにしなかればいけないと思った。

tsukamotoya

資材・購買・物流

汎化誤差について学びました。 汎化誤差は未知のデータに対する損失を表します。 この汎化誤差は訓練誤差とは異なり、学習が進むにつれて過学習などが生じてしまうと値がとても大きくなっ ていきます。ホールドアウト法についても学びました。全訓練データを 3 つのサブセットに分ける方法でした。業務に活かせるよう考えていきます。

h-kozawa

メーカー技術・研究・開発

機械学習結果を検証する実務的な内容について、よく理解できました。

e_co

販売・サービス・事務

ホールドアウト法と交差検証法を理解できた。
使用するデータや量に注意が必要であると感じた。

ta-mo-

IT・WEB・エンジニア

モデルの検証において、ホールドアウト、交差の選択としては、技術的には交差だと思うが、工数が課題ですね。
ユーザー部門との事前協議の上、検討が必要と感じた。

masato_86

専門職

試してみたいと思いました。

grateful

専門職

モデルの検証の方法を学びました。

takumi_1453

経営・経営企画

誤差の無い完璧なモデルとは?
■線形回帰やロジスティック回帰を用いて
　学習用データを完璧に説明できる殆ど誤
　差が無いモデルを作れたと過程
■本当に完璧なモデルか
■信用して実運用して大丈夫か

機械学習の全体像
■学習フェーズ
　過去のデータ→機械学習→学習済モデル
■運用フェーズ
　新たなデータ→学習済モデル→予測結果

本当に評価すべきは未知のデータに対する予測性能
■運用フェーズでの予測性能が重要
■運用フェーズではモデルにとって未知の
　データで予測することになる
■実運用で使えるかは未知データに対する
　評価結果で判断すべき

訓練誤差と汎化誤差
■機械学習ではデータに対する誤差を2種
　類に分けて考える
　①訓練誤差
　　学習に用いたデータに対する誤差
　②汎化誤差☆☆☆
　　未知のデータに対する誤差
　　→未知のデータに対する予測性能を　　　　
　　　汎化性能と呼ぶ☆☆☆
■モデルの作り込みは汎化誤差を小さくな
　るように行うべき

汎化誤差の評価方法・ホールドアウト法
■データを事前に訓練用とテスト用に分割
　し、テスト用データで学習済モデルの汎
　化誤差を（MAEやAccuracy等で）評価す
　る
■実装は容易だがデータ数が少ないと汎化
　誤差をうまく評価できない場合がある
（例）全データ
　→80%訓練用→機械学習→学習済モデル
　→20%テスト用→学習済モデル→評価
■時系列データを分割する際の注意点
　未来を予測するモデルを作る場合、訓練
　用データよりも過去のデータをテストデ
　ータに使わないこと
　→運用時を想定した評価ができないため
■データ数が少ない場合の評価
　ホールドアウト法ではデータの一部をテ
　スト用にするが、全データを用いて汎化
　誤差をうまく評価したい
　→交差検証法を活用する！！☆☆☆

汎化誤差の評価方法・交差検証法
■交差検証法（クロスバリデーション）と
　は、データを複数グループにわけ、テス
　ト役と訓練役を交代しながら汎化誤差を
　評価する方法
（例）全データをK個に分割
　テスト用・訓練1・訓練2・・訓練K-1
　訓練1・テスト用・訓練2・・訓練K-1
　訓練1・訓練2・テスト用・・訓練K-1
　→テストの回ごとにテスト役を交代し、
　　テスト用データに対する評価値を算出
　　（MAEやAccuracy等で）
　→テストが一巡するまで繰り返し、
　　最後に評価値の平均値を汎化誤差の
　　推定値として算出
■K分割交差検証法とも呼ばれる
　・分割数を増やすほど汎化誤差の推定性
　　能が向上する
　・利点
　　全てのデータを使うのでホールドアウ
　　ト法より汎化誤差の推定精度が高い
　・欠点
　　学習と評価を何度も繰り返すため、計
　　算に時間がかかる

shin_yako

販売・サービス・事務

参考になりました。実務の活用を考えます

temp_at

IT・WEB・エンジニア

ホールドアウト法と交差検証法のどちらを採用するかは、手持ちのデータ量を考慮し考慮して決める必要がある。

yoshikouc

販売・サービス・事務

大量のデータがある場合はホールドアウト法で行うのがベストだけれど、データ数が少なければK交差検証法で時間はかかるが検証を行う道があるので、どんなデータにも対応できると思いました。

kyo1227

営業

モデルをテストする際のホールドアウト、クロスバリデーションの手法を理解できた。また時系列データを扱う際の注意点も理解できた。

hrkudo

IT・WEB・エンジニア

交差検証法とホールドアウト法の使い方について理解しました。

takemaru0530

販売・サービス・事務

誤差がないものほど性能がいいとは限らない。
はじめて知り勉強になりました。
訓練用データ、評価用データを分けて評価することを学びました。

aokitaka-tci

その他

モデル検証においてホールドアウト法・交差検証法があり、それぞれメリット・デメリットがあることを理解した

tasu-o

コンサルタント

ホールドアウト法と交差検証法のそれぞれの特性について学習することができた。
取り扱うデータに応じて、特性にあった方法で検証を実施していきたい

mutame

その他

検証方法の概要を確認できた。

inagaki_tomomi1

販売・サービス・事務

テストデータと練習データの考え方を学びました

yutahayasaka

その他

機械学習では、テスト用データと評価用データに分割してモデル構築と評価の両方を行うことが分かりました。その中で正確なモデル構築だけなく、使う目的である予測精度が重要なことも分かりました。

homma_nanami

販売・サービス・事務

モデル検証はわかりやすかったです。最適な検証方法の選択をしたいと思いました。

hirano_rikiya

専門職

過去のデータから傾向分析することで未来を予測する考え方が整理できました。

gobau

営業

ホールドアウト法、交差検証法について理解した。

xiu14

その他

誤差の判定方法にも、それぞれに長所・短所を持った複数の手段があることを理解しました。

mori_1991

メーカー技術・研究・開発

モデル検証のフローを学ぶことができた。

myu-tan

コンサルタント

モデルの検証について、ホールドアウト法、K分割交差検証法のメリデメを考えて活用したい

warashina12345

その他

大変勉強になりました。

aquico52

IT・WEB・エンジニア

データ量と評価にかけられる時間を加味して、評価手法を選べばよいことが分かった

asakusajun

営業

再雇用の身ですが、現役時代にはなかった新しい研修を楽しく
学習しています。

uragami_kenji

IT・WEB・エンジニア

例の説明でテスト用が200件でも少ない扱いなので、少し驚いた。

tadashiokamoto

専門職

活用できるよう努力します

takeshita_ta

営業

モデルの検証を行うことで、顧客対応システムや問い合わせ予測モデルの信頼性を確保することが可能である。定期的な検証と改善により、コールセンターの業務効率と顧客満足度の向上が期待できる。

hinaya_0821

その他

検証法の違いやメリットデメリットをしっかり理解して業務に役立てたい。

globis-mrm

営業

モデルの検証について、訓練誤差・汎化誤差の定義、その評価方法について学び、理解することができた。

temp954

販売・サービス・事務

検証法の違いを理解はできるが最適な検証法を割り当てるまでが難しいと感じました。

yoshiyc

その他

検証法によりメリット・デメリットが学習できた。
今度は同じデータを使用して検証法を変え、結果の比較等を実感してみたい。

t03290512

営業

日常業務に取り組活動

staka3

その他

検証法によって時間の違いがあるが繰り返し検証していくことが大事であると感じました。

nokt

メーカー技術・研究・開発

機械学習のモデルの検証方法について基本的な内容を学ぶことができました。機械学習の知識を取り入れていきたいので、繰り返し受講したいと思います。

srk1

その他

モデルを検証する手法と注意点について理解できました。

yy_nn

その他

学んだ内容は、モデルを実運用フェーズに移すときの意思決定の役立つと思いました。汎用誤差の評価方法を推定精度と時間のバランスを考慮して選び、汎用性能を汎化誤差から判断できるようになるには、いくつか訓練や経験値、参考値が必要だと思いました。商品の需給バランスを予測するモデルなどが思い浮かびます。供給側のキャパがあったり素早く判断したい場合にはホールドアウト法で評価する、細かい供給調整が必要な場合や時間に余裕がある場合には交差検証法で評価するといいとイメージしました。

everest

営業

予測精度や信頼性を確認し、実際のビジネス課題に対して最適な意思決定を支援するために活用したい。

egon

マーケティング

モデル検証を理解することができました。

hiroshi-srkr

経営・経営企画

機械学習におけるモデルの検証は重要な内容と思っていますが、これについてあまり詳しく理解でいていなかったのでこの講座で概要を理解することが出来ました。

kkmmyy

営業

今後参考にしたいと思います

terulin

メディカル　関連職

交差検証法とは、役割を変えながらホールドアウト法を繰り返すということなのでしょうか？

rirac

IT・WEB・エンジニア

モデルの検証にはホールドアウト法、交差検証法の2つあることと、それぞれにメリットやデメリットがあることが分かりました。データ数によって最適な方法が違うので、どちらが理想的なのか考えて運用したいです。

holborn-kt

マーケティング

例を出してもらって説明されてもなかなか1回見ただけでは難しい内容

timetraveler

IT・WEB・エンジニア

モデルの検証は分かりやすかった。問題を解いて理解を深めたい。

abarenaikun

営業

モデル検証では、ホールドアウト法と交差検証法の使い分けが重要だと感じる。データ量や目的に応じて適切な手法を選ぶことで、予測精度の向上につながる。時系列データの扱いにも注意しながら、汎化性能を高める工夫をしたい。

macha511

IT・WEB・エンジニア

機械学習モデルの検証方法について概要を理解できました。

sat_mura

メーカー技術・研究・開発

統計を用いたモデル解析の精度検証の仕方にこれまで悩んでいた。
モデルに使うデータが多ければ良いと思っていたが、汎化誤差の検証など精度を確認しながら進める方法を知った。