機械学習⑤モデルの検証／データサイエンス入門

pinguino

販売・サービス・事務

わかりやすかった。評価により精度の高いモデル運用をしたい。

kiyama-h

IT・WEB・エンジニア

検証方法についてよく理解ができる内容。
復習にも便利。

atsushi_komaki

金融・不動産　関連職

ＤＳ検定リテラシーレベル合格のために。

makidayo

IT・WEB・エンジニア

モデル検証はわかりやすかった。

yokoishida

コンサルタント

計算速度ですね。ものすごく大きなデータの話ですね。将来にわたり、私に限って扱う気がしません。

cs1960

販売・サービス・事務

大変勉強になりました。

i_mura888

金融・不動産　関連職

AIモデルの学習の際に活用出来る

test_test___

メーカー技術・研究・開発

ホールドアウト法と交差検証法についてそれぞの利点と欠点を学びました。

haruka-

その他

データ数、検証時間などで検証法を変えられる。用途やプロジェクトに応じて選択できると良い。

s-ma

経営・経営企画

モデルの評価手法とその特性について理解が深まった

kyo1227

営業

モデルをテストする際のホールドアウト、クロスバリデーションの手法を理解できた。また時系列データを扱う際の注意点も理解できた。

homma_nanami

販売・サービス・事務

モデル検証はわかりやすかったです。最適な検証方法の選択をしたいと思いました。

yutahayasaka

その他

機械学習では、テスト用データと評価用データに分割してモデル構築と評価の両方を行うことが分かりました。その中で正確なモデル構築だけなく、使う目的である予測精度が重要なことも分かりました。

inagaki_tomomi1

販売・サービス・事務

テストデータと練習データの考え方を学びました

mutame

その他

検証方法の概要を確認できた。

tasu-o

コンサルタント

ホールドアウト法と交差検証法のそれぞれの特性について学習することができた。
取り扱うデータに応じて、特性にあった方法で検証を実施していきたい

aokitaka-tci

その他

モデル検証においてホールドアウト法・交差検証法があり、それぞれメリット・デメリットがあることを理解した

takemaru0530

販売・サービス・事務

誤差がないものほど性能がいいとは限らない。
はじめて知り勉強になりました。
訓練用データ、評価用データを分けて評価することを学びました。

hrkudo

IT・WEB・エンジニア

交差検証法とホールドアウト法の使い方について理解しました。

e_co

販売・サービス・事務

ホールドアウト法と交差検証法を理解できた。
使用するデータや量に注意が必要であると感じた。

yoshikouc

販売・サービス・事務

大量のデータがある場合はホールドアウト法で行うのがベストだけれど、データ数が少なければK交差検証法で時間はかかるが検証を行う道があるので、どんなデータにも対応できると思いました。

temp_at

IT・WEB・エンジニア

ホールドアウト法と交差検証法のどちらを採用するかは、手持ちのデータ量を考慮し考慮して決める必要がある。

shin_yako

販売・サービス・事務

参考になりました。実務の活用を考えます

takumi_1453

経営・経営企画

誤差の無い完璧なモデルとは?
■線形回帰やロジスティック回帰を用いて
　学習用データを完璧に説明できる殆ど誤
　差が無いモデルを作れたと過程
■本当に完璧なモデルか
■信用して実運用して大丈夫か

機械学習の全体像
■学習フェーズ
　過去のデータ→機械学習→学習済モデル
■運用フェーズ
　新たなデータ→学習済モデル→予測結果

本当に評価すべきは未知のデータに対する予測性能
■運用フェーズでの予測性能が重要
■運用フェーズではモデルにとって未知の
　データで予測することになる
■実運用で使えるかは未知データに対する
　評価結果で判断すべき

訓練誤差と汎化誤差
■機械学習ではデータに対する誤差を2種
　類に分けて考える
　①訓練誤差
　　学習に用いたデータに対する誤差
　②汎化誤差☆☆☆
　　未知のデータに対する誤差
　　→未知のデータに対する予測性能を　　　　
　　　汎化性能と呼ぶ☆☆☆
■モデルの作り込みは汎化誤差を小さくな
　るように行うべき

汎化誤差の評価方法・ホールドアウト法
■データを事前に訓練用とテスト用に分割
　し、テスト用データで学習済モデルの汎
　化誤差を（MAEやAccuracy等で）評価す
　る
■実装は容易だがデータ数が少ないと汎化
　誤差をうまく評価できない場合がある
（例）全データ
　→80%訓練用→機械学習→学習済モデル
　→20%テスト用→学習済モデル→評価
■時系列データを分割する際の注意点
　未来を予測するモデルを作る場合、訓練
　用データよりも過去のデータをテストデ
　ータに使わないこと
　→運用時を想定した評価ができないため
■データ数が少ない場合の評価
　ホールドアウト法ではデータの一部をテ
　スト用にするが、全データを用いて汎化
　誤差をうまく評価したい
　→交差検証法を活用する！！☆☆☆

汎化誤差の評価方法・交差検証法
■交差検証法（クロスバリデーション）と
　は、データを複数グループにわけ、テス
　ト役と訓練役を交代しながら汎化誤差を
　評価する方法
（例）全データをK個に分割
　テスト用・訓練1・訓練2・・訓練K-1
　訓練1・テスト用・訓練2・・訓練K-1
　訓練1・訓練2・テスト用・・訓練K-1
　→テストの回ごとにテスト役を交代し、
　　テスト用データに対する評価値を算出
　　（MAEやAccuracy等で）
　→テストが一巡するまで繰り返し、
　　最後に評価値の平均値を汎化誤差の
　　推定値として算出
■K分割交差検証法とも呼ばれる
　・分割数を増やすほど汎化誤差の推定性
　　能が向上する
　・利点
　　全てのデータを使うのでホールドアウ
　　ト法より汎化誤差の推定精度が高い
　・欠点
　　学習と評価を何度も繰り返すため、計
　　算に時間がかかる

grateful

専門職

モデルの検証の方法を学びました。

popcorn1212

販売・サービス・事務

機械学習を行うデータは多ければ多い程予測の精度があがる。
少ない場合は出た予測が必ずしも正しいとは判断しない方が良い。

ta-mo-

IT・WEB・エンジニア

モデルの検証において、ホールドアウト、交差の選択としては、技術的には交差だと思うが、工数が課題ですね。
ユーザー部門との事前協議の上、検討が必要と感じた。

koichi_seya

その他

ホールドアウト法、交差検証法を使い分ける理由が理解できた。

kenjiro_fujita

コンサルタント

機械学習の誤差を求める方法として、汎化誤差評価とクロスバリエーションという方法があることをはじめてしった。社内の機械学習モデルの精度を双方で評価した結果があるか確認していきたい。

inyourmind

建設・土木　関連職

CVだとk回のそれぞれのケースにおいて別々のモデルパラメータとなると思いますが、実運用するときはそのうちのどのモデルを用いるのでしょうか?

choko0504

メーカー技術・研究・開発

データサイエンスのモデル検証手法について理解することができた。実務で利用する機会があれば活用したい。

iso_ken

専門職

交差検証法の考え方は参考になった

user-name01

販売・サービス・事務

機械学習のために訓練用データと評価用データに分けていることを学んだ。

7031

経営・経営企画

モデルの汎化性能を検証する方法については、概ね理解出来ました。

stani

専門職

モデル化するデータは最新でなければならない。

k-akira

営業

汎化性能を高める検証法の理解ができた

vz3000

IT・WEB・エンジニア

モデル検証法にホールドアウト法、交差検証法があること、状況に応じて検証法を選択する必要があることが理解できた。

puchi

メーカー技術・研究・開発

ホールドアウト法に関して学んだ

watanabe-tat

専門職

交差検証法でモデルを評価して、運用データを使って追加でホールドアウト法で追加学習することを試みたい。

junichi0706

営業

ホールドアウト法と交差検証法の概略を理解することができた

k_yuna

販売・サービス・事務

大変勉強になりました。

t_htn

経営・経営企画

モデル検証の考え方が把握できた。
モデル検証を正しく行い、
データ分析をより正しく行えるようにしたいと
思う

chikako_k

IT・WEB・エンジニア

誤差がどれくらいになるのか、データ分割の基準はあるのか、不明点が多かったです。

yasu-okazaki

メーカー技術・研究・開発

実装後に問題が出ることが多いので、交差検証法は有効だ。取り入れたい。

michiyomichiyo

その他

訓練用と評価用のデータを分ける事

sesesese

その他

交差検証法について訳わかりませんでした。
モデルもk個できると思うのですが、どのモデルを採用するのですか？

ken222

営業

ホールドアウト法と交差検証法をしっかり覚えたい。

k--g--

その他

交差検証法を使う前に本当にデータを集められないか確認したい。

hfkd156036

金融・不動産　関連職

モデルの汎化性能を検証する方法について理解できた

miura_ka

販売・サービス・事務

モデル検証法の種類について確認する事が出来た。

512177

資材・購買・物流

あくまでも、推定の確立論の話、誤差を理解しないといけない

take515

メーカー技術・研究・開発

検証方法の概要を確認できた。

kk1000

販売・サービス・事務

様々な検証法があり、選択していくのが難しいと感じました。

shirojpn

メーカー技術・研究・開発

ホールドアウト法における、注意点として時系列データの活用での注意点として
挙げられた、訓練用には古いデータ、テスト用には新しいデータを用いるという点は
うっかりやってしまわないように注意したい。

vegitaberu

人事・労務・法務

モデルの検証法について、復習でき、自分の理解がおおよそ正しいことが理解でき、自信となりました。ただし、それは理論だけのことなので、実際に使うには、足りない部分があると思ういますので、実際に使えるようにしたいと思います。

madogiwazoku

その他

素人には難しすぎました。頭が痛いです。鼻血もでそうです。

suzuqp

IT・WEB・エンジニア

訓練用には古いデータ、テスト用には新しいデータを用いるという点は言われてみればその通りだと感じました。データについての考慮が漏れていたことに気づけました。

taka1962

販売・サービス・事務

AIモデルの検証で高成績が得られていれば、AIを使うことへの不安を軽減させることができるので、大変重要だと思います

kazumi_100pot

金融・不動産　関連職

モデルの汎化性能を検証する方法については、概ね理解できています。

k_k_ai

メーカー技術・研究・開発

検証について良く理解できました。
実業務でも良く検証して精度が良いモデルができた・・という話をなんとなく聞いていましたが、この講座をきいたことで
その意味を理解することができました。