機械学習⑥データの前処理／データサイエンス入門

s-ma

経営・経営企画

前処理の手法と活用時の注意点を学んだ

iso_ken

専門職

スケーリングと質的データの量的変換は参考になった

mainichi365

IT・WEB・エンジニア

データを見直すこと。

i_mura888

金融・不動産　関連職

AIモデルを作る際のデータ前処理で役立つ。

takumi_1453

経営・経営企画

欠損に対する処理
　行を削除→欠損を含む行数が十分少ない場合
　列を削除→特徴量があまり重要ではない場合
　欠損を補完→各種平均、回帰モデル予測

スケーリング
　データの尺度を合わせる、正規化
　線形回帰やNNWでは実施が不可欠
　0-1正規化
　　（データの値-最小値）/(最大値-最小値)
　　外れ値に影響されやすい
　　0-1の間にスケーリングしたい
　標準化
　　（データの値-平均値）/標準偏差
　　0付近にスケーリングしたい

外れ値に対する処理
　ウィンザー化
　　一定の範囲内に丸め込む
　　上位、下位それぞれ5%超過したものを
　　上位、下位5%の値に置き換える
　IQR（interquantile range）で外れ値特定し行削除
　　第一四分位数-1.5iqr
　　第三四分位数+1.5iqr
　　iqr=第三四分位数-第一四分位数
　　箱ヒゲ図
　　　最小値、第一四分位数、下側境界値
　　　中央値
　　　最大値、第三四分位数、上側境界値

質的データの変換
　ワンホットエンコーディング
　　説明変数が多くなる
　ラベルエンコーディング
　　数字の間に意味が生じて支障きたすことが多い

h-kozawa

メーカー技術・研究・開発

正規化と標準化について正しい理解ができました。併せて多様な前処理方法があることも理解できました。

grateful

専門職

0－1正規化、標準化を学びました。

shirojpn

メーカー技術・研究・開発

データの前処理として、欠損の処理方法、データの正規化、外れ値の処理方法、質的データの量的データへの変換時の注意点等を理解する事が出来た。
外れ値の処理方法としての、箱ひげ図の事例はわかりやすかった。

sakurai_shingo

人事・労務・法務

業務で活用できそう。

atsushi_komaki

金融・不動産　関連職

ＤＳ検定リテラシーレベル合格のために。

k-akira

営業

正規化と標準化の違いが理解できた

70sp1208

その他

データの前処理は、統計の基礎が重要であることがわかった。統計の基礎を押さえて、ＡＩについて理解を深めたい。

kyo1227

営業

データの前処理として、データの欠損の補完、外れ値の扱い、正規化の方法があることを学んだ。

e_co

販売・サービス・事務

データの前処理にも様々な方法があり、どれを採用するか正しい選択が必要だと感じました。

inyourmind

建設・土木　関連職

まだ素人なので、オートスケーリングはいつも面倒くさいと感じてしまいます。

hr-sakai

その他

０－１正規化と標準化の違が理解できた。外れ値の処理の方法も理解できたのでもっと学習してみます。

yoshikouc

販売・サービス・事務

実際に手を動かしながらしたいです

watanabe-tat

専門職

質的データ、ダミー変数はワンホットエンコーディングを使う。ラベルリングデータは取り合う使いに注意する。

taka1962

販売・サービス・事務

マニュアルでデータ処理するときは前処理を頭の中で知らぬ間にしていたことがわかりました。AIではとても重要だとわかりました。

takemaru0530

販売・サービス・事務

外れ値の考え方や扱い方は勉強になりました。
業務でも外れ値をどのように扱うかはその時のデータ集計の目的によって違います。ヒストグラムでは外れ値により形が変わるので、箱ひげ図を活用すればデータのばらつきや外れ値がわかります。業務でも箱ひげ図を活用できるようにしていきたいです。

take515

メーカー技術・研究・開発

データ前処理の基本事項が確認できた。

cs1960

販売・サービス・事務

大変、勉強になりました。

ken222

営業

01正規化と標準化の手法をしっかり覚えるとともに、外れ値の扱いについてもしっかり覚えたい。

pinguino

販売・サービス・事務

前処理として必要なことが理解できた。

yasupii

その他

講義を聞いて、機械学習は使われるデータが重要であるので、その前準備が大切であると思いました。前準備について、知っておくべき基礎的なことが分かりました。どのようなモデルを作りたいのかで、使う手法が異なるので、実践する場合に留意していきたいです。

miura_ka

販売・サービス・事務

データの前処理の必要性と、前処理の種類を確認できたため取り入れたい。

matute

IT・WEB・エンジニア

データ分析を開始する前に外れ値の処理や正規化等を行い、正しいデータ分析ができるようにしたい

vegitaberu

人事・労務・法務

データの前処理は実際に意識していることですが、スケーリングの考え方は、抜けていました。これを理解できたのが、一番の収穫でした。

hrkudo

IT・WEB・エンジニア

外れ値や質的変数の処理について理解できました。

dense

メーカー技術・研究・開発

標準化もサンプル数が少ないと、外れ値の影響を受けます…

stani

専門職

データを前処理して使いやすいものにし、長期に利用できるようにしたい。

shin_yako

販売・サービス・事務

参考になりました。実務の活用を考えます

7031

経営・経営企画

データを扱ううえで正規化する必要があることはわかった。

k_k_ai

メーカー技術・研究・開発

外れ値の処理の仕方が勉強になりました。
こういう考え方がある事を知ることで、データの見方がかわってきます。

tsukamotoya

営業

学習できたことを、業務や日常において活用していきます。

koichi_seya

その他

外れ値の処理などの手法が具体的に学べてよかった

kenjiro_fujita

コンサルタント

すでにあるシステムのデータ定義書を見直して、今あるデータベースはワンホットエンコードなのか、ラベルエンコードなのか確認していきたい。

test_test___

メーカー技術・研究・開発

データの前処理、特にデータの欠損をどう補完するかが勉強になった。

sesesese

その他

質的データの変換の説明はあってるのでしょうか？
S,M,Lの３つの区分があったら、作成する項目の数は2個ではないですか？
重回帰分析ではなくで、その他の機械学習の手法では、区分が３つの質的変数の場合、３つの変数を作成するのでしょうか？

yokoishida

コンサルタント

ぼんやりしていた部分が、はっきりわかりました。

chikako_k

IT・WEB・エンジニア

エラーになってしまう不要なデータは削除していましたが、削除にも手法があると知りました。

512177

資材・購買・物流

データの前処理の必要性を学びました

t_htn

経営・経営企画

データの前処理ｎ考え方が把握できた。
データ分析を適切に行うためにも、
しっかりデータ前処理を行いたいと思う

yukofunada

販売・サービス・事務

応用問題で分からなかった部分の理解が深まりました。

kk1000

販売・サービス・事務

ワンホットエンコーディングかラベルエンコーディングか、状況に応じて使い分けが必要だなと感じました。

hfkd156036

金融・不動産　関連職

0−1正規化と標準化の相違点を理解できた

ck27

その他

箱ひげ図などで具体的に外れ値をみながらデータを扱うことが学習できたので、活用していきたい

ta-mo-

IT・WEB・エンジニア

データにノイズがある場合、前処理は重要であり、その方法として、欠損、スケーリング、外れ値等の処理があることが分かった。
また、質的データはワンホットエンコーディング、ラベルエンコーディングがあるのは学びであった。

choko0504

メーカー技術・研究・開発

データ分析する際の基礎的な前処理について学ぶことができた。実務でいかすことがあればいかしたい　。

vz3000

IT・WEB・エンジニア

データの前処理について理解を深めることができた。スケーリングと質的データの量的変換の違いがよく分かった。

yutahayasaka

その他

素人には難しい。1回聴き流すだけでは理解できなかった。復習したい。