データセキュリティ/データサイエンス入門
このシリーズでは、スキルアップAI株式会社の「データサイエンティスト基礎講座」より、ビジネスパーソンが知っておくべき内容を抜粋してお送りします。データサイエンティスト検定™ リテラシーレベルにも対応した内容となっています。 スキルアップAIは、入門、データ分析、AIエンジニア基礎、ビジネス、クラウド、AIエンジニア応用といったカテゴリで様々な講座を用意しています。 スキルアップAI株式会社 https://www.skillupai.com/open/
会員限定
より理解を深め、他のユーザーとつながりましょう。
100+人の振り返り
iso_ken
専門職
データ処理技術の現在使用されているツールの概要がわかった
システム開発などでこれらのことを理解しながら進めていけば、技術者との意思疎通もスムーズになる
1
hfkd156036
金融・不動産 関連職
データ解析を行うためのツールがどういうものか理解できた。
1
matute
IT・WEB・エンジニア
データ処理を行う場合、RやPythonなどどの言語で行うか、データを格納・処理する場合、Hdoopを選ぶかsparkを選ぶかなど、用途によって使い分けが必要なことがわかった。
1
shirojpn
メーカー技術・研究・開発
Rは初めて聞いた。Pythonはよく目にするが、まだ実際に使用したことはない。
Hadoopも、初めて聞いた。興味が湧いたのでもう少し詳しく調べてみようと思う。
1
yokoishida
コンサルタント
メモリについて、日ごろから疑問だったので、解説があって良かったです。
0
muraya_ma
IT・WEB・エンジニア
Hadoop・sparkがどのようなものかを少し理解できた。
個人的になじみのあるのはRDBMSで、まだ具体的にどういったシーンで活用できるかはをイメージできていないので
分散処理フレームワーク含めて、データ処理の技術についてもう少し調べてみよう思います。
0
7031
経営・経営企画
データ解析を行うためのツールがどういうものがあるのか理解できました。
0
pinguino
販売・サービス・事務
各技術について整理して理解できた。
0
dteraoka
販売・サービス・事務
実際のデータ処理を行う際の言語、ツールについて概要を知る事が出来た。また格納・処理においては通常のPCでの処理イメージと近似している点があり、理解し易かった。
0
wada00
その他
データ処理をおこなう際の用途や使い分けを理解できた
0
f_tachi
販売・サービス・事務
BIツールでの活用に役立てる
0
kenjiro_fujita
コンサルタント
データベースからデータを取り出し、分析をするにしても、データの規模や頻度、マシンスペックなどにより、最適な選択肢が異なることが分かった。自社のデータ分析では何がどこに利用されているのか確認していきたい。
0
staka3
その他
使用ツールやデータ解析の流れがよく分かった
0
shin_yako
販売・サービス・事務
参考なりました。実務の活用を考えます。
0
naoki_sasano
メーカー技術・研究・開発
まだ、導入の部分の説明なので、最終的に何が行えるのか、はっきりしない。
0
montana16
経営・経営企画
必要なツールを理解。
いまの業務の中で何が活用されてるかを把握する
0
vz3000
IT・WEB・エンジニア
データ処理を行う際の言語(RやPython)の特徴、データ分析する場合のHdoopとsparkの特徴が理解できた。
0
a-k1ra
IT・WEB・エンジニア
HadoopとSparkのところの説明がわかりやすかった
0
1000-
マーケティング
分散処理の特性がわかってよかった
0
kennalc
営業
監査のデータ分析に使えるかと思うが、Rとパイソンの比較、正直、分かる人向の説明じゃないか?もう少し踏み込んで解説してほしい。浅い授業だった。
0
takeo-12345
その他
データ処理技術の現在使用されているツールの概要がわかった
0
shun0708
その他
データ量によって使い分けをおこない実施するのがよいと感じました
0
acmon
メーカー技術・研究・開発
ツール色々あるなぁ。くらいで理解を止めておく。
0
t_oguogu1979
コンサルタント
データ処理の特性やシーンに合わせて利用技術を選択する事が重要
0
n_koba
メーカー技術・研究・開発
R言語はデータ解析に特化しているので記述が簡単。Pythonはライブラリが充実している。
0
70sp1208
その他
馴染みのない用語が多くあり、難しかった。もう一度動画を視聴し復習していきたい。
0
nomu_ra
IT・WEB・エンジニア
データ処理にはどのようなツールが使われているのか(Apache SparkやHadoopなど)を学べた
0
kk1000
販売・サービス・事務
Python、BIツール、SQLはよく聞くが他の技術は初めて聞きました。
0
yamamoto_kntk
その他
実際にデータ処理を進めるにあたり、利用する仕組みやプログラムの選択するための判断に利用できると思いました
0
k-takahashi0719
IT・WEB・エンジニア
Hdoopとsparkの強みと弱みについて理解できた
0
yk-tnk
その他
データ解析を行うためのツールがどういうものか理解できた。
0
jout009
メーカー技術・研究・開発
データ処理・分析にどのようなツール、フレームワークが使われるのか、概要を知ることができた。何から手をつければ良いのか知らなかったので、導入としては助かった。
0
emi88
その他
Hadoop MapReduce ・Apache Sparkという2大ビッグデータ処理フレームワークを学んだ。それぞれのプロコンを比較しながら、扱うデータの特徴に合わせ、適当な処理方法を選択することが重要と理解した。
0
madogiwazoku
その他
素人には難しいです。難しくてはげそうです。
0
user-name01
販売・サービス・事務
データ処理ソフトの特徴や適用する業務への向き不向きを学んだ。
0
hyde6130k
その他
Hadoop・sparkについては初めて認識した。まだ、十分に理解できていいないので振返りながら、知識としての定着化をはかっていきたい。
0
keotsuka
営業
HadoopとReduceの違いが分かった
0
hr-sakai
その他
データの使い分け意味が把握できて今後の考え方がわかった。
0
ds_tux
メーカー技術・研究・開発
専門用語、多いなあ。忘れない方法はあるのかしら。
0
michiyomichiyo
その他
使い分けるために何をえらぶのかを学んだ
0
ymck_23m
販売・サービス・事務
Python、SQL、HadoopはDS検定の勉強で何度も目や耳にする言葉だけど、具体的に何か改めて学び直せた。特にHadoopは一人でテキストを読むだけであれば理解しきれなかったと思う。講師の方からの説明がわかりやすく、Map reduce、Sparkについて理解できた。
0
taka1962
販売・サービス・事務
自分は実際にプログラムを開発することはないが、この講座でいくつかのプログラム言語の特性を知ることができて、アプリケーションを利用する際に役立つことになると思います。
0
atsushi_komaki
金融・不動産 関連職
万能なものは無いと分かる。
目的や手段に合わせたものを選択できる、検討できる知識身につけてぎょうむに活用できるようにしたい。
0
e_co
販売・サービス・事務
概要や用途が理解出来ました。
何を選択するのが良いのか判断するためにも、理解を深めたい。
0
inyourmind
建設・土木 関連職
Hadoopなどの用語を知ることができたので、展示会などでの情報調査のときに役立つ。
0
hiromatsui
マーケティング
様々なデータ分析ツールの紹介があり、今まで聞いたことがあるだけで概要が分からなかったものが認識できた。
0
mogyan
IT・WEB・エンジニア
データサイエンスの表面的な感触を得ることが出来ました。これ以上は、実際に具体的に学ぶ必要があると思いました。
Rとpython
BIツール:分析ツール。Tableauとか
Apache Hadoop:ビッグデータを分散処理するソフトウェア集合
0
kitano_wataru
IT・WEB・エンジニア
tableau prepで編集しているようなデータも、大量データであればhadoopで編集しないとダメなんだろうなと思った。ただ、現状ではそこまでのビッグデータを扱ったことないため、選択肢として覚えておくにとどまる。
0
yasupii
その他
RとPythonのそれぞれの特徴が分かりました。近年はPythonが使われている傾向があることは知っていましたが、その理由がよく分かりました。
0
watanabe-tat
専門職
Hadoop はデータを外部ストレージに保存して処理する。 Spark はデータを内部メモリに保存して処理する。このため、 Hadoop はデータをバッチで処理することに適していて、 Spark はデータをリアルタイムで処理することに向いている。
0
senna4521
営業
次のコンテンツを視聴し、知識をつけていきたい
0
onihei99
専門職
まだイメージがわかない。 本講座は私には過剰だったかもしれない。
0
takumi_1453
経営・経営企画
データ処理の技術
・RとPython
・BIツール
・SQL
・Apache Hadoop とApache Spark
■RとPython
・R
習得難度→データ分析特化、記述容易
開発環境→RStudio
情報量→日本語書籍やサンプルコード多
統計ライブラリ→多様な処理が可能
機械学習ライブラリ→一通り揃う
・Python
習得難度→汎用言語のためプログラミングの基本理解が必要
開発環境→Jupyter Notebook
情報量→日本語書籍やサンプルコード多
統計ライブラリ→Rに比べ機能少ない
機械学習ライブラリ→Rより充実
備考→データ分析以外のライブラリ充実
■BIツール
・ビジネスインテリジェンス
・CSVデータやDBと連携し、単純なデータ処理や比較的綺麗なレポート作成を簡易に実施できる
・TableauやLookerなどが有名
■SQL
・DBに対する命令を記述する言語
・主にRDBで用いられる
・命令はクエリと呼ばれる
1 SQLを用いてクエリを記述
2 クエリが発行される
3 結果が転送される
■Apache Hadoop とApache Spark
・ビッグデータを分散処理するためのソフトウェアの集合
例 昨日の運営メディアの閲覧ログを集計し、ビュー数やクリック数を算出する
・主要コンポーネント
・Hadoop Distributed File System(HDFS)
・Hadoop MapReduce
・Hadoop Common(上2つのコンポーネントを利用するためのソフトウェア)
◆HDFS
・分散ファイルシステム
・データを複数台のコンピュータ上に分散保存し管理する
◆Hadoopの限界
✅️ディスクIO(HDD等のストレージへの読み書き)が頻発
・ディスクIOはメモリ参照より低速
・参考)MapReduceの結果はHDFSに都度書き込む
✅️Hadoopは同じデータに対して異なる処理を加えるような操作には不向き
・Hadoopは大規模な定期実行処理のためのソフトウェアという位置付け
・例)深夜にHadoopを用いて全メディア記事のビュー数やクリック数を集計しておき、翌日にBIツール等で可視化してレポーティング
✅️これらの課題を解決するのがApache Spark
◆Apache Spark
✅️メモリをメインの処理基盤としたデータ分散処理フレームワーク
✅️RDDと呼ばれるSpark特有のデータ形式を用いる
・RDDをメモリにキャッシュする仕組みを搭載→HDFSへのアクセスが減少
✅️データへのアクセスが速いので、アドホック分析や機械学習と相性が良い
◆Sparkの限界
✅️Sparkはメモリに乗り切れないデータは処理できない
・Sparkには高メモリマシンが必要、コスト増加の懸念
・Hadoopクラスタで利用するコンピュータは高スペックでなくても良い
・Hadoopは処理したデータを一旦HDFSに書き出すことでメモリを節約しているともいえる
✅️HadoopとSparkの使い分け
・アドホック分析→Spark
・メモリ以上の大規模なデータ処理→Hadoop
0
ky-takanashi
販売・サービス・事務
利用されているデータ分析結果の需要が多くなる、データその物が大きくなると予想される場合は、DBその物を変更しながら運用する事も重要と認識
0
suzuqp
IT・WEB・エンジニア
hdoopなどあまり聞きなれない、知らないものも多かった。専門用語も多かったので具体的なシーンのイメージが付きにくかった。さらに学びを進めて理解を深めたい。
0
makoke
その他
使うシーンを考えながら活用したいです
0
cs1960
販売・サービス・事務
大変、勉強になりました。
0
toshi-iwai
経理・財務
専門的な用語が多くなかなか頭に入ってきませんが、復習します。
0
naoyama777
メーカー技術・研究・開発
SQL上での命令をクエリと呼ぶ
Hadoop
Spark
Hadoop vs Sparkって感じ?
0
hrkudo
IT・WEB・エンジニア
どのようなツールを利用して、データ処理しているかわかった。
0
kawaguchimas229
IT・WEB・エンジニア
hadoopの説明が難しかった
0
kyo1227
営業
データ解析を行うためのツールがどういうものか理解できた。
0
masato_86
専門職
理解が進んだと感じる
0
k-akira
営業
プログラミング言語とデータ処理の仕組みを体系的に理解できた。どういった分析、処理をするときはこの仕組みを利用するほうが効率的だとわかった上で実用したい。
0
ysen
IT・WEB・エンジニア
どのツールをどの場面で使うかの知識を得ることができた。データサイエンス検定の資格取得の一助となる講座でした。
0
tsukamotoya
営業
難しいですね。復習しながら取り組んでいきます
0
shin1yamanishi
メーカー技術・研究・開発
新しい用語が多く理解することが大変ですが頑張ります。
0
s-eguchi
営業
Hadoopなどの言葉は知っていましたがどのように使うのかは知りませんでした。
基本的なことを学べてよかったです。
0
haruka-
その他
データ処理のツールについて学ぶことができた。 SQLは他の講座で学んだことがあったので、少しだけ知識が繋がったように感じた。
0
hiroshi-srkr
経営・経営企画
用語として聞いたことがあったが、MapReduceとHadoop MapReduceの違いや、Sparkとの使い分けの場面などあまりイメージできていなかったが今回の講座で理解する事が出来た。
0
kesato
販売・サービス・事務
データ分析には、目的ごとに、適切なツールを使うことが必要となるため、それぞれの得意とすることを理解しておく
0
test_test___
メーカー技術・研究・開発
データ処理のツールが学べた。
0
nemurikuma
IT・WEB・エンジニア
実用イメージはまだ湧かないが、Tableauなど実際に動かすことからはいじめたい。
0
hararin-kobo
金融・不動産 関連職
なんとなく、何を使うか、分かった気がします。
0
rayf
建設・土木 関連職
今後、AIを活用する上でもDBの知識は重要だと感じた。
0
stani
専門職
この講座はデータサイエンスの紹介だと思うが、位置づけがはっきりしない。
0
samsamissamu
金融・不動産 関連職
データ分析の基礎とツールについて理解できた。
0
w_axl
メーカー技術・研究・開発
概要の理解も ままならないです・・・
この機会に 学習していきたいと思います
0
makidayo
IT・WEB・エンジニア
各ツールによって得意不得意があるので、いくつか使い分けることで効率がいいことが理解できた。なんで何個もあるのかなと思っていた疑問が解消できました。
0
tono24
経営・経営企画
データ解析を行うためのツールがどういうものがあるのか理解できました。
0
akku
マーケティング
hadoopについては聞いたことはあるが、どういったものかは知らなかったので今回の説明を聞けてよかった。なんとなくのメリットとデメリットもあったので、イメージができてよかった。
0
yoshikouc
販売・サービス・事務
用途によって使い分けが大切、それぞれの弱点を把握して選択することが大切だとわかりました
0
hi-std
IT・WEB・エンジニア
データ解析を行うためのツールの特徴が理解できた。
0
k_k_ai
メーカー技術・研究・開発
普段意識しないデータの処理過程が良く理解できました。
0
temp_at
IT・WEB・エンジニア
HadoopやSparkは言葉を聞いたことがある、程度だったので内容を知ることが出来てよかった。SQLは別でまた学び直したい。
0
kiyohide-goto
販売・サービス・事務
普段何気なく使用していたツール類について理解を深めることがでた
0
napple0902
経理・財務
ソフトウェアてなんですか
0
ken222
営業
顧客にデータ利活用システム導入を提案する際の基礎知識として活用したい。
0
vegitaberu
人事・労務・法務
データ処理の技術は、ブラックボックスと考えがちです(今もそう考えたいという金地はあります)が、そうとばかりも言ってられないことが認識できました。詳しくわからなくても、ポイントを把握しておくことにより、専門の技術者と話せるレベルに達することが大切なのだろうと思いました。そのためのイメージだけはできた気がします、
0
choko0504
メーカー技術・研究・開発
データ処理の種々のツールについて知ることができよかった。
実務で利用できることがあれば利用したい。
0
naomatsubara
営業
聞いたことがある単語が頭の中でつながった。
0
hnaka
IT・WEB・エンジニア
Hadoop、Sparkがどのようなものか少し理解できた。用途、コストに合わせて使い分けることが大切。
現時点ですぐに使う用途はないが、今後データ分析を行う際のフック情報(とっつきとなる情報)になると思う。
0
512177
資材・購買・物流
データ処理技術を学んでいくことも重要
0
kazumi_100pot
金融・不動産 関連職
Hadoop、MapReduce、Sparkといった分散ファイルについては、違いが分かる程度に復習しておきたいと思います。
0
shigeki_f
メーカー技術・研究・開発
データ解析を行うためのツールがどういうものがあるのか理解できました。
0
ken175
メーカー技術・研究・開発
データ処理の内容によって、使用するツールが異なることを体系的に学ぶことができた。
ソフトウェア担当者とより深い議論が出来るよう、学習を進めたいと思う。
0
y-td
営業
仕事で利用する機会が増えてきたので理解を深めれた。
0
mai_i_t
金融・不動産 関連職
スパークは機械学習に向いており、ハドゥープはメモリ以上の容量が必要な場合に向いている。
0
grateful
専門職
普段、使用しているPOWER BI、KIツールなどの基礎を学べたと思います。
0
zyuroku
IT・WEB・エンジニア
データ処理技術、特にHadoopとSparkの違いがよく理解できた。
0