キャンペーン終了まで

割引情報をチェック!

すべての動画をフルで見よう!

初回登録なら7日間無料! いつでも解約OK

いますぐ無料体験へ

データ処理の技術/データサイエンス入門

  • 0h 15m (1sections)
  • テクノベート (テクノロジーとイノベーション)
  • 実践知

このコースについて

このシリーズでは、スキルアップAI株式会社の「データサイエンティスト基礎講座」より、ビジネスパーソンが知っておくべき内容を抜粋してお送りします。データサイエンティスト検定™ リテラシーレベルにも対応した内容となっています。

スキルアップAIは、入門、データ分析、AIエンジニア基礎、ビジネス、クラウド、AIエンジニア応用といったカテゴリで様々な講座を用意しています。

スキルアップAI株式会社
https://www.skillupai.com/open/

コース内容

  • データ処理の技術

より理解を深め、他のユーザーとつながりましょう。

100+人の振り返り

  • iso_ken

    専門職

    データ処理技術の現在使用されているツールの概要がわかった
    システム開発などでこれらのことを理解しながら進めていけば、技術者との意思疎通もスムーズになる

    2023-11-19
  • hfkd156036

    金融・不動産 関連職

    データ解析を行うためのツールがどういうものか理解できた。

    2024-02-27
  • matute

    IT・WEB・エンジニア

    データ処理を行う場合、RやPythonなどどの言語で行うか、データを格納・処理する場合、Hdoopを選ぶかsparkを選ぶかなど、用途によって使い分けが必要なことがわかった。

    2023-11-27
  • shirojpn

    メーカー技術・研究・開発

    Rは初めて聞いた。Pythonはよく目にするが、まだ実際に使用したことはない。
    Hadoopも、初めて聞いた。興味が湧いたのでもう少し詳しく調べてみようと思う。

    2024-02-29
  • yokoishida

    コンサルタント

    メモリについて、日ごろから疑問だったので、解説があって良かったです。

    2024-08-04
  • muraya_ma

    IT・WEB・エンジニア

    Hadoop・sparkがどのようなものかを少し理解できた。
    個人的になじみのあるのはRDBMSで、まだ具体的にどういったシーンで活用できるかはをイメージできていないので
    分散処理フレームワーク含めて、データ処理の技術についてもう少し調べてみよう思います。

    2024-08-18
  • 7031

    経営・経営企画

    データ解析を行うためのツールがどういうものがあるのか理解できました。

    2023-11-03
  • pinguino

    販売・サービス・事務

    各技術について整理して理解できた。

    2024-08-12
  • dteraoka

    販売・サービス・事務

    実際のデータ処理を行う際の言語、ツールについて概要を知る事が出来た。また格納・処理においては通常のPCでの処理イメージと近似している点があり、理解し易かった。

    2023-12-05
  • wada00

    その他

    データ処理をおこなう際の用途や使い分けを理解できた

    2023-12-27
  • f_tachi

    販売・サービス・事務

    BIツールでの活用に役立てる

    2024-02-26
  • kenjiro_fujita

    コンサルタント

    データベースからデータを取り出し、分析をするにしても、データの規模や頻度、マシンスペックなどにより、最適な選択肢が異なることが分かった。自社のデータ分析では何がどこに利用されているのか確認していきたい。

    2023-10-31
  • staka3

    その他

    使用ツールやデータ解析の流れがよく分かった

    2024-10-28
  • shin_yako

    販売・サービス・事務

    参考なりました。実務の活用を考えます。

    2024-09-28
  • naoki_sasano

    メーカー技術・研究・開発

    まだ、導入の部分の説明なので、最終的に何が行えるのか、はっきりしない。

    2023-10-07
  • montana16

    経営・経営企画

    必要なツールを理解。
    いまの業務の中で何が活用されてるかを把握する

    2024-09-01
  • vz3000

    IT・WEB・エンジニア

    データ処理を行う際の言語(RやPython)の特徴、データ分析する場合のHdoopとsparkの特徴が理解できた。

    2023-12-24
  • a-k1ra

    IT・WEB・エンジニア

    HadoopとSparkのところの説明がわかりやすかった

    2023-10-07
  • 1000-

    マーケティング

    分散処理の特性がわかってよかった

    2023-10-23
  • kennalc

    営業

    監査のデータ分析に使えるかと思うが、Rとパイソンの比較、正直、分かる人向の説明じゃないか?もう少し踏み込んで解説してほしい。浅い授業だった。

    2024-08-27
  • takeo-12345

    その他

    データ処理技術の現在使用されているツールの概要がわかった

    2024-01-11
  • shun0708

    その他

    データ量によって使い分けをおこない実施するのがよいと感じました

    2024-01-16
  • acmon

    メーカー技術・研究・開発

    ツール色々あるなぁ。くらいで理解を止めておく。

    2024-11-05
  • t_oguogu1979

    コンサルタント

    データ処理の特性やシーンに合わせて利用技術を選択する事が重要

    2024-04-08
  • n_koba

    メーカー技術・研究・開発

    R言語はデータ解析に特化しているので記述が簡単。Pythonはライブラリが充実している。

    2023-10-03
  • 70sp1208

    その他

    馴染みのない用語が多くあり、難しかった。もう一度動画を視聴し復習していきたい。

    2024-08-29
  • nomu_ra

    IT・WEB・エンジニア

    データ処理にはどのようなツールが使われているのか(Apache SparkやHadoopなど)を学べた

    2024-05-30
  • kk1000

    販売・サービス・事務

    Python、BIツール、SQLはよく聞くが他の技術は初めて聞きました。

    2024-04-14
  • yamamoto_kntk

    その他

    実際にデータ処理を進めるにあたり、利用する仕組みやプログラムの選択するための判断に利用できると思いました

    2024-02-26
  • k-takahashi0719

    IT・WEB・エンジニア

    Hdoopとsparkの強みと弱みについて理解できた

    2024-07-25
  • yk-tnk

    その他

    データ解析を行うためのツールがどういうものか理解できた。

    2024-04-02
  • jout009

    メーカー技術・研究・開発

    データ処理・分析にどのようなツール、フレームワークが使われるのか、概要を知ることができた。何から手をつければ良いのか知らなかったので、導入としては助かった。

    2023-11-22
  • emi88

    その他

    Hadoop MapReduce ・Apache Sparkという2大ビッグデータ処理フレームワークを学んだ。それぞれのプロコンを比較しながら、扱うデータの特徴に合わせ、適当な処理方法を選択することが重要と理解した。

    2024-06-12
  • madogiwazoku

    その他

    素人には難しいです。難しくてはげそうです。

    2024-05-02
  • user-name01

    販売・サービス・事務

    データ処理ソフトの特徴や適用する業務への向き不向きを学んだ。

    2023-12-02
  • hyde6130k

    その他

    Hadoop・sparkについては初めて認識した。まだ、十分に理解できていいないので振返りながら、知識としての定着化をはかっていきたい。

    2024-11-04
  • keotsuka

    営業

    HadoopとReduceの違いが分かった

    2024-10-21
  • hr-sakai

    その他

    データの使い分け意味が把握できて今後の考え方がわかった。

    2024-03-29
  • ds_tux

    メーカー技術・研究・開発

    専門用語、多いなあ。忘れない方法はあるのかしら。

    2023-12-14
  • michiyomichiyo

    その他

    使い分けるために何をえらぶのかを学んだ

    2024-06-04
  • ymck_23m

    販売・サービス・事務

    Python、SQL、HadoopはDS検定の勉強で何度も目や耳にする言葉だけど、具体的に何か改めて学び直せた。特にHadoopは一人でテキストを読むだけであれば理解しきれなかったと思う。講師の方からの説明がわかりやすく、Map reduce、Sparkについて理解できた。

    2023-10-13
  • taka1962

    販売・サービス・事務

    自分は実際にプログラムを開発することはないが、この講座でいくつかのプログラム言語の特性を知ることができて、アプリケーションを利用する際に役立つことになると思います。

    2024-06-19
  • atsushi_komaki

    金融・不動産 関連職

    万能なものは無いと分かる。
    目的や手段に合わせたものを選択できる、検討できる知識身につけてぎょうむに活用できるようにしたい。

    2024-06-27
  • e_co

    販売・サービス・事務

    概要や用途が理解出来ました。
    何を選択するのが良いのか判断するためにも、理解を深めたい。

    2024-09-26
  • inyourmind

    建設・土木 関連職

    Hadoopなどの用語を知ることができたので、展示会などでの情報調査のときに役立つ。

    2024-01-04
  • hiromatsui

    マーケティング

    様々なデータ分析ツールの紹介があり、今まで聞いたことがあるだけで概要が分からなかったものが認識できた。

    2023-12-13
  • mogyan

    IT・WEB・エンジニア

    データサイエンスの表面的な感触を得ることが出来ました。これ以上は、実際に具体的に学ぶ必要があると思いました。
    Rとpython
    BIツール:分析ツール。Tableauとか
    Apache Hadoop:ビッグデータを分散処理するソフトウェア集合

    2024-03-24
  • kitano_wataru

    IT・WEB・エンジニア

    tableau prepで編集しているようなデータも、大量データであればhadoopで編集しないとダメなんだろうなと思った。ただ、現状ではそこまでのビッグデータを扱ったことないため、選択肢として覚えておくにとどまる。

    2024-05-22
  • yasupii

    その他

    RとPythonのそれぞれの特徴が分かりました。近年はPythonが使われている傾向があることは知っていましたが、その理由がよく分かりました。

    2023-11-28
  • watanabe-tat

    専門職

    Hadoop はデータを外部ストレージに保存して処理する。 Spark はデータを内部メモリに保存して処理する。このため、 Hadoop はデータをバッチで処理することに適していて、 Spark はデータをリアルタイムで処理することに向いている。

    2023-09-29
  • senna4521

    営業

    次のコンテンツを視聴し、知識をつけていきたい

    2024-11-13
  • onihei99

    専門職

    まだイメージがわかない。 本講座は私には過剰だったかもしれない。

    2023-12-28
  • takumi_1453

    経営・経営企画

    データ処理の技術
    ・RとPython
    ・BIツール
    ・SQL
    ・Apache Hadoop とApache Spark

    ■RとPython
    ・R
     習得難度→データ分析特化、記述容易
     開発環境→RStudio
     情報量→日本語書籍やサンプルコード多
     統計ライブラリ→多様な処理が可能
     機械学習ライブラリ→一通り揃う
    ・Python
     習得難度→汎用言語のためプログラミングの基本理解が必要
     開発環境→Jupyter Notebook
     情報量→日本語書籍やサンプルコード多
     統計ライブラリ→Rに比べ機能少ない
     機械学習ライブラリ→Rより充実
     備考→データ分析以外のライブラリ充実

    ■BIツール
    ・ビジネスインテリジェンス
    ・CSVデータやDBと連携し、単純なデータ処理や比較的綺麗なレポート作成を簡易に実施できる
    ・TableauやLookerなどが有名

    ■SQL
    ・DBに対する命令を記述する言語
     ・主にRDBで用いられる
    ・命令はクエリと呼ばれる
     1 SQLを用いてクエリを記述
     2 クエリが発行される
     3 結果が転送される

    ■Apache Hadoop とApache Spark
    ・ビッグデータを分散処理するためのソフトウェアの集合
     例 昨日の運営メディアの閲覧ログを集計し、ビュー数やクリック数を算出する
    ・主要コンポーネント
     ・Hadoop Distributed File System(HDFS)
     ・Hadoop MapReduce
     ・Hadoop Common(上2つのコンポーネントを利用するためのソフトウェア)

     ◆HDFS
      ・分散ファイルシステム
      ・データを複数台のコンピュータ上に分散保存し管理する
     ◆Hadoopの限界
      ✅️ディスクIO(HDD等のストレージへの読み書き)が頻発
       ・ディスクIOはメモリ参照より低速
       ・参考)MapReduceの結果はHDFSに都度書き込む
      ✅️Hadoopは同じデータに対して異なる処理を加えるような操作には不向き
       ・Hadoopは大規模な定期実行処理のためのソフトウェアという位置付け
       ・例)深夜にHadoopを用いて全メディア記事のビュー数やクリック数を集計しておき、翌日にBIツール等で可視化してレポーティング
      ✅️これらの課題を解決するのがApache Spark

     ◆Apache Spark
      ✅️メモリをメインの処理基盤としたデータ分散処理フレームワーク
      ✅️RDDと呼ばれるSpark特有のデータ形式を用いる
       ・RDDをメモリにキャッシュする仕組みを搭載→HDFSへのアクセスが減少
      ✅️データへのアクセスが速いので、アドホック分析や機械学習と相性が良い

     ◆Sparkの限界
      ✅️Sparkはメモリに乗り切れないデータは処理できない
       ・Sparkには高メモリマシンが必要、コスト増加の懸念
       ・Hadoopクラスタで利用するコンピュータは高スペックでなくても良い
       ・Hadoopは処理したデータを一旦HDFSに書き出すことでメモリを節約しているともいえる
      ✅️HadoopとSparkの使い分け
       ・アドホック分析→Spark
       ・メモリ以上の大規模なデータ処理→Hadoop

    2024-11-19
  • ky-takanashi

    販売・サービス・事務

    利用されているデータ分析結果の需要が多くなる、データその物が大きくなると予想される場合は、DBその物を変更しながら運用する事も重要と認識

    2024-01-30
  • suzuqp

    IT・WEB・エンジニア

    hdoopなどあまり聞きなれない、知らないものも多かった。専門用語も多かったので具体的なシーンのイメージが付きにくかった。さらに学びを進めて理解を深めたい。

    2024-05-13
  • makoke

    その他

    使うシーンを考えながら活用したいです

    2024-03-10
  • cs1960

    販売・サービス・事務

    大変、勉強になりました。

    2024-07-15
  • toshi-iwai

    経理・財務

    専門的な用語が多くなかなか頭に入ってきませんが、復習します。

    2024-10-11
  • naoyama777

    メーカー技術・研究・開発

    SQL上での命令をクエリと呼ぶ
    Hadoop
    Spark
    Hadoop vs Sparkって感じ?

    2024-04-18
  • hrkudo

    IT・WEB・エンジニア

    どのようなツールを利用して、データ処理しているかわかった。

    2024-10-31
  • kawaguchimas229

    IT・WEB・エンジニア

    hadoopの説明が難しかった

    2024-01-21
  • kyo1227

    営業

    データ解析を行うためのツールがどういうものか理解できた。

    2024-11-12
  • masato_86

    専門職

    理解が進んだと感じる

    2024-09-19
  • k-akira

    営業

    プログラミング言語とデータ処理の仕組みを体系的に理解できた。どういった分析、処理をするときはこの仕組みを利用するほうが効率的だとわかった上で実用したい。

    2023-09-17
  • ysen

    IT・WEB・エンジニア

    どのツールをどの場面で使うかの知識を得ることができた。データサイエンス検定の資格取得の一助となる講座でした。

    2023-12-12
  • tsukamotoya

    営業

    難しいですね。復習しながら取り組んでいきます

    2024-09-02
  • shin1yamanishi

    メーカー技術・研究・開発

    新しい用語が多く理解することが大変ですが頑張ります。

    2024-07-18
  • s-eguchi

    営業

    Hadoopなどの言葉は知っていましたがどのように使うのかは知りませんでした。
    基本的なことを学べてよかったです。

    2024-09-02
  • haruka-

    その他

    データ処理のツールについて学ぶことができた。 SQLは他の講座で学んだことがあったので、少しだけ知識が繋がったように感じた。

    2024-06-06
  • hiroshi-srkr

    経営・経営企画

    用語として聞いたことがあったが、MapReduceとHadoop MapReduceの違いや、Sparkとの使い分けの場面などあまりイメージできていなかったが今回の講座で理解する事が出来た。

    2023-09-28
  • kesato

    販売・サービス・事務

    データ分析には、目的ごとに、適切なツールを使うことが必要となるため、それぞれの得意とすることを理解しておく

    2024-11-15
  • test_test___

    メーカー技術・研究・開発

    データ処理のツールが学べた。

    2024-05-31
  • nemurikuma

    IT・WEB・エンジニア

    実用イメージはまだ湧かないが、Tableauなど実際に動かすことからはいじめたい。

    2024-01-08
  • hararin-kobo

    金融・不動産 関連職

    なんとなく、何を使うか、分かった気がします。

    2023-09-23
  • rayf

    建設・土木 関連職

    今後、AIを活用する上でもDBの知識は重要だと感じた。

    2024-04-15
  • stani

    専門職

    この講座はデータサイエンスの紹介だと思うが、位置づけがはっきりしない。

    2023-09-25
  • samsamissamu

    金融・不動産 関連職

    データ分析の基礎とツールについて理解できた。

    2024-05-20
  • w_axl

    メーカー技術・研究・開発

    概要の理解も ままならないです・・・
    この機会に 学習していきたいと思います

    2024-09-12
  • makidayo

    IT・WEB・エンジニア

    各ツールによって得意不得意があるので、いくつか使い分けることで効率がいいことが理解できた。なんで何個もあるのかなと思っていた疑問が解消できました。

    2024-07-28
  • tono24

    経営・経営企画

    データ解析を行うためのツールがどういうものがあるのか理解できました。

    2024-06-20
  • akku

    マーケティング

    hadoopについては聞いたことはあるが、どういったものかは知らなかったので今回の説明を聞けてよかった。なんとなくのメリットとデメリットもあったので、イメージができてよかった。

    2024-07-12
  • yoshikouc

    販売・サービス・事務

    用途によって使い分けが大切、それぞれの弱点を把握して選択することが大切だとわかりました

    2024-10-16
  • hi-std

    IT・WEB・エンジニア

    データ解析を行うためのツールの特徴が理解できた。

    2024-08-22
  • k_k_ai

    メーカー技術・研究・開発

    普段意識しないデータの処理過程が良く理解できました。

    2024-05-20
  • temp_at

    IT・WEB・エンジニア

    HadoopやSparkは言葉を聞いたことがある、程度だったので内容を知ることが出来てよかった。SQLは別でまた学び直したい。

    2024-10-16
  • kiyohide-goto

    販売・サービス・事務

    普段何気なく使用していたツール類について理解を深めることがでた

    2024-03-11
  • napple0902

    経理・財務

    ソフトウェアてなんですか

    2023-11-21
  • ken222

    営業

    顧客にデータ利活用システム導入を提案する際の基礎知識として活用したい。

    2023-12-26
  • vegitaberu

    人事・労務・法務

    データ処理の技術は、ブラックボックスと考えがちです(今もそう考えたいという金地はあります)が、そうとばかりも言ってられないことが認識できました。詳しくわからなくても、ポイントを把握しておくことにより、専門の技術者と話せるレベルに達することが大切なのだろうと思いました。そのためのイメージだけはできた気がします、

    2024-03-29
  • choko0504

    メーカー技術・研究・開発

    データ処理の種々のツールについて知ることができよかった。
    実務で利用できることがあれば利用したい。

    2023-11-05
  • naomatsubara

    営業

    聞いたことがある単語が頭の中でつながった。

    2024-07-22
  • hnaka

    IT・WEB・エンジニア

    Hadoop、Sparkがどのようなものか少し理解できた。用途、コストに合わせて使い分けることが大切。
    現時点ですぐに使う用途はないが、今後データ分析を行う際のフック情報(とっつきとなる情報)になると思う。

    2024-08-20
  • 512177

    資材・購買・物流

    データ処理技術を学んでいくことも重要

    2024-03-13
  • kazumi_100pot

    金融・不動産 関連職

    Hadoop、MapReduce、Sparkといった分散ファイルについては、違いが分かる程度に復習しておきたいと思います。

    2023-08-17
  • shigeki_f

    メーカー技術・研究・開発

    データ解析を行うためのツールがどういうものがあるのか理解できました。

    2023-10-04
  • ken175

    メーカー技術・研究・開発

    データ処理の内容によって、使用するツールが異なることを体系的に学ぶことができた。
    ソフトウェア担当者とより深い議論が出来るよう、学習を進めたいと思う。

    2023-07-25
  • y-td

    営業

    仕事で利用する機会が増えてきたので理解を深めれた。

    2024-05-11
  • mai_i_t

    金融・不動産 関連職

    スパークは機械学習に向いており、ハドゥープはメモリ以上の容量が必要な場合に向いている。

    2024-02-05
  • grateful

    専門職

    普段、使用しているPOWER BI、KIツールなどの基礎を学べたと思います。

    2024-09-25
  • zyuroku

    IT・WEB・エンジニア

    データ処理技術、特にHadoopとSparkの違いがよく理解できた。

    2024-06-30

関連動画コース

新着動画コース

10分以内の動画コース

再生回数の多い動画コース

コメントの多い動画コース

オンライン学習サービス部門 20代〜30代ビジネスパーソン334名を対象とした調査の結果 4部門で高評価達成!

7日間の無料体験を試してみよう

無料会員登録

期間内に自動更新を停止いただければ、料金は一切かかりません。