データ収集・蓄積の技術／データサイエンス入門
このシリーズでは、スキルアップAI株式会社の「データサイエンティスト基礎講座」より、ビジネスパーソンが知っておくべき内容を抜粋してお送りします。データサイエンティスト検定™ リテラシーレベルにも対応した内容となっています。 スキルアップAIは、入門、データ分析、AIエンジニア基礎、ビジネス、クラウド、AIエンジニア応用といったカテゴリで様々な講座を用意しています。 スキルアップAI株式会社 https://www.skillupai.com/open/
会員限定
より理解を深め、他のユーザーとつながりましょう。
75人の振り返り
matute
IT・WEB・エンジニア
移動平均等でトレンドを見極める方法を学んだ。また自然言語処理では言語を理解するための形態素解析、係り受け解析の手法を学んだ。いずれも時系列データやアンケート等の分析に利用できると思う
ken222
営業
自然言語処理は最近大きく発展した処理なのでしっかり理解したい。
hirano_rikiya
専門職
時系列分析については、品質管理の考え方と同じである。また、自然言語については、フローチャートの流れに沿わせて考えればよいと思いました。
madogiwazoku
その他
難しいです、難しくてはげそうです。
masato_86
専門職
業務に生かせると思います。
kyo1227
営業
自然言語処理におけるテキストマイニングや感情分析の具体例に触れることができました。この知識を実際のビジネスシーンに活かしていきたいです。
temp_at
IT・WEB・エンジニア
自然言語処理は形態素解析など少し触れたことはあるが、まだまだ普通に使うには難しい印象がある。
toshi-iwai
経理・財務
AI学習に関する用語がたくさん出てきたので復習して理解できるようにします。
yoshikouc
販売・サービス・事務
時系列分析は必須の内容だと思う、今後解析に必ず並列させてデータを見ていくのだと思います
takumi_1453
経営・経営企画
教師あり学習、教師なし学習、強化学習と今回出てきた時系列分析・自然言語処理との関係がよく分からないが、前述三手法と独立に発展する機械学習の技術領域ということでいいのかな？開発ツール・エンジンも異なるようだし。。。
【１】時系列分析
①時系列分析とは
・ある現象の時間的な変動を捉えるために
時系列データを分析すること
・将来の変動を予測することができる
・タスクの例
株価予測
為替レート予測
気温予測
商品の需要予測
マーケティング施策の効果検証
センサデータを用いた異常検知
システムログを用いた不正検知
②時系列データの可視化
・時系列折れ線グラフ
→時間ごとのデータ増減を可視化
・時系列棒グラフ
→カテゴリ別の時間ごとのデータ増減を可視化
③時系列データの特徴
・ノイズ
→分析に必要とされない情報
→低周波数成分として観測されることが多い
・周期性
→ある傾向が一定時間ごとに繰り返され
・トレンド
→時系列データの長期的変動
→移動平均を算出することで、抽出できることが多い
（例:株価実測値→→→上昇トレンド）
④移動平均
・時系列データを平滑化する
・時系列データに対して、区間を移動させながら平均する
・移動平均の種類
・単純移動平均
・中央移動平均：該当時刻とその前後の時刻を使う
・後方移動平均：該当時刻とそれ以前の時刻を使う
・前方移動平均：該当時刻とそれ以降の時刻を使う
・指数平滑移動平均
・遠い過去の値よりも直近の値を重視する
【２】自然言語処理
①自然言語処理とは
・人間が日常的にコミュニケーションに用いている言語を自然言語と呼び、自然言語を対象とする処理のことを自然言語処理という
・自然言語以外の言語の例
・Pythonなどのプログラミング言語
・エスペラントのような人工言語
②自然言語処理における典型的なタスク
・トピック抽出
（例）ある記事からニュース、政治、経済などのトピックを抽出する
・文章分類
（例）似ている記事をグルーピングする
・文章要約
（例）ある記事の内容を理解し100文字で要約する
・機械翻訳
（例）日本語を英語に翻訳する
・文章生成
（例）全く新しい小説を生成する
・質問応答
（例）ある質問文に対する回答文を生成する
・対話
（例）チャットボット
・テキストマイニング
（例）共起ネットワーク
→ 文章中に出現する単語の出現パターンが似たものを線で結んだ図。出現数が多いほど大きく、共起の程度が強い程太い線で表示される
（例）ワードクラウド
→ スコアが高い単語を複数選び、その値に応じた大きさで図示する。品詞を色で識別する
・感情分析
（例）入力された文章の感情、温度感を分析
・固有表現抽出
（例）ある文章から地名・人名・組織名などの固有表現を抽出する
③自然言語処理における前処理
・基本的な前処理
・不要文字列の除去、置換
・正規化処理（半角・全角カナ、ひらがな、漢字→→全角カナに統一）
・名寄せ
・ストップワードの除去
・一般的で役に立たない単語などを除去すること
・例：ワードクラウドを作る場合、「は」「です」「を」は役に立たないので除去する
・形態素解析（後述）
・係り受け解析（後述）
④形態素解析
・文を形態素（単語）に分割し、各形態素の属性（品詞など）を判定すること
・代表的なツール
・MeCab
・最も一般的な形態素解析ツール
・言語や辞書に依存しない汎用的な設計
・JUMAN＋＋
・MeCabに比べ、より細かい意味分類（同じ語でも意味の違いを考慮した分類）を使用
・処理に時間がかかるが精度が高い（＝より正確に形態素を分解可能）
・Sudachi
・専門外の人にも使いやすい設計
⑤係り受け解析
・文を文節に分けて、それぞれの文節の関係を調べること
・係り受け解析エンジンの例
・UniDic2UD
・GINZA
shin_yako
販売・サービス・事務
参考になりました。仕事での活用を考えます
grateful
専門職
時系列分析を学びました。
mutame
その他
時系列処理や自然言語処理の概要を知ることができた。
70sp1208
その他
自然言語処理と聞くと難しく感じたが、聞いていると小学校、中学校の国語の文法が活用されていることを知った。今回学んだ時系列分析も含めて、勉強していくと興味深いものがある。
e_co
販売・サービス・事務
移動平均も自然言語処理も、馴染みのあるものでしたが、整理出来て良かったです。
特に自然言語処理は理数系というより文系の要素があり、多面的な視点が大事だと再認識しました。
ta-mo-
IT・WEB・エンジニア
時系列分析、自然言語処理について、概要が理解できた。 業務に深く関連しそうなのは、時系列分析である。
ただ、過去データを元に分析するので、やはり他因子が関わると予測が難しい。
h-kozawa
メーカー技術・研究・開発
直近のシステム導入検討時、形態素解析について課題となっていたので、丁度よいインプットを得られました。
tsukamotoya
営業
自然言語処理は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野であることがわかりました。業務に活かせるよう考えていきます。
hi-std
IT・WEB・エンジニア
時系列分析・自然言語処理を学べた。
pinguino
販売・サービス・事務
テキストマイニングに関心があるので、さらに実践的な内容を学びたい。
sakurai_shingo
人事・労務・法務
業務に生かせると思います。
myu-tan
コンサルタント
テキストマイニングは以前かかわったことがあるので理解しやすく復習になった。
tnema
IT・WEB・エンジニア
自動翻訳などは非常に身近な存在になっていますし、ZOOM等のミーティングアプリでも文字起こしが今回の内容に該当すると思われます。機械翻訳が既に人間社会で活躍している事を考えると早急に学習する価値がある事を認識させられます。
akiraooe
専門職
時系列分析・自然言語処理による機械学習の基礎を学ぶことが出来た。紹介頂いた形態素解析ツール、係り受け解析エンジンについて調べて理解を深めたい。
takeshita_ta
営業
時系列分析を活用して、通話量の予測やピーク時間の特定が可能である。自然言語処理により、顧客の問い合わせ内容を自動解析し、迅速かつ的確な対応が期待できる。
tadashiokamoto
専門職
活用できるようつとめます
imori_
マーケティング
難しくてよくわかりませんでした。今はまず、考え方だけ覚えておきたいと思います。
asakusajun
営業
現役時代には無かった新しい研修を楽しみながら、
学習しています。
aquico52
IT・WEB・エンジニア
時系列分析について、よく分かった。自然言語処理については、数年前関わっていたが、あまり変わっていない印象を受けた。
warashina12345
その他
大変勉強になりました
hrkudo
IT・WEB・エンジニア
自然言語処理について理解できた。
mori_1991
メーカー技術・研究・開発
自然言語処理の流れを学習することができた。
xiu14
その他
時系列分析と自然言語処理は、現在の業務に直結してくる内容につき
非常に興味深く学ぶことができました。
gobau
営業
時系列分析、自然言語処理について理解が深まった。
homma_nanami
販売・サービス・事務
時系列分析・自然言語処理を学びましたが、難しかったです。
inagaki_tomomi1
販売・サービス・事務
復習により理解致します。
takemaru0530
販売・サービス・事務
移動平均に前方、後方があったことは、はじめてしりました。そのあたりは、興味があるため、詳しく調べて業務に活かしたいです。
cs1960
販売・サービス・事務
大変、勉強になりました。
aokitaka-tci
その他
時系列分析や自然言語処理の概要を理解した、これらは実際によく関わる内容だが、移動平均・形態素解析・係り受け解析などのキーワードは理解が不足しているので深堀しておく
iso_ken
専門職
過去情報の有効活用の観点から自然言語処理を用いて、関連しそうな文書を選び出すなどに使用したい。
hfkd156036
金融・不動産 関連職
自然言語処理について理解を深めることができた。
k--g--
その他
自然言語処理について理解はできたが、作業はツールにお任せすることになると思う。
vz3000
IT・WEB・エンジニア
時系列処理や自然言語処理の概要を知ることができた。
shin130
その他
時系列分析、自然言語処理の考え方を理解/確認することができた。
デジタル処理の基礎的な考え方になり、理解が進みました。
kenjiro_fujita
コンサルタント
自然言語処理の用語や時系列分析の用語が分かった。
yasupii
その他
資源言語処理について、基本的な解析のやり方を学びました。クラウド分析など、解析結果に関して、それを見た人がどのような読み取り方をするのかにより活用の仕方が変わるのだろうと思います。やはり最終的にはヒトの力が必要だと分かりました。
choko0504
メーカー技術・研究・開発
自然言語処理は、日常業務で利用する機会があると考えられるのでいつか利用したい。
knonaka
専門職
自然言語処理は、長文の業務報告書の要約に活用できる。
また、時系列処理は、社内で利用されているツール使用予測に活用できる。
sesesese
その他
基礎講座の一部です
にしても、説明がざつすぎないでしょか？
何の目的のために使われる分析なのかわからないと、手法の名前を羅列されてもあまり意味を感じません。
user-name01
販売・サービス・事務
言語処理の基本的なことを学んだ。
mainichi365
IT・WEB・エンジニア
種類はわかりました。
stani
専門職
データを分析しやすいように加工することが重要である。
k-akira
営業
時系列分析の概要はわかったが、具体的な事例での説明が欲しかった
naoki_sasano
メーカー技術・研究・開発
時系列データのトレンドを見える化するための方法として、単純移動平均、指数平滑移動平均があることということを初めて知った。指数平滑移動平均についての具体例の説明がなかったので、別途詳細を調べようと思った。
watanabe-tat
専門職
カスタマージャニーには感情を記述する。対象ペルソナの感情を同じクラスターのクチコミを自然言語処理、感情AI分析で可視化して記述して、運用後のマーケティング評価にも活用できる可能性がある。
k_yuna
販売・サービス・事務
大変勉強になりました。
t_htn
経営・経営企画
どこまで上手く活用できるか心配ですが、
会議や打合せの内容について、文章要約することに活用したいと考えています。
suzuqp
IT・WEB・エンジニア
時系列処理や自然言語処理の概要を知ることができた。
fukashi_uehara
メーカー技術・研究・開発
時系列分析・自然言語処理の概要を理解する事が出来ました。
kazumi_100pot
金融・不動産 関連職
自然言語処理におけるテキストマイニングや感情分析の具体例に触れることができました。この知識を実際のビジネスシーンに活かしていきたいです。
inyourmind
建設・土木 関連職
LLMは便利だが、実用レベルのものを作るのは難しいと思う。
i_mura888
金融・不動産 関連職
機械学習に関する用語を理解出来ました。
test_test___
メーカー技術・研究・開発
移動平均の計算方法と自然言語処理の種類を学んだ。
michiyomichiyo
その他
テレオペの業務をこれを使っていくことでどのような結果が生まれるのか見てみたいと思った
taka1962
販売・サービス・事務
業務上の打ち合わせでは、専任の記録係がいないので、AIで会話の内容を議事録にする機能があれば便利だと思います。そのようなAIはありますか？
k_k_ai
メーカー技術・研究・開発
自然言語処理については漠然としたイメージしかなかったが、動画をみることで、
具体的な機能の集まりで作られていることが分かった。
逆に言えば、なんでもできるわけではなく、その機能しか果たせないという事が良く理解できた。
makidayo
IT・WEB・エンジニア
自然言語処理の種類についてまとめて説明してもらえたので、整理できてよかった。
pomu77
IT・WEB・エンジニア
トレンドの成分を抽出するために使用する移動平均法について理解した。また自然言語処理の概要についても理解できた。
vegitaberu
人事・労務・法務
特に、自然言語処理について、理解が深まったと思います。自然言語処理は、使い道が色々考えられ、また、感が手もいるので、まずは、少しでも、理解して使えるようにしたいと思います。
tsuyoshi_asano
経営・経営企画
自然言語の文章生成パラメータを作る上で、訓練データを形態素解析や係り受け解析し、単語の登場箇所や繋がり方を見つけやすくできるとパラメータの重みづけが効率的に更新できますね。それにしても、AI様に動いて頂くためのデータの下処理って大変そう。
shirojpn
メーカー技術・研究・開発
時系列処理、自然言語処理の概要を理解する事が出来た。
詳細については、必要により深堀していきたい。
hr-sakai
その他
時系列分析、自然言語についてわかりやすく理解できました。今後試します。
take515
メーカー技術・研究・開発
時系列分析、自然言語処理の基本的事項を確認した。
miura_ka
販売・サービス・事務
手法や種類について学ぶことができた。ただ、どういった場合に用いる等は腹落ちまでもう少し考えてみる必要がある。
512177
資材・購買・物流
時系列分析・自然言語処理は、ファクトからの予測をする内容と理解しました。