データ収集・蓄積の技術/データサイエンス入門
このシリーズでは、スキルアップAI株式会社の「データサイエンティスト基礎講座」より、ビジネスパーソンが知っておくべき内容を抜粋してお送りします。データサイエンティスト検定™ リテラシーレベルにも対応した内容となっています。 スキルアップAIは、入門、データ分析、AIエンジニア基礎、ビジネス、クラウド、AIエンジニア応用といったカテゴリで様々な講座を用意しています。 スキルアップAI株式会社 https://www.skillupai.com/open/
会員限定
より理解を深め、他のユーザーとつながりましょう。
58人の振り返り
matute
IT・WEB・エンジニア
移動平均等でトレンドを見極める方法を学んだ。また自然言語処理では言語を理解するための形態素解析、係り受け解析の手法を学んだ。いずれも時系列データやアンケート等の分析に利用できると思う
2
ken222
営業
自然言語処理は最近大きく発展した処理なのでしっかり理解したい。
1
madogiwazoku
その他
難しいです、難しくてはげそうです。
1
kazumi_100pot
金融・不動産 関連職
自然言語処理におけるテキストマイニングや感情分析の具体例に触れることができました。この知識を実際のビジネスシーンに活かしていきたいです。
0
test_test___
メーカー技術・研究・開発
移動平均の計算方法と自然言語処理の種類を学んだ。
0
shin_yako
販売・サービス・事務
参考になりました。仕事での活用を考えます
0
sakurai_shingo
人事・労務・法務
業務に生かせると思います。
0
suzuqp
IT・WEB・エンジニア
時系列処理や自然言語処理の概要を知ることができた。
0
toshi-iwai
経理・財務
AI学習に関する用語がたくさん出てきたので復習して理解できるようにします。
0
512177
資材・購買・物流
時系列分析・自然言語処理は、ファクトからの予測をする内容と理解しました。
0
miura_ka
販売・サービス・事務
手法や種類について学ぶことができた。ただ、どういった場合に用いる等は腹落ちまでもう少し考えてみる必要がある。
0
yoshikouc
販売・サービス・事務
時系列分析は必須の内容だと思う、今後解析に必ず並列させてデータを見ていくのだと思います
0
hi-std
IT・WEB・エンジニア
時系列分析・自然言語処理を学べた。
0
masato_86
専門職
業務に生かせると思います。
0
fukashi_uehara
メーカー技術・研究・開発
時系列分析・自然言語処理の概要を理解する事が出来ました。
0
ta-mo-
IT・WEB・エンジニア
時系列分析、自然言語処理について、概要が理解できた。 業務に深く関連しそうなのは、時系列分析である。
ただ、過去データを元に分析するので、やはり他因子が関わると予測が難しい。
0
takumi_1453
経営・経営企画
教師あり学習、教師なし学習、強化学習と今回出てきた時系列分析・自然言語処理との関係がよく分からないが、前述三手法と独立に発展する機械学習の技術領域ということでいいのかな?開発ツール・エンジンも異なるようだし。。。
【1】時系列分析
①時系列分析とは
・ある現象の時間的な変動を捉えるために
時系列データを分析すること
・将来の変動を予測することができる
・タスクの例
株価予測
為替レート予測
気温予測
商品の需要予測
マーケティング施策の効果検証
センサデータを用いた異常検知
システムログを用いた不正検知
②時系列データの可視化
・時系列折れ線グラフ
→時間ごとのデータ増減を可視化
・時系列棒グラフ
→カテゴリ別の時間ごとのデータ増減を可視化
③時系列データの特徴
・ノイズ
→分析に必要とされない情報
→低周波数成分として観測されることが多い
・周期性
→ある傾向が一定時間ごとに繰り返され
・トレンド
→時系列データの長期的変動
→移動平均を算出することで、抽出できることが多い
(例:株価実測値→→→上昇トレンド)
④移動平均
・時系列データを平滑化する
・時系列データに対して、区間を移動させながら平均する
・移動平均の種類
・単純移動平均
・中央移動平均:該当時刻とその前後の時刻を使う
・後方移動平均:該当時刻とそれ以前の時刻を使う
・前方移動平均:該当時刻とそれ以降の時刻を使う
・指数平滑移動平均
・遠い過去の値よりも直近の値を重視する
【2】自然言語処理
①自然言語処理とは
・人間が日常的にコミュニケーションに用いている言語を自然言語と呼び、自然言語を対象とする処理のことを自然言語処理という
・自然言語以外の言語の例
・Pythonなどのプログラミング言語
・エスペラントのような人工言語
②自然言語処理における典型的なタスク
・トピック抽出
(例)ある記事からニュース、政治、経済などのトピックを抽出する
・文章分類
(例)似ている記事をグルーピングする
・文章要約
(例)ある記事の内容を理解し100文字で要約する
・機械翻訳
(例)日本語を英語に翻訳する
・文章生成
(例)全く新しい小説を生成する
・質問応答
(例)ある質問文に対する回答文を生成する
・対話
(例)チャットボット
・テキストマイニング
(例)共起ネットワーク
→ 文章中に出現する単語の出現パターンが似たものを線で結んだ図。出現数が多いほど大きく、共起の程度が強い程太い線で表示される
(例)ワードクラウド
→ スコアが高い単語を複数選び、その値に応じた大きさで図示する。品詞を色で識別する
・感情分析
(例)入力された文章の感情、温度感を分析
・固有表現抽出
(例)ある文章から地名・人名・組織名などの固有表現を抽出する
③自然言語処理における前処理
・基本的な前処理
・不要文字列の除去、置換
・正規化処理(半角・全角カナ、ひらがな、漢字→→全角カナに統一)
・名寄せ
・ストップワードの除去
・一般的で役に立たない単語などを除去すること
・例:ワードクラウドを作る場合、「は」「です」「を」は役に立たないので除去する
・形態素解析(後述)
・係り受け解析(後述)
④形態素解析
・文を形態素(単語)に分割し、各形態素の属性(品詞など)を判定すること
・代表的なツール
・MeCab
・最も一般的な形態素解析ツール
・言語や辞書に依存しない汎用的な設計
・JUMAN++
・MeCabに比べ、より細かい意味分類(同じ語でも意味の違いを考慮した分類)を使用
・処理に時間がかかるが精度が高い(=より正確に形態素を分解可能)
・Sudachi
・専門外の人にも使いやすい設計
⑤係り受け解析
・文を文節に分けて、それぞれの文節の関係を調べること
・係り受け解析エンジンの例
・UniDic2UD
・GINZA
0
kyo1227
営業
自然言語処理におけるテキストマイニングや感情分析の具体例に触れることができました。この知識を実際のビジネスシーンに活かしていきたいです。
0
vz3000
IT・WEB・エンジニア
時系列処理や自然言語処理の概要を知ることができた。
0
kenjiro_fujita
コンサルタント
自然言語処理の用語や時系列分析の用語が分かった。
0
user-name01
販売・サービス・事務
言語処理の基本的なことを学んだ。
0
vegitaberu
人事・労務・法務
特に、自然言語処理について、理解が深まったと思います。自然言語処理は、使い道が色々考えられ、また、感が手もいるので、まずは、少しでも、理解して使えるようにしたいと思います。
0
shirojpn
メーカー技術・研究・開発
時系列処理、自然言語処理の概要を理解する事が出来た。
詳細については、必要により深堀していきたい。
0
h-kozawa
メーカー技術・研究・開発
直近のシステム導入検討時、形態素解析について課題となっていたので、丁度よいインプットを得られました。
0
inyourmind
建設・土木 関連職
LLMは便利だが、実用レベルのものを作るのは難しいと思う。
0
iso_ken
専門職
過去情報の有効活用の観点から自然言語処理を用いて、関連しそうな文書を選び出すなどに使用したい。
0
makidayo
IT・WEB・エンジニア
自然言語処理の種類についてまとめて説明してもらえたので、整理できてよかった。
0
michiyomichiyo
その他
テレオペの業務をこれを使っていくことでどのような結果が生まれるのか見てみたいと思った
0
70sp1208
その他
自然言語処理と聞くと難しく感じたが、聞いていると小学校、中学校の国語の文法が活用されていることを知った。今回学んだ時系列分析も含めて、勉強していくと興味深いものがある。
0
i_mura888
金融・不動産 関連職
機械学習に関する用語を理解出来ました。
0
sesesese
その他
基礎講座の一部です
にしても、説明がざつすぎないでしょか?
何の目的のために使われる分析なのかわからないと、手法の名前を羅列されてもあまり意味を感じません。
0
temp_at
IT・WEB・エンジニア
自然言語処理は形態素解析など少し触れたことはあるが、まだまだ普通に使うには難しい印象がある。
0
tsukamotoya
営業
自然言語処理は、人間が日常的に使っている自然言語をコンピュータに処理させる一連の技術であり、人工知能と言語学の一分野であることがわかりました。業務に活かせるよう考えていきます。
0
grateful
専門職
時系列分析を学びました。
0
k-akira
営業
時系列分析の概要はわかったが、具体的な事例での説明が欲しかった
0
pomu77
IT・WEB・エンジニア
トレンドの成分を抽出するために使用する移動平均法について理解した。また自然言語処理の概要についても理解できた。
0
cs1960
販売・サービス・事務
大変、勉強になりました。
0
tsuyoshi_asano
経営・経営企画
自然言語の文章生成パラメータを作る上で、訓練データを形態素解析や係り受け解析し、単語の登場箇所や繋がり方を見つけやすくできるとパラメータの重みづけが効率的に更新できますね。それにしても、AI様に動いて頂くためのデータの下処理って大変そう。
0
k_k_ai
メーカー技術・研究・開発
自然言語処理については漠然としたイメージしかなかったが、動画をみることで、
具体的な機能の集まりで作られていることが分かった。
逆に言えば、なんでもできるわけではなく、その機能しか果たせないという事が良く理解できた。
0
aokitaka-tci
その他
時系列分析や自然言語処理の概要を理解した、これらは実際によく関わる内容だが、移動平均・形態素解析・係り受け解析などのキーワードは理解が不足しているので深堀しておく
0
k--g--
その他
自然言語処理について理解はできたが、作業はツールにお任せすることになると思う。
0
taka1962
販売・サービス・事務
業務上の打ち合わせでは、専任の記録係がいないので、AIで会話の内容を議事録にする機能があれば便利だと思います。そのようなAIはありますか?
0
knonaka
専門職
自然言語処理は、長文の業務報告書の要約に活用できる。
また、時系列処理は、社内で利用されているツール使用予測に活用できる。
0
yasupii
その他
資源言語処理について、基本的な解析のやり方を学びました。クラウド分析など、解析結果に関して、それを見た人がどのような読み取り方をするのかにより活用の仕方が変わるのだろうと思います。やはり最終的にはヒトの力が必要だと分かりました。
0
mainichi365
IT・WEB・エンジニア
種類はわかりました。
0
k_yuna
販売・サービス・事務
大変勉強になりました。
0
take515
メーカー技術・研究・開発
時系列分析、自然言語処理の基本的事項を確認した。
0
naoki_sasano
メーカー技術・研究・開発
時系列データのトレンドを見える化するための方法として、単純移動平均、指数平滑移動平均があることということを初めて知った。指数平滑移動平均についての具体例の説明がなかったので、別途詳細を調べようと思った。
0
e_co
販売・サービス・事務
移動平均も自然言語処理も、馴染みのあるものでしたが、整理出来て良かったです。
特に自然言語処理は理数系というより文系の要素があり、多面的な視点が大事だと再認識しました。
0
shin130
その他
時系列分析、自然言語処理の考え方を理解/確認することができた。
デジタル処理の基礎的な考え方になり、理解が進みました。
0
stani
専門職
データを分析しやすいように加工することが重要である。
0
hrkudo
IT・WEB・エンジニア
自然言語処理について理解できた。
0
pinguino
販売・サービス・事務
テキストマイニングに関心があるので、さらに実践的な内容を学びたい。
0
choko0504
メーカー技術・研究・開発
自然言語処理は、日常業務で利用する機会があると考えられるのでいつか利用したい。
0
hr-sakai
その他
時系列分析、自然言語についてわかりやすく理解できました。今後試します。
0
watanabe-tat
専門職
カスタマージャニーには感情を記述する。対象ペルソナの感情を同じクラスターのクチコミを自然言語処理、感情AI分析で可視化して記述して、運用後のマーケティング評価にも活用できる可能性がある。
0
t_htn
経営・経営企画
どこまで上手く活用できるか心配ですが、
会議や打合せの内容について、文章要約することに活用したいと考えています。
0
hfkd156036
金融・不動産 関連職
自然言語処理について理解を深めることができた。
0