【速報】G1@Clubhouse⑳「AI研究とAIスタートアップの現状と未来」松尾豊×上野山勝也×堀義人

・「トランスフォーマー」というニューラルネットワークの新しいタイプのものが2017年頃から出てきて、自然言語処理でとても有効だとわかったことでグーグルやオープンAIが開発競争をしてきた。そして今度は自然言語から画像や映像などの他の領域にも扱いが広がっていっている。

・一番ベーシックなのは多層パーセプトロンという、層を普通に重ねていくものだった。画像になるとCNN（Convolutional Neural Network）といって、空間的に隣接したところを取り出して、コンボリューションという同じフィルターを場所を変えながらあてはめていって、それを層にしていくというものだった。自然言語処理はRNN（Recurrent Neural Network）といって、ニューラルネットワークがある文脈を保持していて、それが新しい単語を読み込むとその文脈が少し変わる、という感じで文脈がぐるぐる回るモデル化をしていた。
トランスフォーマーは全く違う。ある文を読み込むと、その文のどこに注目したら良いか、それをアテンションというが、その注意の向け方を変える。例えばある文章を読むときに、普通は順番に読んでいく。係り受けによって順番が変わったり、日本語と英語でも順番が違ったりすると思うが、いずれにせよ文の中のどこに注意を向けるかをコントロールするような機構があって、それを重ねていくことで柔軟な処理ができるようになる。

・トランスフォーマーが中でどういう学習がされているかはあまりよくわかっていないが、データを読み込んで、何かと何かを比較してこっちが優勢だからこの処理をしよう、これがあるからこういう文脈だと判断してそれ専用の処理をしよう、というのがうまく実現できるようになっているのだと思う。

・自然言語処理であまりにうまくいくので、iGPT（Image GPT）といって、トランスフォーマーを画像に適用するという手法が出てきている。画像の解像度を落として、色をAやBなどの言葉に直し、それを一次元に横に並べて、文章として変換してトランスフォーマーを適用するという方法で、それが有効になっている。

・研究と実用ではゲームルールが違っていて、研究の世界ではネットワークの規模が大きくなっていて、毎年非連続な変化があるのでキャッチアップしていく事が重要。一方でそれを社会実装する時には、アカデミアが考慮しない制約条件が色々ある。知能の解明としてできたことはすごいが、それをどこに使っていけば良いのか、というような部分に制約条件が加わってくるのでそこをうまく探索していく必要がある。

・研究が進んでいるのはグーグル・ブレイン、ディープマインド、facebookAIリサーチ、スタンフォード、UCバークレー。中国は論文がたくさん出ていて、論文リストを見ると中国の大学も多いが中国名の人も非常に多い。テンセントは研究も良いが、実装のレベルが高く、ネットのサービスなどでどんどん使っていっている。

・グローバルで見ると日本は置いて行かれている。日本は論文も出ているし、ちゃんとやればできるはずだが、日本の場合は「新しいゲームが始まっている」となっても一気に取り掛かるのではなく、ちょっとずつデジタルにシフトしていこう、という形なので差が開いている。

・松尾研発のスタートアップはグノシー、PKSHA、DeepX、READYFOR、Olloなど9社がある。グノシーやPKSHAが上場して、知り合いや先輩が活躍しているのを見て、挑戦する人が増えていった。そうすると目指すべきものが近くに見えるので、悩みを相談しながらみんなで頑張っていけるという環境ができた。

・多くの研究室からスタートアップが出てくれば今後の生態系が変わっていく。多くの人が集まり、お金と知恵が集まる仕組みを作ることによって規模化を図っていく。

・脳の研究と近寄っていくのではないか。これからのAI研究は、AIのレベルが上がるという面と、人間の脳の仕組みがわかることで医療や教育にも大きな影響がある、という両面になる。

・これからのスタートアップの方向性として、グローバルで起こっているのはAI研究者やマシンラーニングエンジニアのような人たちが、エンジニアのチームとも密結合している。例えばバイトダンスのTikTokはアルゴリズムメディアで、写真を撮ると足が長くなったり誰にどのフィードを見せるかなど、デザインとUXが全て密結合してエンジニアとAIエンジニアがチームで作っている。こういう流れがtoCに限らずtoBにも起こっていく。

今後の予定