AI開発において欠かせない機械学習のためのデータをつくる、アノテーションサービスを提供するバオバブ。国内外の大学や研究機関も評価する、その高品質なデータをつくる仕事は、育児・介護などを抱え出勤が必要な仕事に就くのが難しい方、あるいは自閉症や発達障害を抱える方などの一般就労の困難な方々が働き手として支えている。
＜関連記事＞
AIアノテーション事業で、制約のない働き方を実現する―バオバブ社 相良美織氏インタビュー＜前編＞
同社のように財務価値のみならず社会的価値を追求するインパクトスタートアップにとって重要なのが、「事実、社会にどれだけのインパクトを創出しているか」を測定し、示すことである。そこで今回は、バオバブ代表取締役社長である相良美織氏と、KIBOW社会投資より同社への投資担当として伴走する松井孝憲にインタビュー。同社が実施した、働き手となる方々：Baopartへのサーベイを通じ、インパクトの定量・定性的評価とインパクト向上につなげる活動であるインパクト測定・マネジメント（以下IMM：Impact Measurement and Management）の取り組みについて聞いた。（聞き手：KIBOW社会投資 田村菜津紀）
定性を定量で測ることの難しさに直面
田村：今回バオバブ社が取り組んだ、自社が創出する社会的インパクトの測定について、まずは松井さんから詳細をお話し頂けますか。
松井：調査対象となったのは、Baopartの中でも就労支援施設の利用者の方々です。彼・彼女らにとってバオバブの仕事はどんな意味があるのか、あるいはバオバブの仕事を通じて、どんな良さを実感できているのかについてスコアで回答していただき、バオバブの社会的価値を定量的に測り、把握してみようじゃないか、という取り組みになります。
【サーベイについて】
- 全36個の項目について「全くそう思わない」を1、「とてもそう思う」を5、「わからない」「回答できない」を0として評価し、回答を収集。
- 項目別に得られた評価の平均値を算出し、スコアとする。
- 項目は以下4つのカテゴリーに分類されている。
- 境遇の違いや障害の有無にかかわらず、
誰もが仕事を通じた社会貢献と自己肯定感を得られる場を創り広げる
例：「バオバブの仕事は、お仕事をしたことがなくても始めやすい」 - 仕事を通じてつながり支え合うコミュニティを創出する
例：「バオバブの仕事を通じて、いろんな人とお話することが増えた」 - アノテーションを通じて働き手の才能を発掘・開花させ新たな働き手の市場を広げる
例：「バオバブの仕事を通じて、お仕事が上手になったと思う」 - 経済的な自立への道を開き、
働き手とその家族が未来をあきらめることの無い世界を創る
例：「バオバブの仕事を通じて、お家で不安に思うことが少なくなった」
田村：結果からはどのようなことが読み取れましたか。
松井：例えば最も平均スコアが高かったのは、「アノテーションを通じて働き手の才能を発掘・開花させ、新たな働き手の市場を広げる」というカテゴリーです。ここからは、アノテーションという仕事を通じ、私はこういうことができると分かった方が多い、と考えられます。
一方、比較的スコアが伸びなかったのは「経済的な自立への道を開き、働き手とその家族が未来をあきらめることの無い世界を創る」のカテゴリーに属する項目です。このスコアの平均は3を少し超えた程度ですから、金銭面などに関する向上については「どちらとも言えない」よりは上向いてはいるものの、まだ余地がある状態なのだと見受けられます。
田村：相良さんはこの結果を見て、どのように感じられていますか。
相良：まず会社の代表として、常に数値化された結果を謙虚に受け止めています。と同時に、スコアの高・低でそのまま良い・悪いを判断して一喜一憂はできないとも思っています。
例えば、就労支援施設というものは辞めていくこと自体がいいことにも悪いことにもなります。例えば早期に一般就労に移行したとしたら、それはすごくハッピーなことですよね。そのため、「人の入れ替わりが速い」ということがわかったとしても、それぞれの状況を確認せねば良い・悪いは分からないのです。
だからこそ何をパラメーターにするか、どう質問するかによってもスコアは全く違うものになります。この差をなるべく少なくしようと松井さんと私は努力したのですが、やっぱり難しかったというのも正直な感想ですね。
松井：定量化することで、そういった情報は抜け落ちてしまいますし、数値に一喜一憂してはいけないというのは美織さんのおっしゃる通りですね。しかし逆に言えば数字で測らなければずっと分からないままのこともあるはずです。確実なインパクトがある兆しと、今後への手がかりは得られたと捉えています。
愚直なインタビューで適切な測定パラメーターを模索した
田村：ご苦労されたという「何をパラメーターにするか」について、どう対処したのか少し詳しく教えて頂けますか。
相良：Baopartの方々はアノテーションの仕事を通じ、生活資金を得ているだけではありません。例えば今回調査した就労支援施設の方々であれば、利用者の方に笑顔が増えたとか、1回も発話したことのない自閉症の方が発話しだしたとか。あるいは偶然ながら遭った環境によってうつ病になってしまい、もう自分の人生は生きるに足らないと思っていたのが、役に立てるのかも、と生まれて初めて思えたとか。そんな声をいただいているんです。
ただ、こういった重要なインパクトを組み込めるようなパラメーターは、既存の評価の枠組みには見つかりませんでした。そこで、これはもう私たちでインパクト評価基準をつくるしかないということになりました。
松井：利用者の方々へ愚直にインタビューしながらパラメーターとなる要素を出してみよう、ということになったんですよね。インタビューの仕方についても、利用者の方々にとって侵襲性[i]が低いよう、かなり練っていきましたね。
田村：侵襲性を低くする、というのは具体的にどのような取り組みなのでしょうか。
相良：例えば東日本大震災のとき、ご自身が被害に遭われたり、被害によって親族や友人を亡くしたりという方々に調査を行う際、その体験そのもので心理的にネガティブな変化が起こってしまった方がいたということがわかっています。黒いスーツを着た人たちに囲まれて、そのときどういう気持ちでしたか、お母さんが波にさらわれたときどう思いましたか、と聞かれたとしたら、メンタル的に非常に弱ってしまいますよね。
わたしたちの調査もそのような体験になってしまうのは望ましくない。なので侵襲性が低いことを非常に意識し、臨床心理の専門家などにアドバイスを受けながらインタビューを設計していきました。質問項目だけでなく、インタビュアーのバックグラウンドや服装、誰に同席してもらうか、それぞれの位置やその角度までかなり話し合いを重ねました。
その後、インタビュー合計でおよそ20時間に及ぶ音声データをすべてテキストにし、1日中缶詰になってワークショップをして、パラメーターとなる要素の抽出を進めたのです。
常にリスペクトを示してきたことがよい項目づくりに繋がった
田村：これが今回のサーベイの原型となったそうですが、ものすごく工夫の詰まったインタビューだったと、改めて驚いています。そこからさらにサーベイで問いとなった項目をつくっていくプロセスでは、何を大事にされましたか。
松井：印象に残っているのは、美織さんとある就労支援施設の支援員の方とのやり取りです。はじめ、僕から項目案を美織さんに見せ、現場を知っている目から見てどうか、答えやすく伝わる言葉になっているかと尋ねたんです。
それに対して美織さんは、その支援員の方に聞こう、とすぐにアポを取られたんですよね。これは僕自身もハッとさせられたプロセスでした。
相良：普段現場にいない人が、現場の人の声をどれだけ拾い上げられるか、というと正直難しい。それは私自身もそうです。事実、項目案には全て赤が入って戻ってきました。私自身も現場に足を運んではいましたが、実際の現場の利用者さんに寄り添って、視点を同じくして理解してもらえる言葉選びや表現ができておらず、改めて今回の取り組みを実現したいと思った出来事でした。
ただ、これは手前味噌ではありますが、お話しした赤入れや、設問数や分量、スケジュール感などについて率直なフィードバックをしてもらえる関係は、日頃関わるバオバブ社員たちが築いた信用や関係性があってこそで、一夕一朝では出来なかったと思っています。
松井：相手へのリスペクトを常に態度、そして言葉で示すことで、彼らも本当の言葉を言ってくださったのだと思います。これは僕だけでは絶対に得られなかった成果だったなと思いました。
（次回へ続く）
[i] 侵襲性：心身への負担が少ないことを示す医学用語
