AIワークフローに必要なのは「丁稚奉公」だった

キャディでAIエバンジェリストとしてBizdevをしている川村です!

さて、「AIで業務改善しなきゃ!」という機運で、世界はあふれています。

壁打ちや議事録作成などは恐ろしいほど自由自在で、自分でやるよりよっぽどきれいなスライド資料まで作ってくれる時代になりました。

そうすると当然、もっと難しい業務も行けるのでは?という期待から、「新しい自動車部品の設計FMEA*1を作成して!」みたいな呪文が、今日も元気にMicrosoftやGoogleのサーバーに送信されます。

しかし、AIはビタどまり。

業界慣習、企業の技術、個人の思想が混然一体となった神Excelは一向に出力されません。

「だからカーパシー*2は、「Agent元年じゃなくて Decadeだ」って言ったのか・・」と、設計者は肩を落とし、汎用AIではまず解けないタスクであることを受け入れます。

「そもそも業務が定まっていない」問題

さて、そんな顧客から依頼があり、圧倒的な生産性向上に向けたAIプロジェクトに取り組むことになったときにまず考えることは何か?

  • ユーザーFBをどこまでAIの学習に組み込むのか
  • どこまでの自律性をAIに認めるのか
  • タスク完了をどのように定義するか

こういったことを検討している時間は、全体の0.2%くらいです。

業界スタンダードの知識を頭に入れた上で、「そもそも今この業務は、誰がいつどうやって実施してるんですか?」と、極限まで細かく業務を捉えることが初めに来ます。

そしてその中で、

  • ベテランAさんのFMEA作成手法
  • 別製品でやってるBさん独自の手法
  • 一応あるらしい会社公式のようなもの
  • 承認者Cさんはここを気にするという極めて重要なルール

のような、マルチフレームワークが存在する業務であることを知ります。

業務解像度というレンズ

「業務解像度」という言葉で指しているのは、その業務をどの粒度・どの観点で分解できているかです。

実際にFMEAを書いている設計者にヒアリングして、

「図面が確定したらFMEAを作って、DRで承認をとっています」

と返ってきたとしても、これだけではAIワークフローを設計するには解像度が粗すぎます。

更に次のような質問を重ねていきます。

  • FMEAを書くとき、最初に開くのは何の画面か
  • 過去のFMEAは、どこから、どういう条件で探しているのか
  • 故障モードは、頭の中から書いているのか、テンプレートがあるのか
  • 誰のレビューが通れば「このFMEAはOK」と判断されるのか

さらにさらに一段解像度を上げると、こんな会話になります。

「(私)エンジンマウントブラケットのFMEAを書くとき、まず最初に見るのは何ですか?」 「3D CADですね。あと、似ている形の過去FMEAを見ます」 「(私)“似ている”はどうやって判断しています?」 「形状と、取り付け位置と、荷重条件ですね。まあ、だいたい頭に入ってます」 「(私)それは検索条件に落とせるものなんですか?」 「うーん、「3年前のプロジェクトのやつが近いかなぁ」とかそんな感じです。」

自分がその業務をやれと言われたら、せめて見習いとして最低限動きを辿れるレベルに、脳内で業務モデルをくみ上げます。

超絶地道ですが、ここが後の設計にめちゃくちゃ効いてきます。

プロジェクト成果を重ねる中で、「少なくともあと数年は、丁稚奉公しないと役立つものはできないな。」と確信してきました。*3

解像度が低いまま設計すると何が起きるか

解像度が低いままAIワークフローを設計すると、だいたい次のようなことが起きます。

  1. 「それっぽい」アウトプットは出せる
    • LLMに過去FMEAを読み込ませれば、「FMEAっぽい表」は出ます。
    • web記事もあるので、概念としてそれが何かは知ってたりします。
    • 詳しくない自分から見れば、これでよいかも?と思えてしまいます。
  2. ユーザーが見れば、一発で使えないと分かる
    • 一発でわかります。Excelファイルを開く人差し指の感覚でバレます。
    • 機密データの為、AIの学習データはweb上にほぼ存在しません。
    • 前提となる口頭コミュニケーションや企業文化の中で形成される業務の為、単なる入出力のセットでとらえきれるものでもありません。

これは生のLLMの推論能力の問題ではなく、何をやってほしいのか 「AIに渡す前の業務モデルが粗すぎる」 ことが原因です。

AIにやらせたいことを、

  • 元の非構造データをどう構造データとして表現するか
  • タスクのどこをAIで柔軟に、どこを冪等性の高い手法でいくか
  • 人との界面の体験、業務分担をどう設計するか

というレベルで分解する必要があります。

「この業務、ポイントがだいたい分かってきたかも。」と、勘所が体得され、自身でAI出力の良し悪しを最低限は評価して、FBループを高速に回していくことが欠かせません。

そうやって業務解像度をミリミリ上げていくと、AIワークフローの設計はだんだん“勝手に決まっていく”感覚があります。

Bizdevとして見る「AIワークフロー設計」

キャディでBizdevというロールをやっていると、

  • 製造業の業務ドメイン側から見える「現場の複雑さ」
  • AIエンジニアリング側から見える「AIの性質と限界」

の両方に同時に触れることになります。

そうした設計経験から「AIワークフローのコツ」をまとめると、

圧倒的な業務理解で、AIが扱える複雑性までタスク分解して再構成する です。

兎にも角にも、顧客業務を最前線で見に行くことをしてみる。

それがAgent Decade の入り口として、一番地味で、一番効くところだと感じています。

*1:「Failure Mode and Effects Analysis(故障モード影響解析)」の略で、切り戻しができない製造業において、設計起因のリスクを事前に網羅的に検討したもので、大抵Excel。セル結合され画像が貼られコメントがつき、ここまで使われれば電卓も本望。

*2:世界的なAIの技術者。「評価方法に致命的欠点があるからAIエージェントの進化はけっこうかかるぞ」みたいなことを最近言ってた。

*3:大変で裏切られたい気持ちもあります。