おっちゃん、今、GPUを物色中。ゲームのためって言うよりは生成AIのため。ちょっと前からNVIDIA H100 Tensor Core GPU 80GBがバルクで4,708,000円とお値段で販売されて売れているらしい。LLMを自分の環境でやるならあるといろいろ捗るだろうなぁ。おっちゃんの場合、そこまでのガチ勢ではないので4080ぐらいが理想だが、現実的な財布事情だと4070か4070tiが限界だろうなぁ、このあたりかなぁ。
仕事道具というか何というか、自分がAIに携わってきた年数がそこそこあってそれこそ血反吐を吐く思いをして精度検証に力を費やした経験があるから何だと思うけど、ユーザー側で提案を聞くと「はぁぁぁぁぁ」みたいな提案が結構ある。
で、DXなんちゃらみたいな職業をされてる方に参考になるか分からないけど、AIベンダーの見極め方、評価方法をちょっと思う所で書いてみる。
営業さんの言葉を信じるな！
「このお客様だと精度は、90%以上出ています！」
うん、このお客様の場合ね、うちは違うからで断っていいと思います。雑な書き方なんだけど、教師データの質も違うし、難易度もあるし、正直言って他社の例はあくまでも一つの例ぐらいであって故にが成立しないと思っていいです。
「社内で確認した後、ご回答します」
これね、よくあるのよ、よっぽど特殊なことを質問した時は別として、商品説明上にある言葉とか意味とかについて質問してしらないのはちょっとおかしいと思う。特に商品説明で使われてる言葉の意味ね。あんまり聞いたことがない言葉とかの意味を聞くと結構な確率で帰って来ない。そんな営業担当を中心にPMとか出てくると思うのだけど、高確率で炎上するからまずやめた方がいい。あと、サプライヤーが別で販社な感じのところ。
わからない言葉が多い資料は売る気がないのか、わかる人しかパフォーマンスが出せない
資料を読んで内容が理解出来ない専門用語が多いAIは、採用しない方がいい
そりゃ、意味がわからないだもん。絶対やめた方がいい。何かあっても「御社だとFit＆Gapがもう少し必要でしたね、それではアディオス！」って去って行きそうな会社だと思う。だって、売る層が違うのを無理矢理売ってるんだもん。御社の担当者の力量不足じゃないんですか？とか平気でお話を始めだすのでかなり気をつけた方がいいと思う。
それでも多少は知っているといい。
これは、人工知能学会誌を読んで意味が理解でレベルになるといいとかでなくて、提案されているAIがなぜいいかという観点の質問方法は知っているといいという話。例えば、ある画像認識のAIの精度が80％としたときに自分だったら・・・
ぐらいかなぁ？サービスやモデルにもよるのだけど、これはある程度鉄板の質問じゃないかなぁ？と個人的には思う。もちろん答えられないって回答もあるのだけど、逆に「教師データ含めて精度を上げる方法が確立されていないという解釈でいいですか？」となる。あとは「開示いただけないのは構わないのですが、精度についてどの程度まで上がるかについては、御社でコミットいただけますか？」かなぁ？こちらがすべき作業がわからない以上、こうなる。でも、お金がかかるという諸刃の剣。
これをChatGPTのプロンプトのように「もう少しわかりやすく説明してもらえますか？」というのを繰り返して何社も聞いていると考え方やものの見方につながると思う。
*1:もちろん特徴量とかに関係するから一概には言えないが、大小あって1000枚でOKなところもあるけど、5万枚とか？確かサイバーエージェントがバナー広告のCTR予測で5万枚で精度が出なかったとか結構昔の人工知能学会学会発表してたと思う
*2:画像だとVGG16でベクトル化とかかなぁ？
