1. はじめに
こんにちは.changです.
今回はAIネタです. 流行りのバイブコーディングについての問題提起になります.
Note:
個人的なボヤきが多く含まれます.気を害された様であれば申し訳ありません
2. 起こった事
業務中の出来事なので詳細を避けてお伝えさせていただきます.
Claude Codeがあまりにも流行っているので触ってみるかと思い,手始めに無料で使えるOllama + Continueの環境を作りました.
AIに僕が昔書いたソース(座標変換系のアルゴリズム)を読ませて質問してみたところ,嘘ばかり言ってきて全く使えませんでした.
具体的には:
(1) 関数名を指定して機能を質問
それっぽい事を言うのですが,よくみると関数への引数や戻り値が実際とは全く異なりました.関数の使用例みたいなものも出して来たのですが,それも完全に出鱈目でした.
(2) 関数が含まれているファイル名を質問
存在しない適当なファイル名を答えて来ました.知ったかぶりをして嘘を言ってくるのでタチが悪いです."わからない"と言ってくれた方がまだマシです.
(3) そんなファイルはないと論破
”申し訳ありません”に続いて,延々と言い訳をして,"こんな感じでgrepしろ"みたいな事を言って来ました.
3. 考察
予想よりも酷くて吃驚しました. 上手く動かなかった原因はいろいろあると思いますが,主要な2つを紹介します.
(1) 無料版の制約
無料で作れる環境ですので,性能が限られたことは事実です. Claude Codeを使ったり,OllamaではなくChatGPTと繋げばもう少しマシに動いたでしょう. しかし,どんな高性能のAIであっても,多かれ少なかれハルシネーションは起こります.
AIをツールとして使用することは勿論OKですが,"AIは凄い”とか"AIに任せておけば大丈夫"みたいな思い込みを伴うべきではありません.
(2) AIが知らない内容
今回AIに読ませたのは,かなりニッチなアルゴリズムです. これが必要になるのは勤め先とその競合企業だけなので,実現出来ているのは世界中で数える程しか無いと推測します. 論文で発表された事例はあった気がしますが,githubでの公開ソースは見たことがありません. これはつまり,AIのトレーニングに使用されなかった(=AIが知らない内容)だったという事です.
カリフォルニア大学のSarah Chasins教授がYouTubeで発言している通りで,AIが書けるのは使い古されたソースだけです. ”新しい事をやるためにAIを使おう!”というのは,原理的に間違っているのです.
4. むすび
"AIを使っていこう!"みたいな事を大声で言っている管理職が勤め先にもいます. どこの会社も同じだと推測します. 個人的には,こう言う方に限ってAIを使いこなせていなかったり,原理を理解していないと感じます.
コンサルやオールドメディアがAI推しなのは,その方が受けてお金が落ちるからです. 彼らは受け狙いで済むから良いかも知れません. しかし,製造業は違います(僕の勤め先は一応製造業系です). 誇大情報を検証もせずに部下に横流しする人物が,AIの嘘を見抜いて,使いこなせますか? ユーザーに対して誠実な仕事が出来るのでしょうか? 危機感を感じざるを得ません.
昨今のAIフィーバーの中でAIを使っている感を出す必要があるのは解ります. しかし,必ず跳ね返りがきます. 大した役に立たないAIを搭載した洗濯機よりも,確実に洗濯物が綺麗になる洗濯機の方が有用だと,ユーザーは必ず気付きます. AIを使って作ったソフトウェアをメンテナンス出来なくなって逃げ出す企業が続出し,"AIに頼るヤツは信じられない.誠意を見せろ”と数年後には言われる様になる筈です.
その時にどうしますか? 経営層やリーダー層が考えるべきなのはここではないでしょうか.