📝この記事でわかること
- 同じ質問を3つのAIに投げたら、答えはどれくらい変わるのか?
- 「条件を揃えたつもり」が、実は全然揃っていなかった話
- AIの「賢さ」よりも回答に影響していた、意外な変数とは何だったのか?
こんにちは、もりらんくるです。
先日、ちょっとした実験をしてみました。
ChatGPT、Gemini、そして、いつも私が頼っているClaude。
この3つのAIに、同じ「引き継ぎプロンプト」を渡して、同じ質問をぶつけてみたのです。
AIだから、回答はほとんど同じになるのか?
それとも、AIによって全然違う答えが返ってくるのか?
今回のテーマは、今後のブログを含めた副業全体の戦略です。
これは、いわば立派なコンサルタント3人に同じ相談をしているようなもの。
……なんて言ったら、ちょっと大げさでしょうか(笑)。
質問はシンプルです。
「今の状況を踏まえて、次に優先すべきアクションを教えてください」
そのために、現在の状況をA4文書1枚にまとめました。
現在までブログ記事55本。
海外プラットフォーム複数展開。
累計収益約7,700円(ブログ再開前含む)
この「現在地」を1枚の引き継ぎ文書にまとめ、それをChatGPT・Gemini・Claudeの3つに、そのまま渡してみました。
果たして、同じ材料から、どんな答えが返ってくるのでしょうか。
……そんなことするなら、絵を描けよ。
そう思った方。ごもっともです。
でも、せっかくなので実験してみます(笑)(笑)。
実験の設計――ちゃんと条件を揃えたつもり、でした
今回のやり方はシンプルです。
A4文書1枚に
まとめる
同じ文面で
渡す
投げる
並べて比較
これなら、かなり公平な比較になる。
私はそう思っていました。
「よし、これで条件は完全に揃った」
……ところが。
記事を書き始めてから、ある大事なことに気づきました。
この実験、
実は条件がまったく対等ではありませんでした・・・。
Claudeだけ、最初から「私の宿題」を知っていた
私は普段、AIツールとしてClaudeをメインに使っています。
そのためClaudeには、これまでの会話やプロジェクトの中で、私の副業についてかなり多くの情報が蓄積されています。
ブログの記事数。
海外プラットフォームの登録状況。
作品制作の進捗。
Fiverrの状況。
Displateで何度もつまずいたこと。
アフィリエイトで止まっている案件。
そして、過去に私が何を考え、どこで悩み、どんな失敗をしてきたのか。
一方、ChatGPTやGeminiにも相談してきましたが、私自身の利用割合としては、感覚的に、
Claude 7:ChatGPT・Gemini 3
くらいでしょうか。
体感的なAI利用比率
※あくまで本人の体感値です
つまり、今回の実験では、
「同じA4文書」を渡した
こと自体は事実でも、
その文書の外側に存在する「これまでの文脈」が、3つのAIでまったく違っていた
のです。
Claudeだけが、最初から「この人は今ここで止まっている」という背景をかなり知っている。
ChatGPTとGeminiは、今回渡したA4文書を中心に判断する。
これでは、完全な条件比較とは言えません。
そこで、この実験の意味を改めて考え直しました。
これは、
「どのAIが一番優秀なのか?」
を比較する実験ではありません。
むしろ、「AIに渡している文脈の量が、回答にどれくらい影響するのか?」
を観察する実験だった。
そう考える方が、今回の結果を正確に説明できると思います。
では、その前提で3つの回答を見てみます。
3つの回答、並べてみました
あれあれ?AIなのに回答がそれぞれ違う結果になりました。
ChatGPTとGeminiは、まったく同じA4文書を渡したにもかかわらず、最優先に選んだものがかなり違っていました。
ChatGPTは、「新しいことを増やすな。今のブログ・イラスト・海外販売の3本を太くしろ」
という積み上げ型。
一方、Geminiは、「広げすぎている。まずFiverrで初レビューを獲得することに集中しよう」
という一点突破型でした。
同じ材料。同じ質問。
それでも、
「まず何をするべきか」
という優先順位が変わったのです。
ここは、かなり興味深い結果でした。
じゃあ、どれが正解なのか?
ここで、また一つ問題が出てきます。
結局、どれが正しいの?
ブログを100記事まで書くべきなのか。
Fiverrに集中するべきなのか。
それともDisplateの問題を片付けるべきなのか。
3つの回答を見ていると、全部それらしく見えます。
でも、考えてみれば当たり前です。
AIは、
「未来を知っているコンサルタント」ではありません。(ここ地味に重要大事!!)
渡された情報をもとに、「今の状況なら、こう考えるのが合理的ではないか」
という提案をしているわけです。
だから、違う回答が出たからといって、
「どれかが間違い」
とは限りません。
むしろ、
違う視点を提示してくれた
と考えた方が面白いですね。
私自身も、3つの回答を見比べて、
「確かに、ブログ100記事もまだ途中だな」
と思いました。
同時に、
「Fiverrも、ずっと0件のままなら、もう少し戦略を変える必要があるな」
とも思いました。
そしてClaudeの、
「まず止まっているDisplateの問題を片付けよう」
という指摘にも、
「確かに、今止まっている案件を放置したまま次へ進むのも違うな」
と思いました。
つまり、3つのAIの回答を見たことで、
自分一人では見落としていた「別の角度」が見えてきた
わけです。
Claudeだけが知っていたこと
では、なぜClaudeの回答が、私の実感として一番具体的だったのでしょうか。
理由はかなり単純でした。
Claudeには、今回のA4文書には書いていない情報があったからです。
例えば、
- Displateで複数作品の解像度問題に遭遇したこと
- アカウント作成で何度もつまずいたこと
- TGアフィリエイトの手続きが途中で止まっていること
- これまでのブログ記事数の推移
- 海外プラットフォームへの登録過程
- 過去に私がどんな判断をしてきたのか
同じ文書を渡しても、持っていた材料が違った
Claude
A4文書1枚
+
50本以上の会話の蓄積
ChatGPT・Gemini
A4文書1枚のみ
こうした情報は、今回のA4文書にはすべて書いていません。
でも、これまでの会話やプロジェクトの中では話していました。
そのためClaudeは、「今のあなたにとって、次に片付けるべきものはこれでは?」
というところまで踏み込んだ提案をしてきました。
これはClaudeが「賢い」から、と単純に結論づけることはできません。
単純に、
渡されていた情報量が違った。
そう考える方が自然です。
逆に言えば、ChatGPTやGeminiが悪いわけでもありません。
むしろ、A4文書1枚という限られた情報だけで、ここまで具体的な戦略を組み立ててきたことは、素直にすごいと思いました。
AIにとって「文脈」は、かなり重要だった
今回の実験で、一番大きな発見だったのはここです。
私はこれまで、
「このAIは頭がいい」
「このAIは回答が浅い」
といった感じで、AIそのものの性能を比較しがちでした。
でも、今回の結果を見ていると、
AIそのものだけではなく、「AIが何を知っている状態なのか」がかなり重要
だと感じます。
例えば、
「私はブログを55記事書いています。海外プラットフォームにも登録しています。次に何をすればいいですか?」
とだけ聞くのと、
「私は54歳。愛媛県在住。ブログを55記事書いていて、AdSenseは数円。FAAでは作品数を増やしている。Displateでは解像度問題があり、Fiverrはまだ0件。過去にはこういう失敗をして……」
と聞くのでは、
同じAIでも回答の精度や具体性は変わって当然です。
つまり、
良い回答を得るためには、良い質問だけでは足りない。 良い「材料」を渡す必要がある。
今回、身をもってそれを実感しました。
そして、もう一つ気づいたこと
今回の実験をしていて、ちょっと面白いことにも気づきました。
私はClaudeを長く使っているので、いつの間にか、
「Claudeなら私のことを分かってくれている」
という感覚になっていました。
でも、よく考えたら当たり前です。
私が何十回、何百回と、
「今日はこうでした」
「これは失敗しました」
「次はこうしたい」
と話してきたからです。
つまり、
AIが私を理解してくれるようになったというより、私がAIに情報を渡し続けてきた。
その結果として、「文脈」が積み上がった。
これは、今回かなり大きな発見でした。
この実験でわかったこと
今回の実験から、私なりに3つのことが分かりました。
1
条件も比較する
情報量が違えば、公平な比較にはならない
2
「文脈」は財産になる
積み上げてきた会話が、回答の精度を上げる
3
「正解」でなく「視点」として使う
最終的に選ぶのは自分
1.AIの回答を比較するなら、条件も比較する
「ChatGPTとClaudeに同じ質問をした」
だけでは、必ずしも公平な比較にはなりません。
AIが過去にどれだけ情報を持っているのか。
どんな指示を受けているのか。
どんな資料を渡したのか。
そこまで揃えないと、本当の意味での比較にはならない。
2.AIに渡す「文脈」は財産になる
会話やプロジェクトの中で、
「何をしているのか」
「何に悩んでいるのか」
「何を失敗したのか」
「どこまで進んだのか」
を蓄積していくと、AIから返ってくる回答も、より自分の状況に合わせやすくなります。
もちろん、AIの記憶や参照機能には限界があります。
だから重要な情報は、必要に応じて引き継ぎ文書などに整理しておく。
これも今回の実験から学んだことです。
3.AIの回答は「正解」ではなく「別の視点」として使う
今回、
Claude → Displate
ChatGPT → ブログ100記事
Gemini → Fiverr
と、優先順位が分かれました。
私は、
「どれが正解なんだ?」
と考えました。
でも、もしかすると、
全部を正解にする必要はない。
3つのAIがそれぞれ違う視点を出してくれたなら、
「自分が見落としていた選択肢を3つ見つけた」
と考えればいい。
最終的に判断するのは、自分です。
AIに経営判断を丸投げするのではなく、
AIに複数の視点を出してもらい、自分で選ぶ。
今の私には、この使い方が一番しっくりきます。
54歳、3つのAIに相談してみて
今回、3つのAIに同じ質問をしてみました。
結果は、同じではありませんでした。
でも、
「違う答えが返ってきたから、AIは当てにならない」
とは思いませんでした。
むしろ逆です。
違う答えが返ってきたからこそ、
「自分は何を優先したいんだろう?」
と考えるきっかけになりました。
ブログを100記事まで続けるのか。
Fiverrで初受注を狙うのか。
Displateの問題を先に片付けるのか。
あるいは、全部を少しずつ進めるのか。
結局、最後に決めるのは自分です。
AIは、私の代わりに人生を決めてくれる存在ではありません。
でも、
「自分一人では思いつかなかった考えを出してくれる相棒」
にはなれる。
54歳になって、そんな使い方が少しずつ分かってきた気がします。
おわりに
今回の実験を始めたとき、私は、
「ChatGPT・Gemini・Claude、結局どれが一番賢いんだろう?」
という気持ちで始めました。
でも、最後に残った答えは少し違いました。
AIの賢さを比べる前に、自分がAIに何を渡しているのかを見た方がいい。
同じ質問でも、渡されている情報が違えば、回答も変わります。
そして、AIから違う答えが返ってきたとき、
「どれが正解?」
と考えるだけではなく、
「なぜ、このAIはこう考えたんだろう?」
と考えてみる。
それだけでも、AIの使い方はかなり変わってくると思います。
今回の実験で、私自身も一つ勉強になりました。
そして何より、
そんなことを考えている間に、ブログの記事が1本増えました!!!
(笑)。
……いや、本当に絵も描かないと。マズい。
次回予告
次回予告
次回の「AI活用術」では、約半年間AIと付き合ってきた現在地を振り返ります。ChatGPT、Claude、Gemini。最初は「どれを使えばいいんだ?」と迷っていた私が、約半年間使い続けて分かったこと。AIに助けられたこと。逆に、AIに振り回されたこと。そして、54歳の自分にとってAIは「便利な道具」なのか、それとも「仕事の相棒」になったのか。半年間のAI活用を、いったんここで総括してみたいと思います。
ここまで読んでくださり、ありがとうございました。

コメント