まるく堂の〇〇やろうぜ!

ニュースや日々の生活において思う事を綴っていくブログです。

新モデルGPT-4oの実力検証:データ比較と間違い探し

スポンサーリンク

GPT-4oの進化を検証!間違いを探させる!!

こんばんは!まるく堂です!

最近まで、ChatGPTの有料版の契約を止めていたのですが、

新モデル「GPT-4o」の進化が凄かったので思わず再契約しました。

月額20ドル(約3100円)と決して安い金額では無いので、

飽きたらまた止めるかも知れませんが、今のところ色々と実験をしています。

 

今回は「GPT-4o」に間違い探しをしてもらおうと思います。

 

第1の実験

↓まず「GPT-4o」にこちらのExcel用のファイルを読み込んでもらいます。

No.1のゴリラからNo.10のヒツジまでをリスト化したデータですね。

リスト自体には何の意味もありません、しいて言うならしりとり順になってます。

ファイル名は「データ1.xlsx」です。

 

そしてこのリストをメモ帳にコピペし、

さらにスクリーンショット(スクショ)した画像データも「GPT-4o」に読み込ませます。

↑こちらはjpg形式の画像データなので、通常はPCは文章としては認識できません。

なので、当然テキストデータとしても扱えないハズです。

 

ChatGPTのテキスト入力欄には「クリップ」の形をしたマークがあるので、

それをクリックすると、これらのファイルをアップロードできます。

この2つのデータを「GPT-4o」に読み込ませ、こんなお願いをしてみます。

”画像データにはあるリストが書かれています。そのリストがデータ1.xlsxのデータと同じかどうかを確認してください。もしも間違いがある場合はその箇所を教えて下さい。"

 

皆さん、お気づきかも知れませんが、この2つのリスト…

実は間違いが1箇所あるんですよ!!

これまでのPCソフトなら、Excelデータと画像データを比べようもなく、

そんな間違いなんて見つけられるハズがありませんでした。

 

しかし結果は…?

GPT-4o

”画像のデータと比較すると、「No.5 ウシ」が「No.5 ウメボシ」になっているため、ここに違いがあります。それ以外は一致しています。"

と回答されました。

 

だ…

大正解です!!!

そう!No.5の「ウメボシ」を「ウシ」に変えてたんですね!

GPT-4oはどちらのファイルも認識しており、

画像データもちゃんとテキストデータとして理解し、さらにデータを比較すると言う高度な事をやってのけました。

 

この実験の成功が意味するところは、例えば仕事で原稿とExcelリストを比較して間違いを見つけなければならない時、それらを「GPT-4o」に読み込ませれば、

非常に短時間で確認できる可能性がある!!

と言う事です!!

まだ複雑な原稿とかは荷が重いかも知れませんし、人のチェックはどうしても必要だと思いますが、軽めのものなら現段階でも十分に実用性があるのでは無いでしょうか。

 

第2の実験

次は画像に書かれた文章の比較をしてもらいます。

用意したデータはこちらです。

文章1

 

文章2

これは私のブログ記事から抜粋し、スクショした画像データです。

どちらもほぼ同内容の文章ですが、

これも1箇所だけ間違いが存在します。

皆さんはどこかわかりますか?

 

それでは例によって、GPT-4oに聞いてみましょう!

2つのjpg画像を読み込ませた後、

「2枚の画像を比較して、もしも間違っている部分があれば教えて下さい。」

と質問します。

するとこんな回答が…

GPT-4o

”両方の画像のテキストを比較した結果、以下の違いが見つかりました:

文章1.jpgの「かと言って」は文集2.jpgでは「かと」となっています。
したがって、間違っている箇所は「かと」と「かと言って」の部分です。"

 

う〜ん、ちょっと見当違いですね。

少し難しかったかな?

それではヒントをあげたいと思います。

「ある漢字一文字が違っています。注意してもう一度比較してみて下さい。」

そう、この二つの文章にはたった一文字だけ、違う漢字が含まれているんです。

 

GPT-4o

もう一度確認したところ、以下のように見えます:

画像1(文章1.jpg): 兼ね揃えた様
画像2(文集2.jpg): 兼ね備えた様

 

勝手に答えを作っちゃいました…

そこじゃないよ!!

もう一度ヒントを…

「練られた」の部分に注目して比べてみて下さい。

もうほぼ答えにも近い大ヒントを与えたのですが、

ナント!回答の途中で動作が止まってしまいました…

しばらく待ったのですが、動く素振りもありません。

仕方ないので「再生成」のボタンを押してもう一度考えてもらいましょう。

 

GPT-4o

「練られた」と「錬られた」の違いがあります。

画像1(文章1.jpg)では「練られた」となっており、
画像2(文集2.jpg)では「錬られた」となっています。

間違っている部分は、「練られた」と「錬られた」の部分です。

 

結果、ようやく分かったようです。

「練」と「錬」、パッと見は見逃してしまうほど似てる漢字です。

人間でも引っかかりそうなイジワルな問題に、

AIが人間みたいに引っかかってるのが逆にスゴイ…

テキスト化した際も、途中まで「練」と書いてましたしね。

機械的に比較してたら逆に見つけやすそうなものですが、

間違いの仕方が実に人間ぽい…

 

最後に「紛らわしかったですか?」と質問しました。

GPT-4o
「はい、「練られた」と「錬られた」の違いは非常に微妙で、ぱっと見では気づきにくいですね。細かい部分に注意を払うことが重要です。ご指摘いただきありがとうございました。何か他にもお手伝いできることがあれば教えてください。」

さすがのAIも今回は戸惑った様ですね。

でも、今回の実験ではGPT-4oではファイルを2つ比較させてチェックできると言う事が分かりました。

GPT-4oの能力のスゴさをまた一つ知れた様な気がします。

 

これにて今回の実験は終了です。

また何か面白そうな事を思いついたら報告いたします。

ありがとうございました!!

 

以上です…