なぜChatGPTは計算が苦手なのか？数学的ミスの秘密を解明

人工知能、例えばChatGPTは詩を書いたり音楽を作ったりテキストを翻訳したりできます。それでも、単純な数学的問題でつまずくことがあります。なぜ複雑な言語課題を処理できるチャットボットが、小学校レベルの数学に苦労するのでしょうか？

トークン化：数字がバラバラになるとき

主要な問題の一つはトークン化です。このプロセスはデータを小さな単位、いわゆるトークンに分割します。これを単語を音節に分解するパズルのように考えてみてください。しかし、このプロセスを担うAIモデルのトークナイゼーションは数字の意味を理解していません。

例えば、数字の380は1つのトークンとして認識され、381は2つ（38と1）として認識されることがあります。その結果、数字の関係が崩れ、計算が複雑化してしまうのです。

数字に戸惑う統計的マシン

ChatGPTの数学的問題のもう一つの理由は、その統計的性質です。Chatbotは膨大な例をもとに学習し、パターンを見つけ出そうとします。例えば、「拝啓」と「この度」というフレーズが頻繁に続くことを学びます。

しかし、数学ではこのアプローチは問題に遭遇します。ChatGPTは、数が2で終わる場合に積が4で終わることを推測できますが、中間結果には対処できません。簡単に言えば、ChatGPTのモデルは正確な計算を行う代わりに、学習したパターンから結果を推測しようとするのです。

乗算という名の挑戦

ウォータールー大学のデング・ユンティアンによる研究は、ChatGPTが四桁を超える数の乗算に問題があることを示しました。計算のどのステップでもエラーが最終結果に現れるためです。

これをドミノ効果のように想像してみてください。一つのエラーが連鎖反応を引き起こし、結果が完全に外れてしまいます。しかし、将来的にChatGPTが改善される可能性があります。デングとその同僚は、論理的思考力を持つOpenAIの新しいモデルo1もテストしました。

このモデルは標準的なGPT-4oモデルよりもかなり良い結果を出し、9桁の数の乗算も正確に解決しました。モデルo1は問題を一歩一歩考えていくため、より正確な結果を出すことができるのです。