生成AIを数学の研究に使うときのメモ
2025年現在の生成AI Gemini3とChatGPT5.2の3000円ぐらいの課金モデルを研究の補助に使う中でいくらかの知見が溜まってきたので共有する。
常識的なこともあると思う。
私が特に重要だと思ったのは「使用者がイライラしない方法」である。
これは長くAIを使っていくには相当重要だと思われる。
毎回イライラしていたら使用者の心身への負荷が蓄積するだろうから。
より良い知見を発見したら随時更新していく。
推論力
Gemini3とChatGPT5.2の数学的課題に対する推論力はだいたい同じぐらい。
問題によってどちらかの方が明らかによい回答を出してくることがあるが、問題によっている感じがする。
研究をどのように手伝ってもらうか
これはいろんな方法があると思う。
例えば、自分の研究ノートを丸ごと渡して読んでもらって、議論したい部分を指定して議論したり、問題を解いてもらったりして、その回答を基にノートを加筆して、またノートを渡して、を繰り返すという方法がある。
話題が一区切りするたびにチャットを消して、新しいチャットに新しいノートを渡すのがよさそうである。
数学的議論をするときのGemini3の利便性
Gemini3に数学的議論をするときにChatGPTにはない便利な機能がある。
AIが出力する文章の中に数式が含まれるが、Gemini3の方は数式をドラッグ＆コピーすると自動でLatexコードがコピーされる。
コピーしてプロンプトに貼ってその数式についての議論を掘り下げたり、自分のtexノートにコピーしたりするのが楽である。
一方でChatGPTはそのような仕様にはなっておらず、無理やり変な文字コードでコピーされたり、改行が入りまくった見にくい式がコピーされる。
頑固さ、ハルシネーション度合
Gemini3はChatGPT5.2に比べて自分の間違いを認めようとせず、文献探索の精度もやや低い傾向があるように感じた。
またGemini3は計算や論理を捏造する傾向があるように感じた。
計算や論理の捏造は数学研究の補助において致命的な特性に見えるが、以下の「イライラする原因」で述べるような対策を取っていれば十分回避できるので、Gemini3のこのような悪癖は大して問題ではないと考える。
またGemini3はしばしば命令を無視する傾向がある。
面倒なのだが多少くどいぐらい命令をしっかり伝えることで抑制されるようである。
イライラする原因
AIと議論しているとイライラすることがかなり多い。
おそらくそれは生成AIがただのtransformer+MLPのくせに人間のように話してくるから言葉が通じる知性体だと無意識に思ってしまうからだと思う。
全然話が通じない人間と話すときにイライラするのと同様の現象だと思う。
生成AIは少なくとも2025年現在はただの高性能な検索システムでしかない。
従って生成AIを使うときにはまず以下のようなマインドが必要だと思われる。
【生成AIを使うときにイライラしないためマインド】
生成AIはただの高性能な検索システムでしかない。
生成AIが自分の思い通りの回答を出してこないのは基本的には指示が悪いか、もしそうでないなら単にAIの性能の限界である。
（以下、mathlogの仕様で「証明」と書かれているところは証明ではなくて、ただの解説だと思ってください。）
自分の中で返答してほしいことがピンポイントであるのに、AIが関係ない情報や要領を得ない回答を垂れ流してきて、そのギャップにイライラすること。
対策としては、AIに回答してほしいことを具体的に伝える。回答フォーマットを指定できるならした方がよい。例えば、自分のノートを渡して係数の間違いを探してほしいとき、
係数がおかしいようです。おかしいところを探してください。
回答要件(これ以外は答えない)
・まず1行で「式(XXX)がおかしい」と回答する
・間違っている理由を簡潔に述べる
のように伝える。もっと複雑なタスクでも出来るだけ回答してほしいことを明確に定義した方が良い。AIが自分の心を読んでくれるエスパーだと思ってはいけない。
こちらが話題にしたいことと違う話題について回答してきてイライラすること。
大きな文脈の中でより小さな話題を話そうとしているとき、AIがそれを理解せずに大きな文脈の中での回答をしてくることがある。今何の話題について話したいのかをはっきり伝えた方がよい。例えば、プロンプトの初めに
大テーマ：曲率テンソルをスピノルで表す計算について
今話したいテーマ：ノートの計算の符号ミスの発見
のように「今話したいテーマ」を明示しておいた方がよい。ちなみにこれでも無関係な情報を出してくることはあるが、もうそれはAIの性能の限界だと思うしかない。AIが空気を読んでくれると思ってはいけない。イライラする状況のもう一つの例を挙げる。例えば大テーマについて話しているときに、AIの発言がおかしいと思って指摘したらその指摘を無視して前とは違う回答をもう一度生成してくることがある。色んな可能性を１個づつ確定していかないと厳密な議論ができないのでこのような態度はかなりイライラする。そこで例えば
大テーマ：解(1.1)の正則性について
今話したいテーマ：あなたの～という発言についてのコンセンサス
あなたの指摘～はXXという理由からおかしいと思う。
回答要件(これ以外は答えない)
・「はい、ナンセンスでした/いいえ、メイクセンスです」と一行で述べる。
・メイクセンスの場合は反論を簡潔に述べる。
のようにして議論のスコープをいちいち区切るのがよい。AIは議論のスコープを適切に区切る能力が2025年現在ではまだ十分でない。
結果ありきで計算や論理を捏造し強引に結論を導こうとしてきてイライラすること。
典型的なハルシネーションでこれが発動されると研究補助ツールとしては致命的である。
とは言え対策は比較的簡単である。
まずAIに結論がどうなるかを教えないことが重要である。
例えば、研究していて、結論を予想できることがあるが、AIに証明を書いてもらう時に「～という設定のときに、XXX(結論)ということを証明してください」という命令はしない方が良い。
この証明が結構難しい場合、AIは計算や論理を捏造して強引に結論を導こうとしてくる。
しかも計算に関しては符号をしれっと変えてきたり結構発見しにくいことをしてくるので厄介である（たぶんわざとやっているのだろう）。
対策としては、
～という設定のときに、AAA(数学的な概念)について何が言えますか
XXX(数式)を～という方針で計算して、YYY(数式)を使って表してみてください
のようにこちらが何を狙っているかを伝えずに単に作業のみを指示するとかなり正確にやってくれる。
この方法のときは証明自体は人間側がAIの情報を基に考える必要がある。
あるいは予想した結論の導出について提案してほしい場合は、
～という設定のとき、XXX(結論)が出るような気がします。
ただし成り立たない可能性もあります。
XXXが導出できるか検討してください。
もし成り立たないなら反例や成り立たない理由を挙げてください
というように命令するとAIは比較的中立的な立場で推論してくれ、ハルシネーションが低減される。
結論が間違いなく成り立つことが確信できて、かつ自分でも証明の方針が立っているときに時短のためにAIに証明させたい場合は、断定した命令をしてもよい。
このような状況では問題自体がおそらくそんなに難しくないのでハルシネーションが起こりにくいし、仮に起こしても人間側がすぐに分かるのでそんなに問題にならない。
これらのことをいちいちプロンプトに書くのは面倒に思うけど、実際にやってみるとこちらの方がストレスフリーになれることが分かる。
【ワンポイントアドバイス】
回答フォーマットを指定するときに上で「回答要件(これ以外は答えない)」というプロンプトの例を見せたが、「これ以外は答えない」を入れた方が良い。特にGemini3はこれがないと回答要件以外も答えてきてイライラする。
文献調査
ChatGPT5.2>Gemini3なのは明らか。
AIに反論したくなったら
AIの出力に対して反論したくなることがよくある。
なぜ反論したいのかを考えよう。
私の経験だと反論したい理由として単にAIが間違っていることを認めさせたいだけというのが少なくないと感じる。
しかしこれはほぼ意味のない行為であり時間の無駄からやめよう。
反論の意味がある場合としては、自分が勘違いしてる可能性を探りたいときにAIと議論するのはもちろんありである。
反論するかどうかの見極めポイントとしては、イライラした感情が伴っているか、でだいたい判断できると思う。
イライラ＋反論欲の場合は多くの場合、時間がやたらかかる割に非生産的である。
反論するのではなく、上記のイライラしないプロンプトで論点を絞って会話をやり直した方が良い。
