Fate Partner の確定的な万年暦エンジンを用い、立春前後・二十四節気の節入り・東京や台北などの真太陽時補正・23時台の晩子時・日本や台湾の旧サマータイムを網羅した100件の天文境界ベンチマーク(v1.1・厳密UTC基準)を作成しました。2026年11月22日に外部ツールなしの条件で主要5モデルを監査・実測したところ、通常チャット層の DeepSeek-Chat は誤計算率78.0%、軽量推論層の Gemini 3.8 Flash は44.0%、中上位の Claude Sonnet 5.5 は16.0%、最上位の Claude Opus 5.5 でも4.0%の誤りが発生しています。唯一100/100を達成した Gemini 4 Carbon も、約10.5万思考トークンと約18分を消費しています。
1. 主要5モデル・100件天文境界ベンチマーク総覧(v1.1・UTC厳密基準)
すべての設問で出生地の経度・IANAタイムゾーン・真太陽時ルールを明示した上限条件での実測結果です。①DeepSeek-Chat(非推論API・temperature=0):四柱完全一致率22.0%・誤計算率78.0%(日主誤り22%・時柱誤り52%)。②Gemini 3.8 Flash(Medium推論・約5.3万思考トークン):完全一致率56.0%・誤計算率44.0%(日主誤り19%・真太陽時誤り95%)。③Claude Sonnet 5.5(Medium推論・約4.9万思考トークン):完全一致率84.0%・誤計算率16.0%(十二節月柱誤り32%)。④Claude Opus 5.5(Medium推論・約3.8万思考トークン):完全一致率96.0%・誤計算率4.0%(十二節月柱誤り12%)。⑤Gemini 4 Carbon(Medium推論・約10.5万思考トークン・約18分):完全一致率100.0%。⑥Fate Partner 確定計算エンジン / MIT MCP:完全一致率100.0%(1件2ミリ秒未満・0トークン)です。なお、オープンウェイトの GPT-OSS 120B(Medium)は1回目で計算辞退、2回目の50件一括処理で同一文字列への退化が起きたため、公正を期して順位表から除外しています。
2. 5つの天文境界カテゴリ別の弱点(通常チャット・軽量層で顕著なズレ)
カテゴリ別に弱点を見ると設計上の課題が明確になります。①立春前後(25件):DeepSeek-Chat が72.0%誤り、Claude Sonnet 5.5 が16.0%、Gemini 3.8 Flash が12.0%誤っています(例:1988-02-04 23:07 台北では正解「戊辰 甲寅 庚寅 丙子」に対し DeepSeek が日柱を「己亥」と誤出力)。②二十四節気「十二節」境界(25件):最上位層でも最後まで残る壁であり、DeepSeek と Gemini 3.8 Flash が48.0%、Claude Sonnet 5.5 が32.0%、Claude Opus 5.5 でも12.0%で月柱を誤っています(例:1991-06-06 12:18 大阪は芒種前ですが複数モデルが「甲午」と誤判定)。③日本・台湾等の真太陽時境界(20件):DeepSeek は100.0%誤り(0/20)、Gemini 3.8 Flash は95.0%誤り(1/20)となり、1992-11-03 00:35 東京の+35分補正(正解「癸丑」)などを見落としています。④23時台・晩子時(15件):DeepSeek 86.7%誤り、Flash 33.3%誤り。⑤日本(1948〜1951年)・台湾(1946〜1979年)等の旧サマータイム(15件):DeepSeek 100.0%誤り、Flash 33.3%誤りという結果になっています。
3. 「10.5万思考トークン・18分」対「2ミリ秒・0トークン」の設計論
今回の多モデル比較で最も重要な知見は、AIの賢さではなく「役割分担の合理性」にあります。日常的にチャットAIへ相性相談をする利用者の大半は非推論層または軽量Flash層を使っており、出生地の経度や旧サマータイムまでプロンプトに書くことはほとんどないため、実利用での命式ズレはさらに増えます。仮に最上位の Gemini 4 Carbon を使っても、1件あたり平均1,000思考トークン超・約11秒の手計算コストがかかるのに対し、確定的な天文プログラムなら2ミリ秒未満・0トークンで常に完全一致の命式を返せます。
4. オープンソース監査の成果(v1.1 時差修正)と確定計算MCPの公開
多モデル間の不一致を突き合わせた監査によって、v1.0 の日本標準時(Asia/Tokyo・UTC+9)の節入り10件にあったUTC+8基準との1時間ズレも発見・修正し、v1.1 で厳密な世界時(UTC)比較へ統一しています。100件データセット・全5モデルの監査ログ・Claude や Cursor へ接続できる MIT ライセンスの確定計算 MCP(bazi-solar-term-mcp)は GitHub(github.com/liu17513567-blip/bazi-solar-term-mcp)にすべて公開しており、誰でも再現検証が可能です。Fate Partner は確定計算と現代語の対話ガイドを明確に分離することで、正確さと読みやすさの両立を目指しています。