<aside> 💡 /MathGPTは、QANDA（アジアの主要なAI駆動の学習プラットフォームを創造したMathpressoによって開発された数学専用の大規模言語モデル（LLM））です。MathGPTは、高校数学であるMATHや小学校数学であるGSM8Kなどの数学ベンチマークで、以前の記録保持者であるマイクロソフトのToraを凌駕し、13B未満のモデルの中で首位を獲得しました。また、MATH BenchmarkにおいてGPT-4をも上回りました。 当社の目標は、MathGPTの精度を向上させ、言語の提供範囲を拡大することです。また、当社の製品にモデルを統合し、専門的な教育向けLLMソリューションを必要とする企業に提供する計画もあります。

</aside>

技術的な詳細

アプローチ

我々は、MathGPTの開発においてデータ中心の方法論を採用し、このアプローチによって最先端のパフォーマンス（SOTA）を確保しました。

• 数学データのキュレーション
  • 数学分野内のさまざまな形式の膨大なデータを収集しました。
  • 数学領域内の多様なデータタイプの包括的なコレクションを集めました。
  • 当社の主要なデータソースは、Mathpressoの独自のデータベースであり、その解決策検索アプリであるQANDAを通じて入手しました。
• 思考のプログラミング（PoT）アプローチ
  • PoTメソッドを活用しました。これにより、大規模言語モデル（LLM）が理論プロセスを完璧に進行させるためのプログラムを作成し、実行します。
• 合成データの生成
  • 既存のLLMを活用して、人間による段階的な解決策を反映した合成データセットを生成しました。これにはPoTアプローチ用のデータセットも含まれます。
• 品質向上のためのデータ選択
  • 低品質または関連性のないデータをトレーニングデータセットからフィルタリングすることで、モデルの性能を向上させました。

性能評価

MathGPTの性能を、一般的にLLM評価に使用されるデータセットと比較して評価しました。いくつかのデータセットが、機械学習モデルの数学問題解決能力を評価するためにキュレーションされました。これらのデータセットは、数学問題の種類や難易度レベルが異なります。MATHとGSM8Kは、そのようなデータセットの中で数学問題解決能力の指標として最も一般的に使用されています。MATHデータセットには、代数、数論、確率、幾何学など、競技レベルの高校数学の問題が含まれています。GSM8Kデータセットには、学年レベルのワード問題が含まれています。

追記

このプロジェクトの技術的側面を詳細に説明した論文は、出版のために査読中です。

Mathpressoの次のステップと提供内容

Mathpressoは、'MathGPT'モデルの精度とパフォーマンスを継続的に向上させ、最終的にはそれをAIチューターとして学習インターフェースに統合する計画です。同社のビジョンは、この強化されたAIチューターを、既存のサービスであるQANDAアプリ、1対Nのオンライン学校（QANDA Study）、1対1のオンラインチューター（QANDA Tutor）に組み込み、学生にとって深く個別化された教育体験を確保することです。

さらに、Mathpressoは、MathGPTを他の言語にも展開する予定です。現在のバージョンのMathGPTは、英語のデータセットのみでトレーニングされています。次のバージョンのMathGPTでは、その豊富な数学データを活用して、他の言語をサポートします。

Mathpressoは、教育サービスの開発者など、幅広い潜在的なクライアントにMathGPTソリューションを提供します。さらに、Mathpressoは、教育分野でLLMの性能と適用性を向上させるための共同研究プロジェクトにおける協力にも開かれています。