Editing Openai/692aba85-5b10-8006-817a-d5a83b020f8e (section)

==== ### ====
* <code>prime-rl</code> という独自の大規模RLフレームワークで、 SFT から RL・評価までを一貫して扱う「ポストトレーニング用スタック」。
* 特徴は 「完全非同期（async-only）」のオフポリシー学習。 - 長いロールアウトを伴うエージェント的RLでは、 同期SGDだと一番遅い環境に足を引っ張られるため、 常に少しオフポリシーで走る非同期方式がスケールには必須という立場。INTELLECT-3_A_100B+_MoE_trained…
* このフレームワークを、そのままプラットフォーム上から使って ユーザ自身のモデルをポストトレーニングできるようにしていく計画。

===== - <code>verifiers</code> ライブラリ＋Environments Hubで、 LLM向けRL環境・評価をモジュールとして作り、共有・バージョン管理できる仕組み。 =====
* 通常は学習コードと環境が密結合していて外部貢献やアブレーションがしづらいが、 Environments Hub では '''「独立したPythonモジュールとして環境を配布」'''し、 トレーナー側から共通のインターフェースで利用できる。INTELLECT-3_A_100B+_MoE_trained…
* Hub 上には、数学・科学・推論・コード・ディープリサーチなど 数百種類の環境が公開されている。

===== - エージェント的なRLでは「コード実行」が頻繁に必要になるため、 '''「Prime Sandboxes」'''という専用の高速実行レイヤを構築。 =====
* Kubernetes の通常パターンではレイテンシ・スループットが足りないため、 - Kubernetes コントロールプレーンを迂回する設計 - Rust から Pod への直接実行パス などで、 ローカルプロセスに近いレイテンシ・高い同時実行性能を達成したと説明。INTELLECT-3_A_100B+_MoE_trained…

===== - '''512枚の NVIDIA H200 GPU（64ノード）'''で学習。 =====
* Ansible による IaC、Slurm + cgroup v2 によるジョブ管理、 Lustre + NVMe NFS によるストレージ、DCGM + Prometheus による監視など、 大規模分散での安定稼働にかなり力を入れた構成を採用。INTELLECT-3_A_100B+_MoE_trained…