Editing Openai/695d35da-234c-8011-a545-1a12234b790c (section)

==== 1. 強化学習に必要な要素 ====

強化学習(RL)では、ロボットに「環境」と「報酬」を与えて学習させます。基本的に以下が必要です。

===== (1) 環境（Environment） =====
* ロボットアームと果実、樹木の状態をシミュレーションできる場。
* 例：ロボットの関節角度、果実の位置、衝突などを計算できる。
* 実際の樹木を使うのは危険かつ非効率なので、まずは シミュレーター で行います。

===== (2) 状態（State） =====
* ロボットが観測できる情報。
* 例： - アームの関節角度 - エンドエフェクタ（爪）の位置 - 果実までの距離 - センサー情報（カメラ・深度センサーなど）

===== (3) 行動（Action） =====
* ロボットが環境に対して取る行動。
* 例： - 各関節の角度の変化 - グリッパーの開閉

===== (4) 報酬（Reward） =====
* 学習の指標になる数値。
* 例： - 果実を掴めたら +1 - 枝にぶつかったら -1 - 目的の果実に近づいたら小さく +0.1

===== (5) 強化学習アルゴリズム =====
* 代表的なもの： - DQN（離散行動向け） - DDPG / SAC / PPO（連続関節角度制御向け）
* ロボットアームのような連続制御には、SACやPPOがよく使われます。