Editing Openai/69675db8-b8dc-8013-8d6c-c3552df72868 (section)

====== 4.5. Как превратить метрику в управляемую процедуру выбора конфигурации ======

Используйте «профиль передачи информации» как карточку решения:

Profile(G_sum, G_ans | B_req, M_score, H) = ⟨ I_bits, R_bits_per_tok, T_sum, C_req, D ⟩

где H — фиксированный набор тестов, а D — выбранная ошибка/потеря (например, 1−Accuracy для задач с точным ответом). ar5iv<ref>{{cite web|title=ar5iv|url=https://ar5iv.org/html/2512.21720v1|publisher=ar5iv.org|access-date=2026-01-15}}</ref>

Процедура:
# Зафиксируйте бюджет <code>B_req</code> и протокол. Протокол включает: одна сводка или несколько раундов, лимиты токенов, правила добавления источников.
# Сформируйте 10–30 кандидатов <code>G_sum</code>. Отличайте кандидатов по семейству модели и размеру, а подсказки и лимиты меняйте как вторичные ручки.
# Посчитайте профиль <code>⟨I_bits, R_bits_per_tok, T_sum, C_req⟩</code> для каждого кандидата под одной и той же M_score.
# Оставьте шорт‑лист по <code>R_bits_per_tok</code> при ограничении на стоимость и длину. Это даёт быстрый отсев без полного перебора всех G_sum × G_ans.
# Проведите ограниченный энд‑ту‑энд прогон (например, 2–3 варианта G_ans) только на шорт‑листе, чтобы убедиться, что выбранный профиль даёт выигрыш в вашей целевой метрике D.
# Запишите решение в виде “что поменяли → какой профиль получилcя → чем подтверждено”. Это снижает риск ретроспективных споров «почему выбрали так».

Два практических вывода из экспериментов авторов, полезные как правила по умолчанию:
* Изменение “уровня краткости” в подсказке заметно сдвигает длину сводки и стоимость, но точность и взаимная информация почти не меняются; драйвером масштабирования выступает ёмкость модели сводки, а не формулировка “3/6/9 предложений”. ar5iv<ref>{{cite web|title=ar5iv|url=https://ar5iv.org/html/2512.21720v1|publisher=ar5iv.org|access-date=2026-01-15}}</ref> Поэтому можно экономить токены через более строгую краткость, но контроль делайте через профиль и небольшой энд‑ту‑энд прогон.
* В многораундовых протоколах добавление второго раунда увеличивает взаимную информацию, а третий раунд уже не даёт дополнительного выигрыша на их настройке; это удобно использовать как эмпирическое правило “останавливайся, когда прирост I_bits насыщается”. ar5iv<ref>{{cite web|title=ar5iv|url=https://ar5iv.org/html/2512.21720v1|publisher=ar5iv.org|access-date=2026-01-15}}</ref>