這意味著，開發(fā)者第一次可以在不“手搓環(huán)境”的情況下訓練Agent，讓環(huán)境也像模型一樣可規(guī)�；瘮U展。

與此同時，它和阿里此前開源的強化學習訓練框架 ROLL 形成了強強組合：

• ROLL 專注訓練策略（RL框架、算法、分布式優(yōu)化）
• ROCK 負責提供訓練環(huán)境（環(huán)境管理、狀態(tài)維護、彈性調(diào)度）

兩者互補，構(gòu)成了智能體訓練的算法引擎 + 環(huán)境燃料閉環(huán)，解決了長久以來阻礙智能體訓練鏈路的核心難題。

為什么環(huán)境服務是智能體進化的關鍵缺口？

大型語言模型正在從“語言工具”進化成“可與外界交互的智能體”——能運行代碼、調(diào)API、填表格、瀏覽網(wǎng)頁、操作軟件。

這類模型要真正領先，就必須在真實環(huán)境中接受成千上萬次交互訓練。

然而，真正能支撐數(shù)萬并發(fā)環(huán)境實例的系統(tǒng)極其復雜，往往會變成訓練流程的最大瓶頸。

一個高質(zhì)量的環(huán)境系統(tǒng)必須：

• 支撐數(shù)千到數(shù)萬獨立實例并發(fā)運行

• 提供毫秒級的反饋

• 能夠復現(xiàn)、回溯、重置任意狀態(tài)

• 接入不同類型的任務（網(wǎng)頁、代碼、工具鏈、多輪交互）

• 在長時間運行中保持穩(wěn)定

這寫條件對大多數(shù)團隊來說難度過高。而阿里推出 ROCK，就是為了解決這一行業(yè)共性難題。

ROLL 構(gòu)建在 Ray 之上，面向大模型的規(guī)�；� RL 訓練，提供了從小規(guī)模實驗到大規(guī)模生產(chǎn)訓練的全套能力：

• 支持數(shù)學、推理、代碼等多任務混合訓練

• 支持多輪對話、工具調(diào)用、代碼執(zhí)行等多步?jīng)Q策訓練

• 深度集成Megatron-Core、DeepSpeed等框架，支持多維并行

• 提供異步推理、異步訓練和高效的樣本管理機制

• 使用極簡的通用接口 GEM（reset/step），讓環(huán)境適配更輕量

ROLL本質(zhì)是一臺高性能訓練發(fā)動機。但要運行發(fā)動機，必須有充足、穩(wěn)定、可擴展的環(huán)境作為燃料——這正是ROCK的使命。

把智能體訓練環(huán)境做成可擴展的“工廠系統(tǒng)”

ROCK（Reinforcement Open Construction Kit）定位明確：用工程化方式解決環(huán)境規(guī)模瓶頸。

依托 Ray，ROCK 可以把底層資源抽象成一個統(tǒng)一的環(huán)境資源池，其中包括：

• 修改配置即可在幾分鐘內(nèi)啟動成千上萬的并行環(huán)境

• 同時支持同構(gòu)和異構(gòu)環(huán)境在一套集群中混跑

這大幅降低了 Agent 訓練從單機實驗到集群規(guī)模之間的門檻。

傳統(tǒng)的分布式環(huán)境很難調(diào)試，而 ROCK 支持通過 SDK 或 HTTP API 遠程交互，并可查看環(huán)境文件系統(tǒng)、運行日志、進程狀態(tài)。除此之外還能實時修改環(huán)境變量、控制環(huán)境行為。

ROCK 還設計了三種使用模式，包括：

• 本地獨立環(huán)境：快速驗證依賴、測試環(huán)境行為

• 本地集成調(diào)試：與ROLL對接，測試完整鏈路

• 云端規(guī)模化部署：無需改代碼，自動擴展到成千上萬實例

Rock & Roll，兩者配合，形成了一套面向智能體時代的訓練閉環(huán)，讓流程變得可復制、可擴展、可工業(yè)化。Roll 提供大規(guī)模RL訓練引擎，讓模型學會正確決策；ROCK 提供可擴展、多環(huán)境的訓練場，讓交互數(shù)據(jù)更穩(wěn)定。

無論是研究人員、系統(tǒng)架構(gòu)師，還是獨立開發(fā)者，這套工具鏈都是邁向 Agentic AI 時代的關鍵基建。

參考資料：

https://mp.weixin.qq.com/s/yX-0TBFWPCIJES17aJnXrA

https://alibaba.github.io/ROCK/docs/Getting%20Started/rockroll/

https://github.com/alibaba/ROCK