研究團(tuán)隊(duì)重點(diǎn)關(guān)注以下幾個(gè)方面的安全改進(jìn)：

1. 心理健康問(wèn)題，例如精神病或躁狂癥；

2. 對(duì)人工智能的情感依賴(lài)

官方表示，模型應(yīng)支持和尊重用戶(hù)在現(xiàn)實(shí)世界中的人際關(guān)系，更加關(guān)注用戶(hù)精神健康方面帶來(lái)的潛在風(fēng)險(xiǎn)。

五個(gè)改進(jìn)步驟

為了改進(jìn) ChatGPT 在每個(gè)優(yōu)先領(lǐng)域的響應(yīng)速度，團(tuán)隊(duì)遵循以下五個(gè)步驟：

1. 明確問(wèn)題 ——列出不同類(lèi)型的潛在危害。

2. 衡量風(fēng)險(xiǎn) —— 使用評(píng)估、真實(shí)對(duì)話的數(shù)據(jù)和用戶(hù)研究等工具了解風(fēng)險(xiǎn)。

3. 驗(yàn)證方法 ——與外部心理健康和安全專(zhuān)家一起審查定義和政策。

4. 降低風(fēng)險(xiǎn) ——對(duì)模型進(jìn)行后訓(xùn)練，減少不安全的結(jié)果。

5. 持續(xù)測(cè)量和迭代 ——驗(yàn)證緩解措施是否提高了安全性，并在需要的地方進(jìn)行迭代。

團(tuán)隊(duì)構(gòu)建并完善了詳細(xì)的指南，這些指南解釋了敏感對(duì)話的特征，幫助模型做出更恰當(dāng)?shù)幕貞?yīng)，并在部署前后跟蹤其性能。

在部署之前，團(tuán)隊(duì)會(huì)進(jìn)行結(jié)構(gòu)化測(cè)試（稱(chēng)為“離線評(píng)估”），重點(diǎn)關(guān)注特別困難或高風(fēng)險(xiǎn)的場(chǎng)景。研究人員會(huì)選擇一些對(duì)抗性示例來(lái)更精確地衡量進(jìn)展。

顯著改進(jìn)

研究表明，在討論精神健康癥狀方面，GPT-5 的“不符合預(yù)期”回復(fù)率降低了 65%。與 GPT-4o 相比，新的 GPT-5 模型減少了 39% 的“不符合預(yù)期”回應(yīng)。

在討論對(duì)人工智能情感依賴(lài)方面，模型的“不符合預(yù)期”響應(yīng)率降低了約 80%。新的 GPT-5 模型與 4o 相比，減少了 42% 的“不符合預(yù)期”答案。

對(duì)于表現(xiàn)出情感依賴(lài)的對(duì)話，研究人員會(huì)教導(dǎo)模型鼓勵(lì)與現(xiàn)實(shí)世界建立聯(lián)系：

對(duì)于與妄想信念相關(guān)的對(duì)話，模型會(huì)以安全、同理心的方式回應(yīng)：

與數(shù)百名專(zhuān)家合作

值得關(guān)注的是，OpenAI 建立了一個(gè)全球醫(yī)師網(wǎng)絡(luò)，由近 300 名執(zhí)業(yè)醫(yī)師和心理學(xué)家組成，超過(guò) 170 名臨床醫(yī)生支持了 chatGPT 在心理健康方面的研究。

精神科醫(yī)生和心理學(xué)家審查了超過(guò) 1800 條涉及嚴(yán)重心理健康問(wèn)題的模型回復(fù)，并將新的 GPT-5 聊天模型的回復(fù)與之前的模型進(jìn)行了比較。這些專(zhuān)家發(fā)現(xiàn)，與 GPT-40 相比，新模型有了顯著改進(jìn)，所有類(lèi)別的不良回復(fù)減少了 39% 至 52%。

官方表示，將繼續(xù)改進(jìn)分類(lèi)體系以及用于衡量和強(qiáng)化未來(lái)領(lǐng)域模型行為的技術(shù)系統(tǒng)。

參考資料：https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations/