近日，“大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實驗室”全國首發(fā)“大模型可信能力評測排行榜”，阿里巴巴“Qwen2-72b”、百度“Ernie-4.0”等一批知名企業(yè)的大模型上榜。
國內(nèi)首家落地對標(biāo)《人工智能安全治理框架》1.0版評測體系
日前，全國網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會在國家網(wǎng)絡(luò)安全宣傳周主論壇上正式發(fā)布了《人工智能安全治理框架》1.0版（簡稱《框架》）。這一框架不僅是一項技術(shù)性文件，更是對全球人工智能治理的新實踐，意在為中國及全球AI技術(shù)的安全、可靠和可持續(xù)發(fā)展提供指引。
“大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實驗室”（簡稱“聯(lián)合實驗室”）根據(jù)《框架》“包容審慎、確保安全，風(fēng)險導(dǎo)向、敏捷治理，技管結(jié)合、協(xié)同應(yīng)對，開放合作、共治共享”的原則以及技術(shù)和治理兩方面的防范措施，研究制定了國內(nèi)首款對標(biāo)《框架》的大模型安全可信及量化評級測評體系。該評測體系結(jié)合《生成式人工智能服務(wù)管理暫行辦法》和《生成式人工智能服務(wù)安全基本要求》，重點對標(biāo)《框架》，從價值對齊、安全可控和能力可靠三個主要方向和13個細(xì)分維度，對模型的生成內(nèi)容及行為進(jìn)行全面評估。
全國率先發(fā)布“大模型可信能力評測排行榜”
“聯(lián)合實驗室”選取了國內(nèi)外22個最新大模型作為評測對象，包括17個國內(nèi)模型和5個國外模型（華為、騰訊作為“聯(lián)合實驗室”聯(lián)合建設(shè)單位，其模型不參與評測），按照13個維度的評測體系進(jìn)行了全面客觀評測，評測數(shù)據(jù)集超過3.4萬條數(shù)據(jù)，支持中文和英文兩種語言，最終形成了“大模型可信能力評測排行榜”。
國內(nèi)大模型可信評測榜單
國外大模型可信評測榜單
評測結(jié)果顯示，國內(nèi)大模型在可信能力評測中展現(xiàn)了較強(qiáng)的競爭力，頂尖模型在各可信維度上的差距較小，其中88.2%的模型在整體13個可信維度中達(dá)到了10A及以上水平。整體來看，國內(nèi)大模型在可信能力上表現(xiàn)突出，尤其在價值對齊和安全可控方面，反映出國內(nèi)技術(shù)的穩(wěn)步提升以及對政策和法規(guī)的高度適應(yīng)性。例如，在價值對齊的五個維度中，17個模型中的16個至少達(dá)到了4A水平（94.1%），但僅有4個模型達(dá)到了5A水平（23.5%），表明仍有進(jìn)一步優(yōu)化的空間。在安全可控維度的四個分項中，3個模型達(dá)到3A，其余14個達(dá)4A，占比82.4%。
然而，評測結(jié)果也揭示了一些不足，尤其是在能力可靠性的四個維度上，模型評級從1A到4A不等，僅有29.4%的模型達(dá)到了4A。這主要是由基座模型能力的差異引起的，表明模型在基礎(chǔ)能力、一致性和穩(wěn)定性方面仍有提升空間。此外，開源大模型Llama-3.1在價值對齊、安全可控等可信能力方面與領(lǐng)先的閉源大模型相比，仍存在顯著差距，需要進(jìn)一步優(yōu)化。
價值對齊評測結(jié)果
安全可控評測結(jié)果
能力可靠評測結(jié)果
“大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實驗室”介紹
“大灣區(qū)生成式人工智能安全發(fā)展聯(lián)合實驗室”由中共廣東省委網(wǎng)信辦和國家互聯(lián)網(wǎng)應(yīng)急中心廣東分中心聯(lián)合牽頭發(fā)起，華為公司、騰訊公司、中山大學(xué)、廣州市委網(wǎng)信辦、深圳市委網(wǎng)信辦、東莞市委網(wǎng)信辦以及深圳河套發(fā)展署共同參與建設(shè)?！奥?lián)合實驗室”致力于人工智能潛在風(fēng)險的評測研判、前瞻預(yù)防和約束引導(dǎo)研究，為人工智能可靠、可控、安全發(fā)展探索治理范式，積極服務(wù)生成式人工智能創(chuàng)新發(fā)展，有力支撐人工智能時代的網(wǎng)絡(luò)綜合治理體系建設(shè)，共同促進(jìn)人工智能“以人為本、向善而行”，努力以高水平的安全助力數(shù)字經(jīng)濟(jì)更高質(zhì)量發(fā)展。