中文字幕人妻日韩久久久,国产一区二区在线无码

作者 / 技術(shù)與社會部 Anoop Sinha 以及 Google Research、Responsible AI 和以人為本技術(shù)團隊 Marian Croak

標(biāo)準(zhǔn)基準(zhǔn)是衡量重要產(chǎn)品質(zhì)量的公認方法，存在于許多領(lǐng)域。一些標(biāo)準(zhǔn)基準(zhǔn)用于衡量安全性:例如，當(dāng)汽車制造商宣傳 "整體安全評分五星" 時，會引用某項基準(zhǔn)。機器學(xué)習(xí) (ML) 和 AI 技術(shù)領(lǐng)域已經(jīng)存在標(biāo)準(zhǔn)基準(zhǔn):例如，MLCommons Association 運用 MLPerf 基準(zhǔn)，來衡量如 Google 的 TPU 等尖端 AI 硬件的速度。然而，盡管圍繞 AI 安全已經(jīng)做了大量工作，目前仍然沒有類似的 AI 安全標(biāo)準(zhǔn)基準(zhǔn)。

MLCommons
https://mlcommons.org/en/
MLPerf
https://mlcommons.org/en/news/mlperf-inference-storage-q323/
AI 安全
https://blog.google/technology/ai/our-responsible-approach-to-building-guardrails-for-generative-ai/

我們很高興能夠為非營利組織 MLCommons Association 開展標(biāo)準(zhǔn) AI 安全基準(zhǔn)制定的工作提供支持。制定有效且值得信賴的基準(zhǔn)，不僅要有先進的 AI 安全測試技術(shù)，還需要綜合廣泛的觀點。MLCommons 的工作旨在匯集學(xué)術(shù)界和業(yè)界的專家研究人員來制定衡量 AI 系統(tǒng)安全性的標(biāo)準(zhǔn)基準(zhǔn)，并以每個人都能理解的分?jǐn)?shù)呈現(xiàn)。我們鼓勵社區(qū)的所有成員 (從 AI 研究人員到政策專家)加入我們，為這項工作奉獻自己的力量。

加入我們
https://mlcommons.org/ai-safety

為什么要制定 AI 安全基準(zhǔn)？

像大多數(shù)先進技術(shù)一樣，AI 具有帶來巨大好處的潛力，但是如果缺乏適當(dāng)?shù)募s束，也可能會導(dǎo)致負面結(jié)果。例如，AI 技術(shù)可以在各種活動中輔助人類提高生產(chǎn)力 (如提高健康診斷的準(zhǔn)確性和研究疾病、分析能源使用情況等)。然而，如果沒有足夠的預(yù)防措施，AI 也可能被用來支持有害或惡意活動，并導(dǎo)致存在偏見或令人反感的響應(yīng)。

改善健康診斷
https://blog.google/technology/health/how-ai-can-improve-health-for-everyone-everywhere/
能源使用情況
https://blog.google/outreach-initiatives/sustainability/google-transportation-energy-emissions-reduction/

通過為不同類別提供標(biāo)準(zhǔn)的安全措施，如有害使用、超范圍響應(yīng)、AI 控制風(fēng)險等，標(biāo)準(zhǔn)的 AI 安全基準(zhǔn)可以幫助社會從 AI 中獲益，同時確保采取足夠的預(yù)防措施來減輕這些風(fēng)險。最初，新興的安全基準(zhǔn)有助于推動 AI 安全研究，并為負責(zé)任的 AI 開發(fā)提供信息。隨著時間推移和技術(shù)成熟，這些基準(zhǔn)也可以為 AI 系統(tǒng)的用戶和購買者提供信息，最終，可能成為政策制定者的寶貴工具。

在計算機硬件領(lǐng)域，基準(zhǔn) (如 SPEC、TPC) 現(xiàn)已展現(xiàn)出驚人的能力，讓整個行業(yè)能夠在追求進步的過程中，保持研究、工程甚至營銷部門的步調(diào)一致。我們相信，標(biāo)準(zhǔn) AI 安全基準(zhǔn)有助于在這一重要領(lǐng)域?qū)崿F(xiàn)同樣的目標(biāo)。

SPEC
https://en.wikipedia.org/wiki/Standard_Performance_Evaluation_Corporation
TPC
https://en.wikipedia.org/wiki/Transaction_Processing_Performance_Council

標(biāo)準(zhǔn) AI 安全基準(zhǔn)是什么？

在學(xué)術(shù)研究和企業(yè)工作中，人們開展了一系列 AI 安全測試 (如 RealToxicityPrompts、Stanford HELM 公平性、偏差、毒性測量以及 Google 的生成式 AI 指引)。但是，大多數(shù)測試都側(cè)重于為 AI 系統(tǒng)提供提示，并對輸出進行算法評分，雖然這是一個有用的開端，但僅限于測試提示的范圍。此外，他們通常使用開放數(shù)據(jù)集進行提示和響應(yīng)，而這些提示和響應(yīng)可能已被 (通常是無意中) 納入訓(xùn)練數(shù)據(jù)中。

RealToxicityPrompts
https://arxiv.org/abs/2009.11462
Stanford HELM
https://crfm.stanford.edu/2022/11/17/helm.html
Google 的生成式 AI 指引
https://blog.google/technology/ai/our-responsible-approach-to-building-guardrails-for-generative-ai/

MLCommons 提議，按多方利益相關(guān)者流程選擇測試，并按子集分組，以衡量特定 AI 用例的安全性，并將這些需要有專業(yè)技術(shù)背景才能理解的測試結(jié)果轉(zhuǎn)化為每個人都能理解的分?jǐn)?shù)。MLCommons 建議打造一個集中現(xiàn)有測試的平臺，并鼓勵開展更嚴(yán)格的測試，以推動先進技術(shù)的發(fā)展。用戶既可以通過在線測試生成和查看分?jǐn)?shù)，也可以借助私人測試引擎的離線測試來訪問這些測試。

共同努力下的 AI 安全基準(zhǔn)

負責(zé)任的 AI 開發(fā)者使用多種安全措施，包括自動測試、手動測試、紅隊測試 (red teaming，其中人類測試人員試圖產(chǎn)生對抗性結(jié)果)、軟件方面的限制、數(shù)據(jù)和模型最佳實踐以及審計。但是，確定是否已采取足夠的預(yù)防措施可能具有挑戰(zhàn)性，尤其是在開發(fā) AI 系統(tǒng)的公司群體不斷發(fā)展且具有多元化特點的情況下。標(biāo)準(zhǔn) AI 基準(zhǔn)能夠提供強大的工具，幫助供應(yīng)商和用戶衡量 AI 安全性，以及鼓勵資源生態(tài)系統(tǒng)和專注于提高 AI 安全性的專業(yè)提供商，推進社區(qū)以負責(zé)任的方式發(fā)展。

同時，如果沒有社區(qū)參與，就無法制定成熟、有效且值得信賴的 AI 安全基準(zhǔn)。這項工作需要研究人員和工程師齊心協(xié)力，為安全測試技術(shù)提供創(chuàng)新且實用的改進，使測試更加嚴(yán)格高效。同樣，企業(yè)也需要團結(jié)一致，提供測試數(shù)據(jù)、工程支持和經(jīng)濟支持。AI 安全的某些方面可能具有主觀性，要建立得到廣泛共識支持的可信基準(zhǔn)需要考慮多方觀點，包括公眾代言人、政策制定者、學(xué)者、工程師、數(shù)據(jù)工作者、商界領(lǐng)袖和企業(yè)家的觀點。

Google 對 MLCommons 的支持

Google 以 2018 年宣布的 AI 準(zhǔn)則為基礎(chǔ)，致力于以安全、可靠和值得信賴的特定標(biāo)準(zhǔn)開發(fā)和使用 AI (您可以參閱我們 2019 年、2020 年、2021 年、2022 年的更新)。我們還在關(guān)鍵承諾方面取得了重大進展，這將幫助您大膽且負責(zé)任地開發(fā) AI，從而造福所有人。

宣布
https://blog.google/technology/ai/ai-principles/
AI 準(zhǔn)則
https://ai.google/responsibility/principles/
2019 年
https://ai.google/static/documents/ai-principles-2019-progress-update.pdf
2020 年
https://ai.google/static/documents/ai-principles-2020-progress-update.pdf
2021 年
https://ai.google/static/documents/ai-principles-2021-progress-update.pdf
2022 年
https://ai.google/static/documents/ai-principles-2022-progress-update.pdf
進展
https://static.googleusercontent.com/media/publicpolicy.google/en//resources/whcommitments.pdf

Google 正在以多種方式支持 MLCommons Association 在制定 AI 安全基準(zhǔn)方面所作的工作。

測試平臺:我們聯(lián)合其他公司提供資金，支持測試平臺的開發(fā)。
技術(shù)專長和資源:我們不斷提供技術(shù)專長和資源，例如 Monk 膚色示例數(shù)據(jù)集，以幫助確保基準(zhǔn)設(shè)計優(yōu)良且有效。
數(shù)據(jù)集:我們正在為多語言表征偏差以及針對刻板印象危害 (如 SeeGULL 和 SPICE) 的外部測試提供內(nèi)部數(shù)據(jù)集。此外，我們還共享以負責(zé)任和包容性的方式收集人工注釋為重點的數(shù)據(jù)集，如 DICES 和 SRP。

Monk 膚色量表示例數(shù)據(jù)集
https://skintone.google/mste-dataset
SPICE
https://github.com/google-research-datasets/SPICE/tree/main
DICES
https://arxiv.org/abs/2306.11247
SRP
https://www.kaggle.com/datasets/google/jigsaw-specialized-rater-pools-dataset

未來方向

我們相信，這些基準(zhǔn)有助于推進 AI 安全研究，確保以負責(zé)任的方式開發(fā)和部署 AI 系統(tǒng)。AI 安全屬于集體行動問題。前沿模型論壇 (Frontier Model Forum) 和 AI 伙伴關(guān)系 (Partnership on AI) 等團體也在重要的標(biāo)準(zhǔn)化舉措方面發(fā)揮著領(lǐng)導(dǎo)作用。我們很高興從一開始便與這些團體和 MLCommons 一起開展這項工作，也期待通過更多的共同努力，來促進以負責(zé)任的方式開發(fā)新的生成式 AI 工具。歡迎您持續(xù)關(guān)注我們，及時獲悉更多資訊。

集體行動問題
https://blog.google/technology/ai/a-shared-agenda-for-responsible-ai-progress/
前沿模型論壇
https://blog.google/outreach-initiatives/public-policy/google-microsoft-openai-anthropic-frontier-model-forum/
AI 伙伴關(guān)系
https://partnershiponai.org/

致謝

非常感謝為這項工作做出貢獻的 Google 團隊成員: Peter Mattson、Lora Aroyo、Chris Welty、Kathy Meier-Hellstern、Parker Barnes、Tulsee Doshi、Manvinder Singh、Brian Goldman、Nitesh Goyal、Alice Friend、Nicole Delange、Kerry Barker、Madeleine Elish、Shruti Sheth、Dawn Bloxwich、William Isaac、Christina Butterfield。

原文標(biāo)題：攜手 MLCommons，制定有效且值得信賴的 AI 安全基準(zhǔn)

文章出處：【微信公眾號：谷歌開發(fā)者】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。舉報投訴