一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深度學(xué)習(xí)會是犯罪行為嗎?歐洲“史上最嚴”的數(shù)據(jù)保護條例實施

DPVg_AI_era ? 來源:未知 ? 作者:李倩 ? 2018-07-03 11:22 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

深度學(xué)習(xí)會是犯罪行為嗎?歐洲“史上最嚴”的數(shù)據(jù)保護條例今天實施,其中提及了對算法的可解釋性。華盛頓大學(xué)計算機科學(xué)教授Pedro Domingos曾發(fā)推特說,條例會讓深度學(xué)習(xí)成為違法行為。但實際上并非如此。

今天,歐洲“史上最嚴”的數(shù)據(jù)保護條例——通用數(shù)據(jù)保護條例(The EU General Data Protection Regulation,GDPR)生效。

GDPR有多嚴格?對于違規(guī)收集個人信息的互聯(lián)網(wǎng)公司,最高可罰款2000萬歐元或全球營業(yè)額的4%。

這個數(shù)字看上去沒什么概念。舉個例子,微軟2017年收入900億美元,4%就是36億美元;亞馬遜2017年的收入為1779億美元,若罰款4%就是70億美元。

對大公司罰再多的款看上去也跟開發(fā)者無關(guān),畢竟又罰不到開發(fā)者身上。

那就錯了。

在今年初,華盛頓大學(xué)人工智能專家Pedro Domingos教授的發(fā)推特:GDPR要求算法有可解釋性,這讓深度學(xué)習(xí)成了違法行為!

當(dāng)時這條推特就引起了恐慌,引發(fā)各種律師出來進行解讀。

最新的消息是,在ICAN咨詢公司的GDPR交付經(jīng)理(Delivery Manager)說,GDPR不會停止機器學(xué)習(xí)和深度學(xué)習(xí),也不會成為它們的危險。

看上去松了口氣,但對AI產(chǎn)業(yè)界來講,GDPR帶來的影響才剛剛開始。

深度學(xué)習(xí)的“大敵”:你給我解釋解釋可解釋

Domingos教授認為“深度學(xué)習(xí)違法”,是因為GDPR中的第13至15條規(guī)定,公司有義務(wù)提供對個人算法決策的詳細解釋,或關(guān)于算法如何作出決定的一般信息——這是爭論的焦點。

很多人對Domingos教授的話感到擔(dān)憂:GDPR是否真的需要機器學(xué)習(xí)算法的解釋?

首先應(yīng)該區(qū)分一下“解釋”的范圍:

全局解釋(Global explanation):機器學(xué)習(xí)的算法是如何工作的(這對于深度學(xué)習(xí)等復(fù)雜方法來說可能非常困難)。

局部解釋(Local explanation):影響特定人員的某個特定決策的因素有哪些(比較容易)。已經(jīng)有一些算法,如LIME:Local Interpretable Model-Agnostic Explanations,它可以解釋任何機器學(xué)習(xí)分類器的預(yù)測。例如,如果一個人的抵押貸款被拒,TA是否應(yīng)該知道是哪些因素促成了這一決定?一方面,如果你被算法拒絕,你想知道為什么,并有機會上訴。另一方面,足夠的解釋可能會使決策邊界被反向設(shè)計,并允許潛在的邪惡行為者對系統(tǒng)進行博弈。在很多情況下這是非常不可取的(例如安全應(yīng)用)。

歐盟律師、牛津大學(xué)人工智能和機器人技術(shù)法律與倫理研究員Sandra Wachter博士認為,GDPR要求數(shù)據(jù)控制器實施適當(dāng)?shù)拇胧﹣肀U蠑?shù)據(jù)主體的權(quán)利自由和合法權(quán)益。而第15條意味著一種更普遍的監(jiān)督形式,而不是對某一特定決定作出解釋的權(quán)利。

說起來有點繞,直白點的意思是:

在GDPR中,解釋的權(quán)利不具有法律約束力,但可以自愿提供。

Sandra Wachter博士還認為,GDPR很可能只向個人提供關(guān)于自動決策和系統(tǒng)功能存在的信息,但是沒有關(guān)于決策基本原理的解釋。事實上,在整個GDPR中,“解釋權(quán)”只在第71章的規(guī)定中提到過一次,而這一規(guī)定缺乏建立獨立權(quán)利的法律權(quán)力。

數(shù)據(jù)研究公司MediaGamma聯(lián)合創(chuàng)始人、CEO Rael Cline認為,深度學(xué)習(xí)僅僅是一種使用大量數(shù)據(jù)(標記或未標記)的算法。由于其有效性與數(shù)據(jù)的數(shù)量和質(zhì)量以及這些數(shù)據(jù)集的危害程度有關(guān),在最壞的情況下,GDPR可能影響算法的準確性并限制其商業(yè)價值。

“使用未經(jīng)消費者同意的數(shù)據(jù)在GDPR下是非法的,但深度學(xué)習(xí)的方法不違法。值得注意的是,在許多用例中,GDPR的影響非常?。ɡ?,工廠的數(shù)據(jù)是由機器生成的,而不是終端用戶的)。”

ICAN咨詢公司GDPR交付經(jīng)理Can Huzmeli也說,GDPR不會成為機器學(xué)習(xí)和深度學(xué)習(xí)的危險。

“GDPR關(guān)注的是作為系統(tǒng)輸入的數(shù)據(jù),以及作為處理結(jié)果共享數(shù)據(jù)的人。”Huzmeli說?!爸灰愕臄?shù)據(jù)處理方式在隱私方面是安全的,你就可以使用任何算法?!?/p>

在這種情況下,只要你有輸入的合法依據(jù),也不非法共享算法的輸出,那么就是安全的。

Huzmeli也說,這確實給機器學(xué)習(xí)系統(tǒng)帶來了額外的負擔(dān),因為它們通常使用爬蟲來收集數(shù)據(jù)。但是,他們已經(jīng)使用過濾器來清理數(shù)據(jù)。因此,GDPR中添加的唯一額外一項規(guī)定是在數(shù)據(jù)集結(jié)束之前過濾敏感數(shù)據(jù)。

“GDPR正將必要的意識引入到生態(tài)系統(tǒng)中,并通過提醒公司在隱私領(lǐng)域承擔(dān)多大的責(zé)任來引導(dǎo)它們。”

Sandra Wachter博士也認為,基于人工智能的系統(tǒng)往往是不透明的“黑盒子”,難以仔細檢查。隨著我們越來越多的經(jīng)濟、社會和公民交互——從信貸市場和健康保險應(yīng)用到招聘和刑事司法系統(tǒng)——都是通過算法進行的,人們對技術(shù)背后缺乏透明度的擔(dān)憂越來越多,對如何做出決定的理解很少。

“我們需要適當(dāng)?shù)谋Wo措施來確保正在做出的關(guān)于我們的決定實際上是公正和準確的?!?/p>

應(yīng)對“史上最嚴”條例,企業(yè)應(yīng)關(guān)注9大要點

之所以被稱為“史上最嚴”數(shù)據(jù)保護條例,因為GDPR規(guī)定,對違規(guī)收集個人信息、沒有保障數(shù)據(jù)安全的互聯(lián)網(wǎng)公司,最高可罰款2000萬歐元或全球營業(yè)額的4%(以較高者為準)。

舉例來說,亞馬遜2017年的收入為1779億美元,如果亞馬遜非法收集用戶數(shù)據(jù),那么罰款2000萬歐元就太少了,應(yīng)該是年收入的4%,即70億美元。百度2017年的利潤是28.1億美元,對亞馬遜的罰款相當(dāng)于是2.5個百度。

罰款只是極端情況,GDPR對AI公司的影響遠比罰款復(fù)雜的多,總結(jié)下來有以下九大影響:

1. 要求公司手工審查重要的算法決策增加了AI的整體成本。

在GDPR中,最直接針對AI使用的是第22條,即要求公司必須讓人類審查某些算法的決策。這一限制大大增加了人工成本,阻礙AI的使用——開發(fā)AI的一個主要動機就是自動化,如果由人類來完成的話將會更慢、更昂貴、更難以完成。

2.知情權(quán)可能導(dǎo)致降低AI的準確性。

GDPR的第13至15條規(guī)定,公司有義務(wù)提供對個人算法決策的詳細解釋,或關(guān)于算法如何作出決定的一般信息。前者可能破壞算法的準確性,甚至適得其反,導(dǎo)致不公平的決策。因為在算法決策中準確性和透明度之間存在權(quán)衡。

GDPR規(guī)定,數(shù)據(jù)控制者必須以清楚、簡單、明了的方式向個人說明其個人數(shù)據(jù)是如何被收集處理的??梢韵胍姷氖?,當(dāng)前企業(yè)普遍應(yīng)用的隱私政策必須進行大幅改革,才能滿足合規(guī)要求。如果涉及自動化的數(shù)據(jù)處理,包括數(shù)據(jù)畫像活動,則需要提供基本的算法邏輯以及針對個人的運算結(jié)果。

3.被遺忘權(quán)可能會破壞AI系統(tǒng)。

第17(1)條中的“被遺忘權(quán)”(right to erasure)也可能損害AI。所有使用無監(jiān)督機器學(xué)習(xí)的AI系統(tǒng)都被要求“記住”它們用來自我訓(xùn)練的所有數(shù)據(jù),以維持從那些數(shù)據(jù)中得到的規(guī)則。但是,清楚這些數(shù)據(jù)可能導(dǎo)致AI的準確率降低,甚至完全失效。

4.禁止重新利用數(shù)據(jù)將限制AI的創(chuàng)新。

GDPR第6條規(guī)定,除了首次收集數(shù)據(jù)之外的任何其他目的都禁止使用數(shù)據(jù),因此企業(yè)難以利用數(shù)據(jù)進行創(chuàng)新。

5.模糊的規(guī)則可能阻止公司使用去識別數(shù)據(jù)(de-identified data)。

雖然GDPR允許使用去識別的數(shù)據(jù),但缺乏明確的去識別標準,這可能削弱公司對數(shù)據(jù)進行去識別的動力。

6.GDPR的復(fù)雜性會提高使用AI的成本。

GDPR是一項非常復(fù)雜的法規(guī),可能難以遵循。開發(fā)或使用AI的公司需要有專門的人員和技術(shù)來確保它們符合GDPR,這將提高使用AI的成本。

7. GDPR增加了使用AI的企業(yè)面臨的監(jiān)管風(fēng)險。

8.數(shù)據(jù)本地化的要求提高了AI成本。

GDPR第5條概述了與個人數(shù)據(jù)處理相關(guān)的原則,對歐盟以外的個人數(shù)據(jù)流動有嚴格的控制,例如要求企業(yè)必須使用歐盟國家的數(shù)據(jù)中心。這減少了云服務(wù)提供商之間的競爭,但增加了數(shù)據(jù)處理的成本。

9.“數(shù)據(jù)可攜權(quán)”將加劇服務(wù)提供商的競爭。

“個人數(shù)據(jù)可攜權(quán)”(第20條)是指用戶可以無障礙地將其個人數(shù)據(jù)從一個信息服務(wù)提供者處轉(zhuǎn)移至另一個信息服務(wù)提供者。例如,F(xiàn)acebook的用戶可以將其賬號中的照片以及其他資料轉(zhuǎn)移至其他社交網(wǎng)絡(luò)服務(wù)提供商。該權(quán)利不僅適用于社交網(wǎng)絡(luò)服務(wù),還包括云計算、網(wǎng)絡(luò)服務(wù)、手機應(yīng)用等自動數(shù)據(jù)處理系統(tǒng)。

AI公司是怎么應(yīng)對的?

GDPR對AI產(chǎn)業(yè)界的影響重大,受該條例管轄的不僅僅是傳統(tǒng)意義上的互聯(lián)網(wǎng)公司或AI公司,哪怕其從事的業(yè)務(wù)并非狹隘上的互聯(lián)網(wǎng)服務(wù),只要涉及了用戶數(shù)據(jù),也在GDPR管轄范圍之內(nèi)。

以下是將適用于歐洲用戶的一些關(guān)鍵的GDPR要求:

公司必須建立允許用戶查看他們存儲的個人信息的工具。

公司必須允許用戶刪除、糾正或移動他們的數(shù)據(jù)。

公司必須在72小時內(nèi)將數(shù)據(jù)泄露通知有關(guān)部門。

公司必須獲得肯定同意或證明他們有一個收集用戶數(shù)據(jù)的“合法依據(jù)”。

在GDPR制定過程中,一些公司就已經(jīng)開始準備應(yīng)對措施。

微軟

微軟的副首席法律顧問Julie Brill在一篇官方博客中透露,微軟已經(jīng)為GDPR項目投入了1600多名工程師,他們將為全球客戶提供正在為歐洲建設(shè)的符合GDPR的工具,微軟的客戶可以查看、刪除和移動他們的個人數(shù)據(jù)。

亞馬遜

3月底,亞馬遜宣布AWS已經(jīng)為GDPR做好準備。該公司解釋說:“AWS服務(wù)使您能夠以您需要的方式來實施您自己的安全措施,以遵守GDPR。”

Facebook

扎克伯格5月22日在歐洲議會聽證會中表示,F(xiàn)acebook已經(jīng)為GDPR做好準備,并且“很大一部分”用戶已經(jīng)被提示更新隱私設(shè)置。奇怪的是,F(xiàn)acebook在這個關(guān)頭在歐洲啟用了人臉識別認證

Facebook還將美國、加拿大和歐盟國之外的約15億用戶的注冊地從都柏林移至美國。據(jù)路透社報道,這一舉動意味著非洲、亞洲、澳大利亞和拉丁美洲的用戶不受GDPR的影響。Facebook表示,它正在向世界各地的所有人提供隱私工具,但具體的隱私政策在各個國家不一樣。

Apple

早在2011年發(fā)布的iOS 5,蘋果就在其設(shè)備之間發(fā)送的iMessage中添加了端到端加密。與Facebook和谷歌不同,蘋果公司不依賴于廣告賺錢。

對于GDPR,蘋果已更新其隱私條款并推出了新的用戶頁面。歐洲的用戶現(xiàn)在可以下載蘋果公司對其收集的所有數(shù)據(jù)。這些數(shù)據(jù)由照片、Apple Pay,聯(lián)系人等服務(wù)收集。用戶下載的個人數(shù)據(jù)以壓縮文件夾的形式出現(xiàn),其中包含可重復(fù)使用的CSV和JSON文件。

蘋果還加入了暫時停用帳戶的功能。停用后,Apple服務(wù)將停止,蘋果公司還將停止為其機器學(xué)習(xí)和AI系統(tǒng)使用客戶數(shù)據(jù)。這些功能將在未來幾個月內(nèi)推廣到全球的所有帳戶。

Google

谷歌CEO Sundar Pichai不久前表示:“我們的大部分廣告業(yè)務(wù)都來自搜索,我們依賴非常有限的信息——基本上就是關(guān)鍵詞——來顯示相關(guān)廣告或產(chǎn)品?!?他補充說,他認為GDPR對于互聯(lián)網(wǎng)用戶來說基本上是件好事。

Twitter

Twitter在GDPR生效之前更新了服務(wù)條款和隱私政策。Twitter在官方博客中解釋道:“在該日或該日之后使用我們的服務(wù),您將同意這些修訂?!?/p>

但Twitter沒有清楚地說明更新的內(nèi)容,只說更新“關(guān)注我們?yōu)槟峁┑挠嘘P(guān)您的個人數(shù)據(jù)的控制措施,以及Twitter如何公開分享您的數(shù)據(jù)”。由于GDPR,Twitter還關(guān)閉了Roku,Android TV和Xbox版的Twitter應(yīng)用。

Rael Cline創(chuàng)辦的MediaGamma公司使用人工智能做出實時決策,他們的產(chǎn)品之一是幫助廣告商根據(jù)用戶的興趣為相關(guān)的用戶投放相關(guān)廣告。“我們必須做出一些改變,以確保能遵守GDPR,做法包括限制我們持有授權(quán)的數(shù)據(jù)的時間,以及確保我們可以在客戶要求的情況下刪除特定用戶的所有記錄?!盧ael Cline說。

同時,Rael Cline也認為,GDPR給人們提供了一個利用人工智能填補空白的機會。例如,在在線廣告行業(yè)中,隨著同意(企業(yè)新隱私條款)的用戶數(shù)量的減少,我們可以應(yīng)用人工智能來對這些已同意的用戶的行為進行建模,然后根據(jù)共享屬性找到相似的用戶,這被稱為“l(fā)ookalike”。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標題:【深度學(xué)習(xí)不是犯罪】歐盟祭出最嚴數(shù)據(jù)保護法:專家解讀 GDPR

文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    史上電池新國標,30%企業(yè)恐出局

    電子發(fā)燒友網(wǎng)報道(文/黃山明)近日,被業(yè)內(nèi)稱為“史上電池安全令”的《電動汽車用動力蓄電池安全要求》(GB 38031-2025)發(fā)布,并將于2026年7月實施。本次新標準也進行多項調(diào)整,包括
    的頭像 發(fā)表于 07-02 01:01 ?6993次閱讀

    史上電池安全令”落地,ZAD2108溫度采集器助力測試

    近日,工信部正式發(fā)布《電動汽車用動力蓄電池安全要求》。這一新規(guī)因其嚴格性被稱為“史上電池安全令”,并將于2026年7月1日起正式實施。新國標首次將“不起火、不
    的頭像 發(fā)表于 04-23 11:41 ?369次閱讀
    “<b class='flag-5'>史上</b>最<b class='flag-5'>嚴</b>電池安全令”落地,ZAD2108溫度采集器助力測試

    嵌入式AI技術(shù)之深度學(xué)習(xí)數(shù)據(jù)樣本預(yù)處理過程中使用合適的特征變換對深度學(xué)習(xí)的意義

    ? 作者:蘇勇Andrew 使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)機器學(xué)習(xí),網(wǎng)絡(luò)的每個層都將對輸入的數(shù)據(jù)做一次抽象,多層神經(jīng)網(wǎng)絡(luò)構(gòu)成深度學(xué)習(xí)的框架,可以深度理解
    的頭像 發(fā)表于 04-02 18:21 ?866次閱讀

    智慧路燈如何提升破案率

    智慧路燈提升破案率這一現(xiàn)象,背后實則蘊含著技術(shù)、社會與倫理三者之間的深度博弈。其并非僅僅涉及安裝若干攝像頭及增添幾個傳感器這般簡易,而是對犯罪行為的發(fā)現(xiàn)、追蹤與應(yīng)對方式進行了根本性變革。以下將對其中
    的頭像 發(fā)表于 03-04 23:28 ?158次閱讀
    智慧路燈如何提升破案率

    Commvault前沿技術(shù)助力數(shù)據(jù)保護合規(guī)

    2025年1月1日,《網(wǎng)絡(luò)數(shù)據(jù)安全管理條例》(以下簡稱《條例》)正式施行?!?b class='flag-5'>條例》是《網(wǎng)絡(luò)安全法》、《數(shù)據(jù)安全法》和《個人信息
    的頭像 發(fā)表于 02-21 16:38 ?602次閱讀

    NPU在深度學(xué)習(xí)中的應(yīng)用

    設(shè)計的硬件加速器,它在深度學(xué)習(xí)中的應(yīng)用日益廣泛。 1. NPU的基本概念 NPU是一種專門針對深度學(xué)習(xí)算法優(yōu)化的處理器,它與傳統(tǒng)的CPU和GPU有所不同。NPU通常具有高度并行的處理能
    的頭像 發(fā)表于 11-14 15:17 ?1877次閱讀

    GPU深度學(xué)習(xí)應(yīng)用案例

    GPU在深度學(xué)習(xí)中的應(yīng)用廣泛且重要,以下是一些GPU深度學(xué)習(xí)應(yīng)用案例: 一、圖像識別 圖像識別是深度學(xué)習(xí)
    的頭像 發(fā)表于 10-27 11:13 ?1320次閱讀

    激光雷達技術(shù)的基于深度學(xué)習(xí)的進步

    信息。這使得激光雷達在自動駕駛、無人機、機器人等領(lǐng)域具有廣泛的應(yīng)用前景。 二、深度學(xué)習(xí)技術(shù)的發(fā)展 深度學(xué)習(xí)是機器學(xué)習(xí)的一個分支,它通過模擬人
    的頭像 發(fā)表于 10-27 10:57 ?1046次閱讀

    FPGA加速深度學(xué)習(xí)模型的案例

    FPGA(現(xiàn)場可編程門陣列)加速深度學(xué)習(xí)模型是當(dāng)前硬件加速領(lǐng)域的一個熱門研究方向。以下是一些FPGA加速深度學(xué)習(xí)模型的案例: 一、基于FPGA的AlexNet卷積運算加速 項目名稱
    的頭像 發(fā)表于 10-25 09:22 ?1189次閱讀

    AI大模型與深度學(xué)習(xí)的關(guān)系

    人類的學(xué)習(xí)過程,實現(xiàn)對復(fù)雜數(shù)據(jù)學(xué)習(xí)和識別。AI大模型則是指模型的參數(shù)數(shù)量巨大,需要龐大的計算資源來進行訓(xùn)練和推理。深度學(xué)習(xí)算法為AI大模型
    的頭像 發(fā)表于 10-23 15:25 ?2861次閱讀

    FPGA做深度學(xué)習(xí)能走多遠?

    支持不同的數(shù)據(jù)精度、量化和激活函數(shù)等。這種靈活性使其能夠適應(yīng)各種深度學(xué)習(xí)任務(wù),為不同的應(yīng)用場景提供定制化的解決方案。 ? 低功耗:FPGA 是可編程的,可以在設(shè)計中僅使用所需的計算資源,從而避免不必要
    發(fā)表于 09-27 20:53

    深度識別人臉識別有什么重要作用嗎

    安全監(jiān)控領(lǐng)域,深度學(xué)習(xí)人臉識別技術(shù)可以用于實時監(jiān)控和分析視頻流,以識別特定的個人或行為模式。這對于防止犯罪、保護財產(chǎn)和人員安全至關(guān)重要。 2
    的頭像 發(fā)表于 09-10 14:55 ?1119次閱讀

    全球電池領(lǐng)域龍頭企業(yè)歐洲公司完成SAP代碼拆分

    最嚴格的數(shù)據(jù)法律《通用數(shù)據(jù)保護條例》(GDPR),并于2018年正式實施,由此掀起了數(shù)據(jù)合規(guī)熱潮
    的頭像 發(fā)表于 09-09 10:36 ?576次閱讀

    利用Matlab函數(shù)實現(xiàn)深度學(xué)習(xí)算法

    在Matlab中實現(xiàn)深度學(xué)習(xí)算法是一個復(fù)雜但強大的過程,可以應(yīng)用于各種領(lǐng)域,如圖像識別、自然語言處理、時間序列預(yù)測等。這里,我將概述一個基本的流程,包括環(huán)境設(shè)置、數(shù)據(jù)準備、模型設(shè)計、訓(xùn)練過程、以及測試和評估,并提供一個基于Mat
    的頭像 發(fā)表于 07-14 14:21 ?3609次閱讀

    基于Python的深度學(xué)習(xí)人臉識別方法

    基于Python的深度學(xué)習(xí)人臉識別方法是一個涉及多個技術(shù)領(lǐng)域的復(fù)雜話題,包括計算機視覺、深度學(xué)習(xí)、以及圖像處理等。在這里,我將概述一個基本的流程,包括
    的頭像 發(fā)表于 07-14 11:52 ?1681次閱讀