一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

MaxCompute大數(shù)據(jù)安全方案介紹

電子設(shè)計(jì) ? 2018-10-29 09:51 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

MaxCompute 是一個(gè)支持多租戶的統(tǒng)一大數(shù)據(jù)處理平臺,不同的用戶對數(shù)據(jù)安全需求不盡相同。為了滿足不同租戶對數(shù)據(jù)安全的靈活需求,MaxCompute 支持項(xiàng)目空間級別的安全配置,ProjectOwner 可以定制適合自己的外部賬號支持和鑒權(quán)模型并且在某種程度上保障Project的數(shù)據(jù)安全。

通常情況下,常見的開發(fā)模式為__MaxCompute+DataWorks__方式,針對這種場景下數(shù)據(jù)安全方案如下:

一、禁止數(shù)據(jù)下載到本地

禁止數(shù)據(jù)流出或下載本地

方式①:

數(shù)據(jù)保護(hù)機(jī)制也被稱之為開啟項(xiàng)目空間數(shù)據(jù)保護(hù),可以通過MaxCompute console 開啟服務(wù)端禁止數(shù)據(jù)流出:

方式②:

那么更多開發(fā)者通過DataWorks進(jìn)行數(shù)據(jù)分析,通常會屏顯在IDE上并且可以下載結(jié)果,這種可以通過項(xiàng)目管理 》 項(xiàng)目配置中打開“在本項(xiàng)目中能下載select結(jié)果”,具體如下:

那么這種情況下,在DataWorks查詢結(jié)果頁面就不可以通過“下載”按鈕進(jìn)行下載數(shù)據(jù)到本地。

開啟數(shù)據(jù)保護(hù)機(jī)制后的數(shù)據(jù)流出方法

在您的Project被設(shè)置了ProjectProtection之后,您可能很快就會遇到這樣的需求:user1向您提出申請,她的確需要將某張表的數(shù)據(jù)導(dǎo)出您的項(xiàng)目空間。

而且經(jīng)過您的審查之后,那張表也的確沒有泄漏您關(guān)心的敏感數(shù)據(jù)。為了不影響user1的正常業(yè)務(wù)需要,MaxCompute為您提供了在ProjectProtection被設(shè)置之后的兩種數(shù)據(jù)導(dǎo)出途徑。

方式①:

ProjectOwner設(shè)置ExceptionPolicy,針對已經(jīng)開啟項(xiàng)目數(shù)據(jù)保護(hù)的進(jìn)行開例外。具體方式如下(需要通過MaxCompute console操作):

SET ProjectProtection=true WITH EXCEPTION 《policyFile》

這種policy不同于Policy授權(quán)(盡管它與Policy授權(quán)語法完全一樣),它只是對項(xiàng)目空間保護(hù)機(jī)制的例外情況的一種描述,即所有符合policy中所描述的訪問情形都可以打破ProjectProtection規(guī)則。》》》policy詳細(xì)文檔

ProjectProtection是一種數(shù)據(jù)流向的控制,而不是訪問控制。只有在用戶能訪問數(shù)據(jù)的前提下,控制數(shù)據(jù)流向才是有意義的。

*** 另外,可以通過show grants [for 《username》] [on type 《objectType》] 查看某用戶權(quán)限,查看是否加例外成功。

方法②:

設(shè)置TrustedProject,若當(dāng)前項(xiàng)目空間處于受保護(hù)狀態(tài),如果將數(shù)據(jù)流出的目標(biāo)空間設(shè)置為當(dāng)前空間的TrustedProject,那么向目標(biāo)項(xiàng)目空間的數(shù)據(jù)流向?qū)⒉粫灰暈橛|犯ProjectProtection規(guī)則。可以通過如下命令方式進(jìn)行設(shè)置(需通過MaxCompute console進(jìn)行):

二、IP白名單控制

MaxCompute支持Project級別的IP白名單。

設(shè)置IP白名單后,只有白名單列表中的IP(console或者SDK所在的出口IP)能夠訪問這個(gè)Project。

設(shè)置IP白名單后,您需要等待五分鐘后才會生效。

切記在設(shè)置白名單的時(shí)候,加上自己當(dāng)前機(jī)器IP,以免把自己屏蔽。

setproject odps.security.ip.whitelist=101.132.236.134,100.116.0.0/16,101.132.236.134-101.132.236.144;

白名單中IP列表的表示格式有三種。

單純IP:例如101.132.236.134。

子網(wǎng)掩碼:100.116.0.0/16。

網(wǎng)段:101.132.236.134-101.132.236.144。

具體詳細(xì)教程可以參考,》》》》IP白名單控制。

更精細(xì)化的管理

當(dāng)然MaxCompute Policy機(jī)制也可以實(shí)現(xiàn)控制某個(gè)用戶/或者角色的用戶從具體IP地址來訪問具體資源(表、UDF、資源)等。

Policy樣例:

授權(quán)用戶alice@aliyun.com只能在“2013-11-11T23:59:59Z”這個(gè)時(shí)間點(diǎn)之前、只能從“10.32.180.0/23”這個(gè)IP段提交請求, 只允許在項(xiàng)目空間prj1中執(zhí)行CreateInstance, CreateTable和 List操作,禁止刪除prj1下的任何table。具體可以參考Policy文檔。

三、數(shù)據(jù)保護(hù)傘(數(shù)據(jù)脫敏)

數(shù)據(jù)保護(hù)傘為DataWorks的一個(gè)數(shù)據(jù)安全模塊,具體可以通過點(diǎn)擊進(jìn)入進(jìn)行了解,其包括數(shù)據(jù)脫敏、安全審計(jì)等。https://help.aliyun.com/document_detail/86320.html

可以針對敏感數(shù)據(jù)在DataWorks屏顯進(jìn)行加**顯示,如下圖所示:

注意:數(shù)據(jù)保護(hù)傘是DataWorks的一個(gè)模塊,如果使用了數(shù)據(jù)保護(hù)傘且進(jìn)行了數(shù)據(jù)脫敏,但是通過console進(jìn)行tunnel download還是未脫敏狀態(tài)。

四、細(xì)粒度的權(quán)限管控

1、列級別LabelSecurity訪問控制

項(xiàng)目空間中的LabelSecurity安全機(jī)制默認(rèn)是關(guān)閉的,ProjectOwner可以自行開啟。

【應(yīng)用場景】

場景說明:user_profile是某項(xiàng)目空間中的一張含有敏感數(shù)據(jù)的表,它包含有100列,其中有5列包含敏感數(shù)據(jù):id_card, credit_card, mobile, user_addr, birthday. 當(dāng)前的DAC機(jī)制中已經(jīng)授權(quán)了所有用戶對該表的Select操作。ProjectOwner希望除了Admin之外,所有用戶都不允許訪問那5列敏感數(shù)據(jù)。

ProjectOwner操作步驟如下:

Alice是項(xiàng)目空間中的一員,由于業(yè)務(wù)需要,她要申請?jiān)L問user_profile的mobile列的數(shù)據(jù),需要訪問1周時(shí)間。項(xiàng)目空間管理員操作步驟如下:

GRANT LABEL 2 ON TABLE user_profile TO USER alice WITH EXP 7;

更多關(guān)于列級別安全控制文檔:https://help.aliyun.com/document_detail/34604.html

2、Role Policy管理自定義Role

很多用戶會因?yàn)镈ataWorks內(nèi)置的數(shù)據(jù)開發(fā)、運(yùn)維、管理員等角色不能滿足其個(gè)性化需求,會基于ACL創(chuàng)建符合自己業(yè)務(wù)邏輯的角色如數(shù)據(jù)分析師、ETL開發(fā)等,基于這些role如何進(jìn)行復(fù)雜的授權(quán),如批量授予ods_開頭的表權(quán)限,但限制條件的,以及Deny類型的角色,這個(gè)時(shí)候就需要結(jié)合Role policy來精細(xì)化管理。

一次操作對一組對象進(jìn)行授權(quán),如所有的函數(shù)、所有以”taobao”開頭的表。

帶限制條件的授權(quán),如授權(quán)只會在指定的時(shí)段內(nèi)才會生效、當(dāng)請求者從指定的IP地址發(fā)起請求時(shí)授權(quán)才會生效、或者只允許用戶使用SQL(而不允許其它類型的Task)來訪問某張表。

方式①:

Policy操作代碼如下所示:

更多關(guān)于Policy的介紹以及操作詳見文檔:http://www.aiwanba.net/plugin/odps-doc/prddoc/odps_security/odps_sec_authorization_dac.html

方式②:

通過DataWorks-項(xiàng)目管理-MaxCompute配置-自定義用戶角色中進(jìn)行。

創(chuàng)建步驟:

【新增角色】點(diǎn)擊新建角色,填寫角色名稱,勾選需要加入該角色的賬號(子賬號用戶)。

【角色授權(quán)】包括兩種一個(gè)是表一個(gè)是項(xiàng)目。以表為例:

選擇需要授權(quán)的表,并賦予相應(yīng)的操作權(quán)限,如下所示針對具體表賦予具體權(quán)限。

說明:上述兩種方式最大的區(qū)別就是,role policy可以進(jìn)行批量表授權(quán),如以taobao_開頭的。但是DataWorks大的方式需要逐個(gè)表來進(jìn)行篩選并配置權(quán)限。

四、JDBC 2.4(數(shù)據(jù)安全加固)

MaxCompute JDBC 2.4針對數(shù)據(jù)安全加固做了一定的挑戰(zhàn),具體JDBC地址:https://github.com/aliyun/aliyun-odps-jdbc/releases

在JDBC中使用數(shù)據(jù)安全加固方案具體步驟:

下載JDBC 2.4(建議)

配置jdbc url,通常如下制定Tunnel endpoint地址,如 jdbc:odps:http://service.cn.maxcompute.aliyun-inc.com/api?tunnelEndpoint=http://dt.cn-shanghai.maxcompute.aliyun-inc.com。

具體region對應(yīng)的MaxCompute Endpoint和Tunnel Endpoint可以參考文檔:https://help.aliyun.com/document_detail/34951.html

開啟項(xiàng)目保護(hù)SET ProjectProtection=true,不需要加exception例外,具體可以想見項(xiàng)目保護(hù)機(jī)制章節(jié)。

打開控制返回?cái)?shù)據(jù)條數(shù):setproject READ_TABLE_MAX_ROW=1000;

基于JDBC的工具進(jìn)行查詢,數(shù)據(jù)返回條數(shù)會控制在1000條以內(nèi)。

說明:如果使用的版本小于JDBC 2.4,并且開啟了項(xiàng)目保護(hù)那么通過JDBC方式會直接報(bào)錯(cuò)(無權(quán)限)。

作者:云棲社區(qū) 祎休

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)庫
    +關(guān)注

    關(guān)注

    7

    文章

    3927

    瀏覽量

    66257
  • 大數(shù)據(jù)
    +關(guān)注

    關(guān)注

    64

    文章

    8960

    瀏覽量

    140257
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    使用MaxCompute阿里大數(shù)據(jù)計(jì)算方法詳解

    基于MaxCompute搭建社交好友推薦系統(tǒng),使用MaxCompute阿里的大數(shù)據(jù)計(jì)算的方法可以做哪些事情,如果說是以社交好友的推薦,來給大家去演示一下。
    的頭像 發(fā)表于 03-19 09:53 ?1w次閱讀
    使用<b class='flag-5'>MaxCompute</b>阿里<b class='flag-5'>大數(shù)據(jù)</b>計(jì)算方法詳解

    阿里云MaxCompute,用計(jì)算力讓數(shù)據(jù)發(fā)聲

    、規(guī)劃和決策,使客戶自身的價(jià)值獲得新的爆發(fā),真正把MaxCompute卓越的計(jì)算力轉(zhuǎn)化為巨大的社會效益和市場價(jià)值。作為提供快速、完全托管的PB級數(shù)據(jù)倉庫解決方案大數(shù)據(jù)計(jì)算服務(wù),
    發(fā)表于 01-22 17:45

    阿里云MaxCompute印度開服,加速大數(shù)據(jù)產(chǎn)業(yè)升級

    開服的阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute可向用戶提供快速、完全托管的PB級數(shù)據(jù)倉庫解決方案,支持多源異構(gòu)的數(shù)據(jù)導(dǎo)入以及多種經(jīng)典的分布式
    發(fā)表于 01-22 17:55

    阿里云MaxCompute大數(shù)據(jù))公開數(shù)據(jù)集---帶你玩轉(zhuǎn)人工智能

    /40813/目前阿里云MaxCompute大數(shù)據(jù)產(chǎn)品已經(jīng)免費(fèi)向全部用戶開放了多種公用數(shù)據(jù)集。在此之前,獲取,分析,下載自定義的大型分析數(shù)據(jù)集需要數(shù)小時(shí)乃至數(shù)天才能完成。而現(xiàn)在阿里云的
    發(fā)表于 01-23 17:16

    阿里云大數(shù)據(jù)利器Maxcompute學(xué)習(xí)之-假如你使用過hive

    的功能以及用法和上述hive功能基本一致。先看下Maxcompute的組件: MaxCompute 主要服務(wù)于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計(jì)算,可以提供海量數(shù)據(jù)倉庫的解決
    發(fā)表于 01-23 17:44

    阿里云大數(shù)據(jù)MaxCompute計(jì)算資源分布以及LogView分析優(yōu)化

    摘要: MaxCompute(原ODPS)的概念 海量數(shù)據(jù)處理平臺,服務(wù)于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計(jì)算,提供海量數(shù)據(jù)倉庫的解決方案以及針對
    發(fā)表于 01-31 16:27

    MaxCompute印尼開服,成為阿里云第十二個(gè)大數(shù)據(jù)服務(wù)節(jié)點(diǎn)

    數(shù)據(jù)的存儲和計(jì)算,可以提供海量數(shù)據(jù)倉庫的解決方案以及針對大數(shù)據(jù)的分析建模服務(wù)。阿里巴巴的離線數(shù)據(jù)業(yè)務(wù)全部都運(yùn)行在
    發(fā)表于 02-07 11:15

    基于阿里云數(shù)加MaxCompute的企業(yè)大數(shù)據(jù)倉庫架構(gòu)建設(shè)思路

    摘要:數(shù)加大數(shù)據(jù)直播系列課程主要以基于阿里云數(shù)加MaxCompute的企業(yè)大數(shù)據(jù)倉庫架構(gòu)建設(shè)思路為主題分享阿里巴巴的大數(shù)據(jù)是怎么演變以及怎樣利用大數(shù)
    發(fā)表于 03-15 12:43

    全新一代人工智能計(jì)算引擎MaxCompute杭州開服,強(qiáng)化阿里云大數(shù)據(jù)能力,比肩谷歌微軟

    摘要: 3月22日,阿里云將正式開服售賣華東1(杭州)節(jié)點(diǎn)的大數(shù)據(jù)計(jì)算服務(wù)MaxCompute,以進(jìn)一步提升對華東區(qū)域客戶服務(wù)的響應(yīng)速度,推動杭州大數(shù)據(jù)、人工智能產(chǎn)業(yè)的加速發(fā)展。日前,全球權(quán)威調(diào)研
    發(fā)表于 03-28 14:33

    MaxCompute理解數(shù)據(jù)、運(yùn)算和用戶的大腦:基于代價(jià)的優(yōu)化器

    》的分享,為大家分享阿里巴巴大數(shù)據(jù)計(jì)算服務(wù)的大腦——基于代價(jià)的優(yōu)化器的設(shè)計(jì)和架構(gòu)。MaxCompute簡介大數(shù)據(jù)計(jì)算服務(wù)(MaxCompute)是一種快速、完全托管的PB/EB級
    發(fā)表于 03-30 10:22

    MaxCompute訪問TableStore(OTS) 數(shù)據(jù)

    摘要: MaxCompute作為阿里云大數(shù)據(jù)平臺的核心計(jì)算組件,承擔(dān)了集團(tuán)內(nèi)外大部分的分布式計(jì)算需求。免費(fèi)開通大數(shù)據(jù)服務(wù):https://www.aliyun.com/product/odps前言
    發(fā)表于 04-02 11:10

    MaxCompute_2_MaxCompute數(shù)據(jù)遷移文檔

    DataIDE上兩個(gè)云賬號之間數(shù)據(jù)遷移、還有網(wǎng)絡(luò)不通的兩個(gè)MaxCompute項(xiàng)目數(shù)據(jù)遷移等等下面我們逐個(gè)場景介紹。免費(fèi)開通大數(shù)據(jù)服務(wù):ht
    發(fā)表于 04-13 15:28

    阿里云大數(shù)據(jù)MaxCompute計(jì)算資源分布以及LogView分析優(yōu)化

    摘要: 海量數(shù)據(jù)處理平臺,服務(wù)于批量結(jié)構(gòu)化數(shù)據(jù)的存儲和計(jì)算,提供海量數(shù)據(jù)倉庫的解決方案以及針對大數(shù)據(jù)的分析建模服務(wù).(官方文檔有這里就不多做
    發(fā)表于 04-26 14:53

    ofo在MaxCompute大數(shù)據(jù)開發(fā)之路

    應(yīng)用,分享ofo 在MaxCompute大數(shù)據(jù)開發(fā)之路。演講嘉賓簡介:龍利民,ofo大數(shù)據(jù)大數(shù)據(jù)副總監(jiān)。PPT材料下載地址:http://click.aliyun.com/m/10
    發(fā)表于 06-21 17:03

    大數(shù)據(jù)計(jì)算服務(wù)MaxCompute的使用教程

    阿里云大數(shù)據(jù)計(jì)算服務(wù)MaxCompute使用教程
    發(fā)表于 04-30 07:57