Unicode->UTF-8歷史變遷,及其差異" />

一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

從ASCII碼->Unicode-> UTF-8歷史變遷,及其差異

黃工的嵌入式技術(shù)圈 ? 來源:黃工的嵌入式技術(shù)圈 ? 作者:黃工的嵌入式技術(shù) ? 2020-02-27 15:56 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

說到ASCII,Unicode和UTF-8,可能大家都知道是字符編碼,但具體含義,以及其中差異,可能很多人都不知道。 一、名稱解釋ASCII:AmericanStandardCode forInformationInterchange,美國信息互換標準代碼。 Unicode:統(tǒng)一碼、萬國碼、單一碼,是計算機科學(xué)領(lǐng)域里的一項業(yè)界標準,包括字符集、編碼方案等。 UTF-8:8-bit Unicode Transformation Format,是一種針對Unicode的可變長度字符編碼。 二、歷史變遷先給大家看一張變遷圖:

很久以前,有一群人,他們決定用8個可以開合的晶體管來組合成不同的狀態(tài),以表示世界上的萬物。他們看到8個開關(guān)狀態(tài)是好的,于是他們把這稱為“字節(jié)”。再后來,他們又做了一些可以處理這些字節(jié)的機器,機器開動了,可以用字節(jié)來組合出很多狀態(tài),狀態(tài)開始變來變?nèi)?。他們看到這樣是好的,于是它們就這機器稱為”計算機“。 開始計算機只在美國使用,八位的字節(jié)一共可以組合出256種不同的狀態(tài)。他們把其中的編號從0開始的32種狀態(tài)分別規(guī)定了特殊的用途,一但終端、打印機遇上約定好的這些字節(jié)被傳過來時,就要做一些約定的動作。遇上0×10, 終端就換行,遇上0×07, 終端就向人們嘟嘟叫。他們看到這樣很好,于是就把這些0×20以下的字節(jié)狀態(tài)稱為“控制碼”。他們又把所有的空格、標點符號、數(shù)字、大小寫字母分別用連續(xù)的字節(jié)狀態(tài)表示,一直編到了第127號,這樣計算機就可以用不同字節(jié)來存儲英語的文字了。大家看到這樣,都感覺很好,于是大家都把這個方案叫做ANSI。 后來,世界各地都開始使用計算機了,但是很多國家用的不是英文,他們的字母里有許多是ASCII里沒有的,為了可以在計算機 保存他們的文字,他們決定采用 127號之后的空位來表示這些新的字母、符號,還加入了很多畫表格時需要用下到的橫線、豎線、交叉等形狀,一直把序號編到了最后一個狀態(tài)255。從128 到255這一頁的字符集被稱“擴展字符集”。 等中國人們得到計算機時,已經(jīng)沒有可以利用的字節(jié)狀態(tài)來表示漢字,而且常用漢字有六七千個,這個時候,中國人民就使用了一套漢字方案叫做GB2312”。隨著發(fā)展,又發(fā)現(xiàn)了一些局限,所以就有了GBK,再繼續(xù)往后增加了一些字符(如少數(shù)名族字體),GBK擴成了GB18030。

因為當(dāng)時各個國家都像中國這樣搞出一套自己的編碼標準,結(jié)果互相之間誰也不懂誰的編碼,誰也不支持別人的編碼,連大陸和***這樣只相隔了150海里也使用不同編碼。這個時候,出現(xiàn)了一個叫 ISO 組織(國際標準化組織)決定著手解決這個問題。他們采用的方法很簡單:廢了所有的地區(qū)性編碼方案,重新搞一個包括了地球上所有文化、所有字母和符號 的編碼!他們打算叫它“Universal Multiple-Octet Coded Character Set”,簡稱 UCS, 俗稱 “Unicode”。

但是Unicode同樣也有2個問題:

1.計算機怎么知道二個字節(jié)為一個字符,如何識別二個字節(jié)為什么一個字符?

2.針對英文字符,如果使用大于1個字節(jié)來表示,那么低位的前面幾個字節(jié)全是0。很奢侈浪費空間,因為現(xiàn)在計算機大部分內(nèi)容還是英文。

unicode在很長一段時間內(nèi)無法推廣,直到互聯(lián)網(wǎng)的出現(xiàn),為解決unicode如何在網(wǎng)絡(luò)上傳輸?shù)膯栴},于是面向傳輸?shù)谋姸郩TF(UCS Transfer Format)標準出現(xiàn)了。顧名思義,UTF-8就是每次8個位傳輸數(shù)據(jù),而UTF-16就是每次16個位。UTF-8就是在互聯(lián)網(wǎng)上使用最廣的一種unicode的實現(xiàn)方式,這是為傳輸而設(shè)計的編碼,并使編碼無國界,這樣就可以顯示全世界上所有文化的字符了。 三、Charset and Encoding

1.什么是字符編碼Charset (Character set) 字符集:是對字符抽象表示的集合。包括世界上各種文字、符合和字符。 字符集只是一個規(guī)則集合的名字,對應(yīng)到真實生活中,字符集就是對某種語言的稱呼。例如:英語,漢語,日語。 2.什么是字符編碼對于一個字符集來說要正確編碼轉(zhuǎn)碼一個字符需要三個關(guān)鍵元素:字庫表(character repertoire)、編碼字符集(coded character set)、字符編碼(character encoding)。

字庫表是一個相當(dāng)于所有可讀或者可顯示字符的數(shù)據(jù)庫。字庫表決定了整個字符集能夠展現(xiàn)表示的所有字符的范圍。編碼字符集,即用一個編碼值code point來表示一個字符在字庫中的位置。字符編碼,將編碼字符集和實際存儲數(shù)值之間的轉(zhuǎn)換關(guān)系。 四、UTF-8和Unicode的關(guān)系看完上面兩個概念解釋,相信你應(yīng)該明白其中關(guān)系了。Unicode就是上文中提到的編碼字符集,而UTF-8就是字符編碼,即Unicode規(guī)則字庫的一種實現(xiàn)形式。隨著互聯(lián)網(wǎng)的發(fā)展,對同一字庫集的要求越來越迫切,Unicode標準也就自然而然的出現(xiàn)。它幾乎涵蓋了各個國家語言可能出現(xiàn)的符號和文字,并將為他們編號。

五、進一步理解UTF-8編碼UTF-8編碼為變長編碼。最小編碼單位(code unit)為一個字節(jié)。一個字節(jié)的前1-3個bit為描述性部分,后面為實際序號部分。

1.如果一個字節(jié)的第一位為0,那么代表當(dāng)前字符為單字節(jié)字符,占用一個字節(jié)的空間。0之后的所有部分(7個bit)代表在Unicode中的序號。

2.如果一個字節(jié)以110開頭,那么代表當(dāng)前字符為雙字節(jié)字符,占用2個字節(jié)的空間。110之后的所有部分(5個bit)加上后一個字節(jié)的除10外的部分(6個bit)代表在Unicode中的序號。且第二個字節(jié)以10開頭。

3.如果一個字節(jié)以1110開頭,那么代表當(dāng)前字符為三字節(jié)字符,占用3個字節(jié)的空間。110之后的所有部分(5個bit)加上后兩個字節(jié)的除10外的部分(12個bit)代表在Unicode中的序號。且第二、第三個字節(jié)以10開頭。

來看一個UTF-8編碼例子:

發(fā)現(xiàn)其中規(guī)律:1個字節(jié)的UTF-8十六進制編碼是以比8小的數(shù)字開頭的 2個字節(jié)的UTF-8十六進制編碼是以C或D開頭的 3個字節(jié)的UTF-8十六進制編碼是以E開頭的 本文就寫到這里,希望對你有幫助。當(dāng)然,更多關(guān)于字符編碼的內(nèi)容,感興趣朋友可以自行了解。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • ASCII
    +關(guān)注

    關(guān)注

    5

    文章

    172

    瀏覽量

    35871
  • Unicode
    +關(guān)注

    關(guān)注

    0

    文章

    25

    瀏覽量

    12738
  • UTF-8
    +關(guān)注

    關(guān)注

    0

    文章

    13

    瀏覽量

    7971
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    《仿盒馬》app開發(fā)技術(shù)分享-- 首頁地址選擇&會員8

    ;, subWindowEnabled: false }; sceneMap.selectDistrict(getContext(this), districtSelectOptions).then((data) =&gt
    發(fā)表于 06-29 23:49

    F103RCT6芯片對AFIO->MAPR寄存器寫入時出錯了怎么解決?

    ;amp;amp;= 0xF8FFFFFB; AFIO->MAPR |=
    發(fā)表于 06-04 06:35

    F103RCT6芯片對AFIO->MAPR寄存器寫入時出錯的原因?

    ;amp;amp;= 0xF8FFFFFB; AFIO->MAPR |=
    發(fā)表于 04-27 06:37

    LCD_SPI_X->DAT = (uint16_t)dat; while((LCD_SPI_X->STS & SPI_I2S_BUSY_FLAG)!=(uint16_t)RESET){}

    LCD_SPI_X->DAT = (uint16_t)dat; while((LCD_SPI_X->STS &amp
    發(fā)表于 04-02 14:29

    求購安捷倫3458A —>8.5 位數(shù)字萬用表

    【安立】、MARCONI【馬可尼】、chroma【可羅馬】、Extech【華儀】等! 地址:廣東省東莞市塘廈鎮(zhèn)塘廈大道北445號鉅業(yè)大廈五樓528號紀先生:I8O86III968//I35>37833&
    發(fā)表于 03-15 09:24

    使用DLPC350投射格雷時,當(dāng)切換pattern頻率>10frame/s,出現(xiàn)了圖像重疊的問題怎么解決?

    你好,我在使用DLPC350 投射格雷8bit深度)時,當(dāng) 切換pattern頻率 > 10frame/s,出現(xiàn)了
    發(fā)表于 02-21 16:03

    智能駕駛數(shù)據(jù)采集回注測評工具 - ARS

    在數(shù)據(jù)驅(qū)動智能駕駛的時代背景下,開發(fā)者們總結(jié)了一條適用于智能駕駛的數(shù)據(jù)閉環(huán)開發(fā)流程,這條開發(fā)線路大致包括實車數(shù)據(jù)采集->數(shù)據(jù)存儲->數(shù)據(jù)處理-&
    的頭像 發(fā)表于 01-15 17:50 ?1239次閱讀
    智能駕駛數(shù)據(jù)采集回注測評工具 - ARS

    使用ads5407的test pattern的時候,設(shè)置為輸出555->AAA和000->FFF的時候某些管腳輸出不正確,為什么?

    您好,在使用ads5407的test pattern的時候,當(dāng)設(shè)置為全部輸出為0和全部輸出為1的時候,功能正確;但是當(dāng)我設(shè)置為輸出555->AAA和000-&amp
    發(fā)表于 01-07 08:24

    ASCII在數(shù)據(jù)處理中的應(yīng)用技巧

    ASCII作為計算機科學(xué)中的基石之一,其應(yīng)用廣泛而深遠。文本編輯到網(wǎng)絡(luò)通信,數(shù)據(jù)存儲到程序開發(fā),ASCII
    的頭像 發(fā)表于 11-10 10:39 ?1758次閱讀

    ASCII在網(wǎng)絡(luò)傳輸中的重要性

    標準,最初于1963年由美國國家標準協(xié)會(ANSI)發(fā)布。它使用7位二進制數(shù)來表示128個不同的字符,包括大小寫字母、數(shù)字、標點符號和控制字符。后來,ASCII擴展到了8位,即ASCII-8
    的頭像 發(fā)表于 11-10 09:47 ?1107次閱讀

    ASCII在編程中的應(yīng)用實例

    ASCII(American Standard Code for Information Interchange,美國信息交換標準代碼)在編程中有著廣泛的應(yīng)用。以下是一些ASCII
    的頭像 發(fā)表于 11-10 09:43 ?1543次閱讀

    ASCIIUnicode的區(qū)別

    ASCIIUnicode是兩種不同的字符編碼標準,它們之間存在顯著的區(qū)別。以下是對這兩者的比較: 一、編碼范圍 ASCII : 主要用
    的頭像 發(fā)表于 11-10 09:40 ?2149次閱讀

    如何使用ASCII進行編碼

    ,包括英文字母、數(shù)字、標點符號和一些特殊符號。每個字符在ASCII碼表中都有一個唯一的數(shù)字代碼,范圍0到127。以下是使用ASCII進行編碼的基本步驟: 1. 確定字符的
    的頭像 發(fā)表于 11-10 09:37 ?1705次閱讀

    AIC3254EVM-U為什么不能將信號通路設(shè)置為MIC輸入--->PGA---->HP輸出的方式?

    新手剛玩AIC3254EVM-U,誰能幫忙看看,analog三個設(shè)置哪里出了問題,為什么不能將信號通路設(shè)置為MIC輸入--->PGA----&
    發(fā)表于 10-31 06:37

    請問afe_handle->fetch獲得的音頻數(shù)據(jù)如何播放?

    目前我在基于ESP-SkaiNet的sample,開發(fā)語音助手。當(dāng)提示詞喚醒后對用戶輸入的 語音保存和處理。 我想請教一下,當(dāng)我通過afe_handle->fetch
    發(fā)表于 07-19 07:53