Observe 是一家提供可觀察性云解決方案的公司，以幫助企業(yè)加速應(yīng)用故障排查和問題解決的效率。公司成立于2017年9月，總部位于美國加利福尼亞州圣馬特奧。到目前為止，Observe 已經(jīng)在5輪融資中總共籌集了1.62億美元。他們最近的一輪融資是在2023年10月5日，通過可轉(zhuǎn)換票據(jù)融資籌集了5000萬美元，并推出了新一代人工智能功能。

本篇內(nèi)容是根據(jù)Observe官網(wǎng)的技術(shù)文章翻譯整理，以下3點(diǎn)是NineData的數(shù)據(jù)庫工程師對多云的思考：

多云是今天的現(xiàn)實(shí)，也是未來的趨勢 （公共云基礎(chǔ)設(shè)施用戶中有86%正在實(shí)施多云策略）；

多云環(huán)境下的數(shù)據(jù)管理成為新的需求，包括文章中提到的Observability；

云環(huán)境越來越復(fù)雜，既是困難，也是機(jī)遇。

什么是多云可觀察性？它是一種令人興奮的新的科技趨勢，還是只是最新一輪的被技術(shù)觀測和監(jiān)控廠商的營銷部門夸大的流行詞？你可能已經(jīng)猜到了，答案介于兩者之間。就像科技中許多流行的流行詞一樣，它起源于組織所感受到的實(shí)際需求，但在不同的上下文中，它的含義也會有所不同。因此，如果使用了多個云，是否需要多云可觀察性？如何實(shí)現(xiàn)多云可觀察性？它與“常規(guī)”可觀察性有什么不同？

簡而言之，隨著公共云成為主流，任何企業(yè)中使用多個云提供商的服務(wù)已經(jīng)變得非常普遍。因此，“多云”一詞應(yīng)運(yùn)而生。從領(lǐng)先的云提供商那里獲得創(chuàng)新是件好事，但多云環(huán)境是一把雙刃劍。企業(yè)最終使用多個云的原因有很多，同時操作這些云也帶來了許多挑戰(zhàn)。可觀察性是一種方法，可以幫助解決一些操作上的挑戰(zhàn)，使日常生活更加有序。這就是“多云可觀察性”一詞的由來。

如果我們要簡潔地解釋多云可觀察性，我們會說它是這樣的：讓跨越多個公共云的服務(wù)變得可以觀測，以減少發(fā)現(xiàn)和解決問題所需的時間。但是這個話題比這更復(fù)雜一些，了解多云可觀察性是什么以及如何實(shí)現(xiàn)它是兩個不同的事情。在這本電子書中，我們將介紹：

什么是多云，它是如何產(chǎn)生的

為什么多云需要可觀察性，以及具體的考慮因素

如何從多云可觀察性中受益

多云是什么？

在談?wù)摱嘣瓶捎^察性之前，我們必須首先討論多云。在這里，我們將定義多云，研究導(dǎo)致其被“采用”的催化劑，以及它如何為想要實(shí)現(xiàn)可觀察性的組織帶來挑戰(zhàn)。

起初......混合云(Hybrid Cloud)出現(xiàn)了

在多云出現(xiàn)之前，有混合云?；旌显仆ǔＶ竿瑫r使用位于數(shù)據(jù)中心和公共云中的基礎(chǔ)設(shè)施。有一段時間，混合云引起了一些爭議，因?yàn)楣具€沒有習(xí)慣將重要的所有權(quán)或基礎(chǔ)設(shè)施交給第三方。它已經(jīng)成為許多大型企業(yè)的常態(tài)，因?yàn)橐恍?yīng)用程序被遷移到云中或在那里構(gòu)建新應(yīng)用程序，而一些遺留或安全敏感的應(yīng)用程序仍然保留在本地。對于較小的組織，從一開始就接受公共云資源并不罕見，并且?guī)缀鯖]有（如果有的話）本地數(shù)據(jù)中心的空間。

當(dāng)然，隨著云的使用變得更加普遍，并且有許多不同類型的云可供選擇，情況一直在不斷發(fā)展演變。有本地和托管的私有云、公共云提供商，甚至還有在公共云中運(yùn)行的SaaS服務(wù)。有效地使用這些位置上運(yùn)行的一些組合服務(wù)構(gòu)成了多云采用。一般來說，多云指的是一個組織內(nèi)使用多個公共云。然而，就像長方形可以組成正方形一樣，如果本地的東西是“類似于云”，混合云也可以被認(rèn)為是多云。這隨著AWS Outposts或GCP Anthos等公共云的本地和混合服務(wù)的出現(xiàn)變得越來越可行?？梢哉f，多云是一個廣泛的術(shù)語，其含義并不總是單一的，但通常與使用多個公共云有關(guān)。

直面現(xiàn)實(shí)Reality Check

那么，多云的現(xiàn)實(shí)使用情況是怎么樣？根據(jù)分析公司ESG發(fā)布的博客，截至2022年，他們的研究表明，目前公共云基礎(chǔ)設(shè)施用戶中有86%正在實(shí)施多云策略，平均使用2到4個公共云。無論確切的數(shù)字是多少，都可以肯定地說，使用多個公共云是非常常見的，這也是多云面對的一個非?，F(xiàn)實(shí)的問題。

當(dāng)我們談?wù)摗?a href="http://www.www27dydycom.cn/v/tag/475/" target="_blank">云計(jì)算”時，用戶（至少在北美）傾向于考慮三大主要的公共云提供商。亞馬遜網(wǎng)絡(luò)服務(wù)、微軟Azure和谷歌云平臺通常被認(rèn)為是領(lǐng)先的公共云提供商。但是，還有許多其他的公共云提供商，如阿里巴巴、IBM、Oracle、DigitalOcean、Rackspace等等。

二級和三級服務(wù)提供商，或者說任何非主要云提供商的服務(wù)，都可能而且確實(shí)在一些公司的云支出中占據(jù)了相當(dāng)大的比重。在Stack Overflow的2022年開發(fā)者調(diào)查中，55%的專業(yè)開發(fā)人員表示他們在過去一年中廣泛使用AWS，其次是30%使用微軟Azure和26%使用谷歌云平臺。在提到AWS使用的22,357名專業(yè)開發(fā)人員受訪者中，26%表示他們希望在未來一年與GCP合作，20%表示他們希望與Azure合作。很容易看出，即使另一家公有云已成為主要供應(yīng)商，次要供應(yīng)商仍能在企業(yè)中立足。然而，這并不總是由于有意識地決定實(shí)施多云或混合云而發(fā)生的。

如何實(shí)現(xiàn)多云？

我們說多云環(huán)境是“發(fā)生”的，是因?yàn)樗⒉豢偸且粋€經(jīng)過商定的戰(zhàn)略或有意識的選擇，通常組織會因?yàn)楦鞣N原因而使用多個云服務(wù)。以下是其中一些原因：

可靠性和冗余性：如果您關(guān)注可靠性，您可能會將數(shù)據(jù)存儲在同一提供商的多個地區(qū)。這種思路也會導(dǎo)致組織將應(yīng)用程序或數(shù)據(jù)存儲在多個云中，以進(jìn)一步保護(hù)自己免受其無法控制的故障的影響。

訪問專有服務(wù)：不同的云提供商提供一系列類似的服務(wù)，例如，您可以從任何基礎(chǔ)設(shè)施即服務(wù)供應(yīng)商那里找到廉價的對象存儲服務(wù)。然而，公司還通過獨(dú)特的技術(shù)進(jìn)行差異化（一個例子是只有在GCP中才有的TPU）。對特定服務(wù)的需求可以推動新平臺的采用。

影子IT：影子IT這個術(shù)語有負(fù)面的含義，但用戶根據(jù)自己的需求自行注冊服務(wù)是進(jìn)行盡職調(diào)查的一部分。不管原因是什么，組織內(nèi)并不總是所有人都知道何時引入了新的云服務(wù)。

提供商特定的技能集：核心服務(wù)在不同云之間可能有基本的相似之處，但使用它們可能需要特定的技能集。人員可能更熟悉某個特定的服務(wù)提供商，這可能是影響該組織是否額外使用或轉(zhuǎn)換到新的云服務(wù)提供商的因素之一。

延遲和數(shù)據(jù)位置：盡管我們盡力而為，但無法欺騙物理定律。如果某項(xiàng)服務(wù)對延遲敏感，而您當(dāng)前的服務(wù)提供商最近的區(qū)域距離不夠近，您可能需要尋找其他選擇。例如，如果您的業(yè)務(wù)位于澳大利亞珀斯，最近的AWS區(qū)域位于該國的另一端悉尼。這可能看起來是一個極端的例子，但它展示了距離對業(yè)務(wù)運(yùn)營的真實(shí)影響。數(shù)據(jù)位置也可能是數(shù)據(jù)局部性法規(guī)的一個因素，當(dāng)數(shù)據(jù)需要保留在特定的物理區(qū)域時，有時這可能需要使用其他服務(wù)提供商。

很容易看出，一個組織可能最初只使用另一個云服務(wù)提供商的一個服務(wù)，而這種情況很快就會擴(kuò)大。使用范圍可以從單個用戶擴(kuò)展到其團(tuán)隊(duì)以及其他人，一個服務(wù)也可以迅速發(fā)展為多個服務(wù)的使用。如上所述，多云的原因有些是積極的，該組織從中獲得一些好處。然而，這種動態(tài)可能導(dǎo)致復(fù)雜的運(yùn)營、安全和合規(guī)挑戰(zhàn)，如果不加以解決可能會帶來風(fēng)險。

為什么我們需要多云可觀察性？

無論好壞，您的組織已經(jīng)實(shí)施了多云，那么這與可觀察性有什么聯(lián)系呢？可觀察性可以幫助企業(yè)應(yīng)對眾多運(yùn)營挑戰(zhàn)，最大限度地減少停機(jī)時間。然而，許多組織仍處于可觀察性旅程的早期階段，依賴于傳統(tǒng)工具，這些工具無法提供完整的環(huán)境信息。更糟糕的是，多云帶來了新的挑戰(zhàn)，使保持可見性和執(zhí)行故障排除變得更加困難。這使得實(shí)現(xiàn)可觀察性變得更加重要。

更多的云，更多的數(shù)據(jù)，更多的問題？

如果您的 IT 團(tuán)隊(duì)正在使用多個云，那么您可能希望可觀察性能夠跨越所有云，以提供可操作的見解，而不僅僅是突出顯示單個云的性能問題。這說起來容易做起來難，很多企業(yè)可能認(rèn)為自己已經(jīng)具備了可觀察性，但其實(shí)他們只是實(shí)施了監(jiān)控。我們的《2022 年可觀察性狀況報告》顯示，環(huán)境的復(fù)雜性是實(shí)現(xiàn)可觀察性的首要障礙。隨著環(huán)境越來越復(fù)雜，對可觀察性的需求也越來越強(qiáng)烈，但獲得可觀察性的難度也越來越大。

可觀察性與數(shù)據(jù)緊密相關(guān)。當(dāng)需要進(jìn)行分析時，數(shù)據(jù)的來源數(shù)量和來源位置都不應(yīng)成為問題。理想情況下，對于故障排除來說，更多的數(shù)據(jù)是件好事。然而，如果你的環(huán)境高度分布式，那么設(shè)置起來會需要更多的考慮。由于微服務(wù)、Kubernetes、無服務(wù)器和其他云原生技術(shù)的日益普及，復(fù)雜的分布式應(yīng)用正在增加。環(huán)境變得越分布式和復(fù)雜，就越難以對其所有部分保持可見性。手動對代碼進(jìn)行可觀察性的儀表化是最快增長的挑戰(zhàn)之一，一年內(nèi)增長了將近一倍，從17%增長到30%。

隨著復(fù)雜性的增加，你還面臨著操作性隔離的風(fēng)險，即你組織中只有少數(shù)人了解整個環(huán)境，而更多關(guān)注于他們?nèi)粘９ぷ髦凶钕嚓P(guān)的部分。當(dāng)需要進(jìn)行故障排除時，這必然會引起問題。如果你擁有可觀察性，那么它將幫助你避免這些問題。

不要讓云成為孤島

每個公共云都有自己獨(dú)特的服務(wù)，但許多服務(wù)實(shí)際上更相似而不是不同。例如，你可能同時使用亞馬遜S3和Azure Blob Storage，雖然它們在本質(zhì)上是不同的專有服務(wù)，但它們都是對象存儲。你可能正在查看類似的遙測數(shù)據(jù)，但因?yàn)檫@些服務(wù)存在于不同的公共云中，彼此分離，它們變成了孤立的信息島。

很可能你甚至正在使用云原生工具來收集和聚合數(shù)據(jù)，例如AWS的CloudWatch、Azure的Monitor或GCP的Operations Suite（以前稱為Stackdriver）。如果你的工作流程涉及每次出現(xiàn)問題都要單獨(dú)登錄給定云的本機(jī)監(jiān)控套件，那將耗費(fèi)時間并且效果不佳。你還必須掌握多個工具的知識。

如果特定于云的監(jiān)控服務(wù)是數(shù)據(jù)的最終目的地和進(jìn)行分析的地方，那么你也會失去將該數(shù)據(jù)與其他云的數(shù)據(jù)相關(guān)聯(lián)的價值。更復(fù)雜的是，即使你將數(shù)據(jù)轉(zhuǎn)發(fā)到第三方的可觀察性產(chǎn)品中，它可能仍然無法與其他數(shù)據(jù)有效地關(guān)聯(lián)起來。如果你的組織當(dāng)前的工具要求你在使用數(shù)據(jù)之前花費(fèi)時間進(jìn)行標(biāo)記和索引，那么這就是從更有價值的任務(wù)中抽取時間，你的SRE、DevOps工程師或開發(fā)人員不應(yīng)該浪費(fèi)的時間。如果只是時間是一個問題，那已經(jīng)夠糟糕的了，但如果你的組織因合規(guī)性或安全相關(guān)原因接受審計(jì)，你不想在多個工具中搜索答案并在沒有上下文的情況下篩選數(shù)據(jù)。

大多數(shù)供應(yīng)商都將其產(chǎn)品標(biāo)榜為“單一視圖”，但這些產(chǎn)品往往在其架構(gòu)中具有固有的信息孤立。你的數(shù)據(jù)可能根據(jù)類型分成不同的數(shù)據(jù)存儲，從而使關(guān)聯(lián)過程復(fù)雜化?；蛘吣憧赡軙l(fā)現(xiàn)你的“可觀察性”工具實(shí)際上只是監(jiān)控工具，你無法使用它們提供的儀表盤來深入挖掘來自不同云服務(wù)的數(shù)據(jù)。歸根結(jié)底，如果你在環(huán)境中缺乏可見性，那么收集數(shù)據(jù)就是一個挑戰(zhàn)；如果你有可見性，但數(shù)據(jù)被孤立且缺乏適當(dāng)?shù)纳舷挛?，那么使用這些數(shù)據(jù)就是一個挑戰(zhàn)。一個與云提供商無關(guān)的策略將幫助你保持對環(huán)境的可見性。使用開源的數(shù)據(jù)收集工具（如Fluentbit和OpenTelemetry）現(xiàn)在更容易采用與供應(yīng)商無關(guān)的方法，將你需要的數(shù)據(jù)傳輸?shù)侥氵x擇的可觀察性服務(wù)中。

從多云可觀測性中獲益

多云數(shù)據(jù)的背景

Observe的方法是可觀察性云，它意味著將所有數(shù)據(jù)放在一個地方，而不是混雜使用不同的后端和數(shù)據(jù)孤島，并且不需要為各種用例支付多個工具的費(fèi)用?？捎^察性云由數(shù)據(jù)湖、數(shù)據(jù)圖和數(shù)據(jù)應(yīng)用組成。

Observe應(yīng)用程序捆綁了適用于AWS、GCP和Azure這三個主要云提供商的相關(guān)集成。例如，AWS應(yīng)用程序簡化了從各種AWS服務(wù)收集遙測數(shù)據(jù)的過程，并使其更易于發(fā)現(xiàn)。通過這個應(yīng)用程序，您可以在Observe中輕松監(jiān)視和排查許多您最喜歡的AWS服務(wù)，這意味著您在排查問題上花費(fèi)的時間更少，可以有更多時間為客戶構(gòu)建應(yīng)用程序和服務(wù)。同樣地，我們還有Azure和GCP應(yīng)用程序，并且這些應(yīng)用程序所涵蓋的服務(wù)范圍不斷擴(kuò)展。

一旦遙測數(shù)據(jù)開始傳輸，我們將所有數(shù)據(jù)統(tǒng)一存儲在我們的可觀察性云中的數(shù)據(jù)湖中。數(shù)據(jù)被保存在一個地方，并且通過數(shù)據(jù)圖了解和映射上下文。數(shù)據(jù)圖顯示了所有連接的數(shù)據(jù)集，也就是您關(guān)心的事物，可以涵蓋從S3存儲桶到運(yùn)行在EKS上的Kubernetes集群等各種內(nèi)容。在數(shù)據(jù)湖中擁有所有數(shù)據(jù)，并且可以通過數(shù)據(jù)圖進(jìn)行搜索，使我們能夠提供按需架構(gòu)。當(dāng)涉及到搜索和過濾大量數(shù)據(jù)時，您的單一操作界面可以在需要時提供您所需的精確視角。

正如我們的一個客戶所說：“這是唯一一個匯總了許多數(shù)據(jù)源日志的地方，所以當(dāng)我不知道該去哪里查找時，我可以從這里開始?！蔽覀兊牧硪粋€客戶Linedata也能夠通過在AWS中查看其許多用戶帳戶，消除盲點(diǎn)，從中獲得價值。一旦將更多的云（以及這些云中的更多帳戶）引入到一個環(huán)境中，這種場景中解決的問題可能會顯著增加。如果沒有完整的多云可觀察性，您可能會遇到安全盲點(diǎn)或者在故障排查時遇到死胡同。

多云規(guī)模下的經(jīng)濟(jì)效益

隨著越來越多的應(yīng)用程序及其依賴分布在多個云中，這將導(dǎo)致大量的遙測數(shù)據(jù)。即使您能夠使所有數(shù)據(jù)可觀察，并將所有數(shù)據(jù)關(guān)聯(lián)起來以便在危機(jī)時易于導(dǎo)航和理解，但規(guī)模和成本仍然是一個問題。通常，傳統(tǒng)解決方案的收費(fèi)是基于遙測數(shù)據(jù)的攝取和索引量、每個用戶/座位或監(jiān)控的主機(jī)數(shù)量（或這些模型的組合）。在這種情況下，無論您從這些數(shù)據(jù)中獲取的價值如何，更多的數(shù)據(jù)都意味著更高的成本。這在多云增長的背景下是一個昂貴的假設(shè)。有一些解決方案提供了一些權(quán)宜之計(jì)，試圖限制數(shù)據(jù)攝取量并將數(shù)據(jù)存檔以便長期存儲，但這只會給用戶增加更多的復(fù)雜性，并使他們更難觀察其應(yīng)用程序和基礎(chǔ)架構(gòu)，因?yàn)橛脩艨赡軙G棄可能相關(guān)的數(shù)據(jù)。

Observe采取了一種獨(dú)特的方法，并建立在現(xiàn)代的云原生架構(gòu)之上，實(shí)現(xiàn)了獨(dú)特的基于使用量的定價模型。所有數(shù)據(jù)都被攝取到基于Amazon S3的Data Lake中，進(jìn)行10倍的壓縮，并存儲13個月。然后，Observe將頻繁訪問的數(shù)據(jù)加速到Data Graph中。通過Observe在Snowflake Data Cloud之上的多租戶實(shí)現(xiàn)，可以高效地執(zhí)行加速數(shù)據(jù)或查詢Data Graph的查詢。所有客戶、所有公司的所有查詢都共享同一個Snowflake基礎(chǔ)架構(gòu)。這使我們能夠?qū)⒂?jì)算和存儲分離，并按照客戶運(yùn)行查詢和加速數(shù)據(jù)所消耗的計(jì)算量進(jìn)行計(jì)費(fèi)。

Passive和active成本控制的實(shí)施緩解了對使用情況或惡意用戶的擔(dān)憂。用戶將被提示確認(rèn)昂貴的查詢，管理員可以設(shè)置信用限額以管理使用情況，以符合年度預(yù)算。由于Observe的基于使用量的定價系統(tǒng)具有成本控制功能，這意味著客戶可以攝取所需的數(shù)據(jù)，而無需事先擔(dān)心是否是“正確的數(shù)據(jù)”，或者擔(dān)心僅僅數(shù)據(jù)量就會超出預(yù)算。這是在多云環(huán)境中的經(jīng)濟(jì)學(xué)。

審核編輯 黃宇