Devops 團隊旨在提高部署頻率，減少生產(chǎn)中發(fā)現(xiàn)的缺陷數(shù)量，并提高從微服務和面向客戶的應用程序到員工工作流和業(yè)務流程自動化的一切的可靠性。

實施CI/CD（持續(xù)集成和持續(xù)交付）管道可確保構建和部署所有這些應用程序和服務的無縫路徑，自動化測試和實施持續(xù)測試實踐有助于團隊保持質量、可靠性和性能。通過持續(xù)測試，敏捷開發(fā)團隊可以 左移他們的測試，增加測試用例的數(shù)量，并提高測試速度。

［也在 InfoWorld 上：在數(shù)據(jù)科學和機器學習中應用 devops ］

構建測試用例并使其自動化是一回事，擁有足夠數(shù)量和種類的測試數(shù)據(jù)來驗證足夠數(shù)量的用例和邊界場景是另一回事。例如，測試網(wǎng)站注冊表單應驗證輸入模式的排列，包括缺失數(shù)據(jù)、長數(shù)據(jù)條目、特殊字符、多語言輸入和其他場景。

挑戰(zhàn)在于生成測試數(shù)據(jù)。一種方法是合成數(shù)據(jù)生成，它使用不同的技術根據(jù)模型和輸入模式集推斷數(shù)據(jù)集。合成數(shù)據(jù)生成解決了所需數(shù)據(jù)的數(shù)量和種類。在使用真實數(shù)據(jù)可能引發(fā)法律或其他合規(guī)性問題的情況下，您還可以使用合成數(shù)據(jù)生成來創(chuàng)建數(shù)據(jù)集。

“當所需數(shù)據(jù)不存在或原始數(shù)據(jù)集充滿個人身份信息時，合成數(shù)據(jù)提供了一個很好的選擇，”Accelario 的首席技術官兼聯(lián)合創(chuàng)始人 Roman Golod說?！白詈玫姆椒ㄊ腔诂F(xiàn)有模式創(chuàng)建合成數(shù)據(jù)以進行測試數(shù)據(jù)管理或構建規(guī)則，以確保您的 BI、AI 和其他分析提供可操作的結果。對于這兩者，您需要確?？梢愿鶕?jù)不斷變化的業(yè)務需求對合成數(shù)據(jù)生成自動化進行微調(diào)?！?/p>

合成數(shù)據(jù)生成用例

雖然合成數(shù)據(jù)生成的最基本需求源于測試應用程序、自動化和集成，但隨著數(shù)據(jù)科學測試需要機器學習和人工智能算法的測試數(shù)據(jù)，需求也在增長。數(shù)據(jù)科學家有時會使用合成數(shù)據(jù)來訓練神經(jīng)網(wǎng)絡；在其他時候，他們使用機器生成的數(shù)據(jù)來驗證模型的結果。

其他合成數(shù)據(jù)用例更具體：

［在這份免費的 CIO 路線圖報告中了解 IT 如何利用 5G 的力量和前景。現(xiàn)在下載?。?/p>

通過確保在兩個基礎架構上運行相同的應用程序生成相同的結果來測試云遷移

為安全測試、欺詐檢測和其他實際數(shù)據(jù)可能不存在的實際場景創(chuàng)建數(shù)據(jù)

生成數(shù)據(jù)以測試大規(guī)模 ERP（企業(yè)資源規(guī)劃）和 CRM（客戶關系管理）升級，測試人員希望在遷移實時數(shù)據(jù)之前驗證配置

為決策支持系統(tǒng)生成數(shù)據(jù)以測試邊界條件、驗證特征選擇、提供更廣泛的無偏測試數(shù)據(jù)樣本，并確保AI 結果可解釋

對人工智能和物聯(lián)網(wǎng)系統(tǒng)（例如自動駕駛汽車）進行壓力測試，并驗證它們對不同安全情況的反應

如果您正在開發(fā)具有高維數(shù)據(jù)輸入以及關鍵質量和安全因素的算法或應用程序，那么合成數(shù)據(jù)生成提供了一種以經(jīng)濟高效地創(chuàng)建大型數(shù)據(jù)集的機制。

“合成數(shù)據(jù)有時是唯一的出路，因為真實數(shù)據(jù)要么不可用，要么不可用，”KNIME 的數(shù)據(jù)科學家 Maarit Widman說。

平臺如何生成合成數(shù)據(jù)

您可能想知道平臺如何生成綜合測試數(shù)據(jù)以及如何選擇最佳算法和配置來創(chuàng)建所需數(shù)據(jù)。

Widman 解釋說：“生成合成數(shù)據(jù)有兩種主要策略：基于統(tǒng)計概率或基于機器學習算法。最近，像循環(huán)神經(jīng)網(wǎng)絡這樣的深度學習技術——比如長短期記憶網(wǎng)絡和生成對抗網(wǎng)絡——因其能夠從無到有地生成新的音樂、文本和圖像的能力而越來越受歡迎?！?/p>

當數(shù)據(jù)點之間存在依賴關系時，例如時間序列數(shù)據(jù)和文本分析，數(shù)據(jù)科學家會使用RNN（循環(huán)神經(jīng)網(wǎng)絡） 。LSTM（長期短期記憶）通過一系列重復模塊創(chuàng)建一種形式的長期記憶，每個模塊都有提供類似記憶功能的門。例如，文本分析中的 LSTM可以學習字符和單詞之間的依賴關系以生成新的字符序列。它還用于音樂創(chuàng)作、欺詐檢測和谷歌的 Pixel 6 語法校正。

GAN（生成對抗網(wǎng)絡）已被用于生成多種形式的圖像、破解網(wǎng)絡安全密碼，甚至制作披薩。GANs通過使用一種算法生成數(shù)據(jù)模式和另一種算法來測試它們來創(chuàng)建數(shù)據(jù)。然后他們在兩者之間形成對抗性競爭以找到最佳模式。生成合成數(shù)據(jù)的 GAN 代碼示例包括PyTorch 手寫數(shù)字、用于開發(fā)一維高斯分布的 TensorFlow 模型和用于模擬衛(wèi)星圖像的 R 模型。

選擇機器學習和基于統(tǒng)計的模型是一門藝術和科學。Monitaur的聯(lián)合創(chuàng)始人兼首席技術官 Andrew Clark解釋了如何嘗試合成數(shù)據(jù)生成。他說：“這里的經(jīng)驗法則始終是為工作選擇最簡單的模型，并以可接受的準確度執(zhí)行任務。如果您正在對客戶結賬行進行建模，那么基于泊松分布的單變量隨機過程將是一個很好的起點。另一方面，如果您有大量貸款承銷數(shù)據(jù)集并想要創(chuàng)建測試數(shù)據(jù)，GAN 模型可能更適合捕捉各個特征之間的復雜相關性和關系?！?/p>

如果您正在處理數(shù)據(jù)科學用例，那么您可能希望靈活地開發(fā)合成數(shù)據(jù)生成模型。商業(yè)選項包括用于計算機視覺的Chooch 、Datomize和Deep Vision Data。

如果您的目標是應用程序測試，請考慮用于測試數(shù)據(jù)管理或綜合生成測試數(shù)據(jù)的平臺，例如 Accelario、Delphix、GenRocket、Informatica、K2View、Tonic，以及一些測試數(shù)據(jù)工具，例如開源測試數(shù)據(jù)生成器。Microsoft 的Visual Studio Premium也有一個內(nèi)置的測試數(shù)據(jù)生成器，Java 開發(fā)人員應該使用Vaadin 的數(shù)據(jù)生成器查看這個示例。

如今，擁有強大的測試實踐非常重要，因為組織依賴于應用程序的可靠性和機器學習模型的準確性。合成數(shù)據(jù)生成是另一種縮小差距的方法。因此，您不僅擁有測試、訓練或驗證方法，而且還擁有生成足夠數(shù)據(jù)來構建模型和驗證應用程序的方法。