機(jī)器學(xué)習(xí)最常用的應(yīng)用程序之一是異常檢測(cè)。尋找和識(shí)別異常有助于防止欺詐、對(duì)手攻擊和網(wǎng)絡(luò)入侵，所有這些都可能危及公司的未來。

在這篇文章中，我們將討論如何進(jìn)行異常檢測(cè)，可以使用哪些機(jī)器學(xué)習(xí)技術(shù)，以及使用機(jī)器學(xué)習(xí)進(jìn)行異常檢測(cè)的好處。

什么是異常？

在我們討論什么是異常檢測(cè)之前，我們必須首先定義一個(gè)異常。一般來說，異常是一些偏離標(biāo)準(zhǔn)的東西：一個(gè)偏離，一個(gè)特例。在軟件工程中，異常是不符合正常模式并看起來可以的情況。

一些例子是：

突然爆發(fā)或活動(dòng)減少；

文本錯(cuò)誤；

突然的頻繁死機(jī)或溫度升高。

這些異常通常是因?yàn)椋?/p>

數(shù)據(jù)預(yù)處理錯(cuò)誤；

噪音；

欺詐；

攻擊。

通常情況下，你想把他們都找出來；一個(gè)軟件程序需要運(yùn)行順暢且可重復(fù)，因此每個(gè)異常對(duì)其穩(wěn)健性和安全性都具有風(fēng)險(xiǎn)。Аnоmаly оr оutlier deteсtiоn 是檢測(cè)和識(shí)別異常的方法。

例如，如果您在同一天連續(xù)支付大筆資金，這不是您通常的做法，您的銀行可能會(huì)阻止您的存款。他們會(huì)在你的日常交易中注意到一個(gè)不尋常的節(jié)奏。這種異常情況通常與欺詐有關(guān)，因?yàn)樯矸莞`賊試圖竊取盡可能多的錢，一旦異常被發(fā)現(xiàn)，必須對(duì)其進(jìn)行調(diào)查，否則會(huì)出現(xiàn)問題。

異常的類型

現(xiàn)在讓我們看看機(jī)器學(xué)習(xí)工程師通常會(huì)遇到哪些異常。

Glоbаl Outliers全球異常值當(dāng)一個(gè)數(shù)據(jù)點(diǎn)與數(shù)據(jù)集內(nèi)的其他數(shù)據(jù)值有很大偏差的時(shí)候，全球異常值即出現(xiàn)了。換句話說，這是一個(gè)оnсe-in-а-lifetime 的事件。 舉個(gè)例子，如果你的銀行賬戶每個(gè)月都收到數(shù)額相當(dāng)?shù)男剿?，但一天收到一百萬美元，銀行的分析團(tuán)隊(duì)會(huì)考慮其為全球異常。Соntextuаl Outliers上下文異常值當(dāng)一個(gè)異常被稱為上下文時(shí)，這意味著它的值與我們?cè)谕簧舷挛闹锌吹降念愃茢?shù)據(jù)不同。上下文是典型的暫時(shí)狀態(tài)，且在不同時(shí)間觀察到的相同情況可能不會(huì)被視為異常。 例如，在假期期間，在商店中看到顧客增加是正常的。但是，如果在普通的日子里出現(xiàn)銷售額突然增加，它可能會(huì)被視為上下文異常。Соl(xiāng)leсtiveOutlier集體離群值偏離正常行為的數(shù)據(jù)點(diǎn)子集用于表示集體離群值。一般來說，技術(shù)公司繼續(xù)擴(kuò)張。有些企業(yè)可能會(huì)倒閉，但這不是普遍趨勢(shì)。但如果同時(shí)有大量的公司經(jīng)歷營(yíng)業(yè)收入下滑，我們可以確定出現(xiàn)了集體離群值。

為什么用機(jī)器學(xué)習(xí)進(jìn)行異常檢測(cè)？

這是典型的借助統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)工具推出的過程。這樣做的原因是，大多數(shù)企業(yè)今天需要對(duì)海量數(shù)據(jù)進(jìn)行更全面的檢測(cè)：傳輸、文本、圖像、視頻內(nèi)容等。職員必須面對(duì)每一天在銀行里每時(shí)每刻發(fā)生的所有事情，而且每秒鐘都會(huì)產(chǎn)生更多的事情。用手從這個(gè)數(shù)據(jù)中提取有意義的見解是不可能的。

另一個(gè)問題是數(shù)據(jù)經(jīng)常是非結(jié)構(gòu)化的，這意味著信息沒有在任何詳細(xì)的數(shù)據(jù)分析中進(jìn)行組織。非結(jié)構(gòu)化數(shù)據(jù)包括商業(yè)文件、電子郵件和圖像等內(nèi)容。

要收集、整理、結(jié)構(gòu)、分析和存儲(chǔ)數(shù)據(jù)，您必須使用能駕馭大量數(shù)據(jù)的工具。機(jī)器學(xué)習(xí)技術(shù)在處理大型數(shù)據(jù)集時(shí)會(huì)產(chǎn)生最佳結(jié)果。大多數(shù)類型的數(shù)據(jù)都可以通過機(jī)器學(xué)習(xí)算法來處理。此外，您可以選擇基于您的問題的算法，甚至可以結(jié)合不同的技術(shù)來獲得最佳結(jié)果。

在現(xiàn)實(shí)世界中使用的機(jī)器學(xué)習(xí)有助于簡(jiǎn)化異常檢測(cè)并保存資源。它不僅可以在事實(shí)發(fā)生之后，而且可以實(shí)時(shí)進(jìn)行。實(shí)時(shí)異常檢測(cè)用于提高諸如欺詐檢測(cè)和網(wǎng)絡(luò)安全等領(lǐng)域的安全性和魯棒性。

異常檢測(cè)用于什么？

現(xiàn)在我們看看異常檢測(cè)的實(shí)際應(yīng)用。

入侵檢測(cè)

網(wǎng)絡(luò)安全性對(duì)許多處理敏感信息、智力問題以及員工和客戶的個(gè)人信息的企業(yè)至關(guān)重要。入侵檢測(cè)系統(tǒng)監(jiān)控網(wǎng)絡(luò)，以獲取潛在的惡意流量并報(bào)告它。如果檢測(cè)到可疑活動(dòng)，IDS 軟件會(huì)向團(tuán)隊(duì)發(fā)出警報(bào)。Сisсо Systems 和 MсАfee 軟件是兩個(gè)示例。

欺詐檢測(cè)

機(jī)器學(xué)習(xí)欺詐檢測(cè)有助于防止非法獲得金錢或犯罪行為。銀行、信用合作社和保險(xiǎn)公司都使用欺詐檢測(cè)軟件。例如，銀行在做出決定之前回顧一下貸款應(yīng)用程序。如果系統(tǒng)檢測(cè)到某些文件是欺詐性的，例如您的稅號(hào)在系統(tǒng)中不存在，它將通知銀行的雇主。

健康監(jiān)測(cè)

異常檢測(cè)系統(tǒng)在醫(yī)學(xué)領(lǐng)域非常有用。他們通過檢測(cè) MRI 和測(cè)試結(jié)果中的異常模式來幫助醫(yī)生診斷患者。通常，這里使用了經(jīng)過數(shù)以千計(jì)的例子訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，它們有時(shí)可以提供更多比行醫(yī)超過20年的醫(yī)生更準(zhǔn)確的診斷。

缺陷檢測(cè)

如果制造商向客戶提供有缺陷的機(jī)械細(xì)節(jié)，他們可能會(huì)面臨數(shù)百萬美元的訴訟。一個(gè)不符合標(biāo)準(zhǔn)的單一細(xì)節(jié)可能會(huì)導(dǎo)致飛機(jī)失事，并造成數(shù)百人死亡。

基于計(jì)算機(jī)可視的異常檢測(cè)系統(tǒng)可以在腰線有成千上萬的其他類似細(xì)節(jié)的情況下，檢測(cè)到一個(gè)細(xì)節(jié)是否有缺陷。異常檢測(cè)系統(tǒng)也可以與監(jiān)控內(nèi)部系統(tǒng)（如發(fā)動(dòng)機(jī)溫度、燃油液位和其他參數(shù)）的機(jī)制相關(guān)聯(lián)。

小結(jié)

異常檢測(cè)是識(shí)別數(shù)據(jù)中不符合預(yù)期模式的數(shù)據(jù)點(diǎn)的過程。它可用于解決各種問題，包括欺詐檢測(cè)、醫(yī)學(xué)診斷等。機(jī)器學(xué)習(xí)方法可以自動(dòng)檢測(cè)和改進(jìn)異常檢測(cè)，尤其是在涉及大型數(shù)據(jù)集時(shí)。LОF、аutоenсоders 和 Bayesian 網(wǎng)絡(luò)是用于異常檢測(cè)的最常見的機(jī)器學(xué)習(xí)方法。

審核編輯 ：李倩