背景介紹

什么是分類器？

分類器是一種機器學習模型，用于基于某些特征來區分不同的對象。

樸素貝葉斯分類器的原理：

樸素貝葉斯分類器是一種概率性機器學習模型，用于分類任務。分類器基于貝葉斯定理。

貝葉斯定理：

使用貝葉斯定理，我們可以找到已知B發生，A發生的可能性。在這里，B是證據，A是假設。這里所做的假設是預測變量/特征是獨立的。也就是說，一個特定功能的存在不會影響其他功能。因此，它被稱為樸素。

例如：

讓我們以一個例子來獲得更好的直覺。考慮打高爾夫球的問題。數據集如下所示。

根據一天的特點，我們對一天是否適合打高爾夫球進行分類。列代表這些功能，行代表各個條目。如果我們取數據集的第一行，則可以觀察到如果前景多雨，溫度高，濕度高且不大風，則不適合打高爾夫球。我們在此做出兩個假設，如上所述，我們認為這些預測變量是獨立的。即，如果溫度高，則不一定表示濕度高。這里所做的另一個假設是，所有預測變量對結果的影響均等。即，有風的日子在決定是否打高爾夫球方面沒有更多的重要性。

根據此示例，貝葉斯定理可以重寫為：

變量y是類別變量（打高爾夫球），它表示是否適合打高爾夫球或沒有給定條件。變量X代表參數/特征。

X給出為：

這里的x_1，x_2….x_n代表這些特征，即可以將它們映射到外觀，溫度，濕度和大風。通過替換X并使用鏈式規則擴展，我們得到：

現在，您可以通過查看數據集并將其替換為方程式來獲取每個值。對于數據集中的所有條目，分母不會更改，而是保持不變。因此，可以去除分母并且可以引入比例。

在我們的例子中，類變量（y）只有兩個結果，是或否。在某些情況下，分類可能是多元的。因此，我們需要找到概率最大的y類。

使用上面的函數，我們可以得到給定預測變量的類。

樸素貝葉斯分類器的類型：
多項式樸素貝葉斯：
這主要用于文檔分類問題，即文檔是否屬于體育，政治，技術等類別。分類器使用的特征/預測詞是文檔中出現的單詞的頻率。
伯努利·樸素貝葉斯：
這類似于多項式樸素貝葉斯，但預測變量是布爾變量。 我們用于預測類變量的參數僅采用yes或no值，例如，是否在文本中出現單詞。
高斯樸素貝葉斯：
當預測變量采用連續值并且不是離散值時，我們假定這些值是從高斯分布中采樣的。

高斯分布（正態分布）

由于值在數據集中的顯示方式發生了變化，因此條件概率公式變為：

結論：

樸素貝葉斯算法主要用于情感分析(NLP問題)，垃圾郵件過濾，推薦系統等。它們快速，易于實現，但最大的缺點是預測變量要求獨立。在大多數現實生活中，預測變量是相互依賴的，這會妨礙分類器的性能。