【Python】垃圾郵件識別

猿友 2018-08-02 18:54:57 瀏覽數(shù) (7678)

反饋

本文轉(zhuǎn)載至知乎ID：Charles（白露未晞）知乎個人專欄

下載W3Cschool手機(jī)App，0基礎(chǔ)隨時(shí)隨地學(xué)編程>>戳此了解

導(dǎo)語

利用簡單的機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)垃圾郵件識別。

讓我們愉快地開始吧~

開發(fā)工具

Python版本：3.6.4

相關(guān)模塊：

scikit-learn模塊；

jieba模塊；

numpy模塊；

以及一些Python自帶的模塊。

環(huán)境搭建

安裝Python并添加到環(huán)境變量，pip安裝需要的相關(guān)模塊即可。

逐步實(shí)現(xiàn)

（1）劃分?jǐn)?shù)據(jù)集

網(wǎng)上用于垃圾郵件識別的數(shù)據(jù)集大多是英文郵件，所以為了表示誠意，我花了點(diǎn)時(shí)間找了一份中文郵件的數(shù)據(jù)集。數(shù)據(jù)集劃分如下：

訓(xùn)練數(shù)據(jù)集：

7063封正常郵件(data/normal文件夾下)；

7775封垃圾郵件(data/spam文件夾下)。

測試數(shù)據(jù)集：

共392封郵件(data/test文件夾下)。

（2）創(chuàng)建詞典

數(shù)據(jù)集里的郵件內(nèi)容一般是這樣的：

首先，我們利用正則表達(dá)式過濾掉非中文字符，然后再用jieba分詞庫對語句進(jìn)行分詞，并清除一些停用詞，最后再利用上述結(jié)果創(chuàng)建詞典，詞典格式為：

{"詞1": 詞1詞頻, "詞2": 詞2詞頻...}

這些內(nèi)容的具體實(shí)現(xiàn)均在"utils.py"文件中體現(xiàn)，在主程序中(train.py)調(diào)用即可：

最終結(jié)果保存在"results.pkl"文件內(nèi)。

大功告成了么？當(dāng)然沒有?。。?/p>

現(xiàn)在的詞典里有52113個詞，顯然太多了，有些詞只出現(xiàn)了一兩次，后續(xù)特征提取的時(shí)候一直空占著一個維度顯然是不明智的做法。因此，我們只保留詞頻最高的4000個詞作為最終創(chuàng)建的詞典：

最終結(jié)果保存在"wordsDict.pkl"文件內(nèi)。

（3）特征提取

詞典準(zhǔn)備好之后，我們就可以把每封信的內(nèi)容轉(zhuǎn)換為詞向量了，顯然其維度為4000，每一維代表一個高頻詞在該封信中出現(xiàn)的頻率，最后，我們將這些詞向量合并為一個大的特征向量矩陣，其大小為：

(7063+7775)×4000

即前7063行為正常郵件的特征向量，其余為垃圾郵件的特征向量。

上述內(nèi)容的具體實(shí)現(xiàn)仍然在"utils.py"文件中體現(xiàn)，在主程序中調(diào)用如下：

最終結(jié)果保存在"fvs_%d_%d.npy"文件內(nèi)，其中第一個格式符代表正常郵件的數(shù)量，第二個格式符代表垃圾郵件的數(shù)量。

（4）訓(xùn)練分類器

我們使用scikit-learn機(jī)器學(xué)習(xí)庫來訓(xùn)練分類器，模型選擇樸素貝葉斯分類器和SVM(支持向量機(jī))：

（5）性能測試

利用測試數(shù)據(jù)集對模型進(jìn)行測試：

結(jié)果如下：

可以發(fā)現(xiàn)兩個模型的性能是差不多的(SVM略勝于樸素貝葉斯)，但SVM更傾向于向垃圾郵件的判定。

That's all~

完整源代碼請參見相關(guān)文件。

沒有具體介紹模型原理，因?yàn)楹罄m(xù)可能會出一個系列，比較完整詳細(xì)地介紹一下機(jī)器學(xué)習(xí)里的常用算法。所以，就先這樣吧~

HTML

0 人點(diǎn)贊