Использование байесовской фильтрации спама для классификации писем в Python

Использование байесовской фильтрации спама

Aspose.Email предоставляет функциональность фильтрации email с использованием байесовского анализатора спама. Он предоставляет SpamAnalyzer класс для этой цели. Эта статья показывает, как обучить фильтр различать спам и обычные письма на основе словарной базы данных.

1. Укажите пути к папкам для писем‑вирусов (ham_folder), спам‑писем (spam_folder), тестовых писем (test_folder) и файл базы данных (database_file) для спам‑фильтра.
2. Определите вспомогательную функцию print_result чтобы вывести, классифицируется ли сообщение как спам или нет, на основе рассчитанной вероятности спама.
3. Создайте Spam Analyzer, обучите его письмами из ham_folder (не спам) и spam_folder (спам) с помощью метода ’train_filter(message, is_spam)’, затем сохраните обученную базу данных с помощью ‘save_database(file_path)’.
4. Создайте Spam Analyzer, восстановите обученную базу данных с помощью ’load_database(file_path)’, загрузите .eml‑файлы из ’test_folder’, проанализируйте каждый с помощью ’test(message)’, чтобы получить вероятность спама, и выведите тему письма и классификацию с помощью ‘print_result’.

import os

from aspose.email import MailMessage
from aspose.email.antispam import SpamAnalyzer

ham_folder = "hamFolder"
spam_folder = "spamFolder"
test_folder = "testFolder"
database_file = "SpamFilterDatabase.txt"

def print_result(probability):
    if probability >= 0.5:
        print("The message is classified as spam.")
    else:
        print("The message is classified as not spam.")
    print("Spam Probability: " + str(probability))
    print()

def train_from_directory(analyzer, folder, is_spam):
    for file in os.listdir(folder):
        if file.endswith(".eml"):
            analyzer.train_filter(MailMessage.load(os.path.join(folder, file)), is_spam)

def teach_and_create_database(ham_folder, spam_folder, database_file):
    analyzer = SpamAnalyzer()
    train_from_directory(analyzer, ham_folder, False)
    train_from_directory(analyzer, spam_folder, True)
    analyzer.save_database(database_file)

teach_and_create_database(ham_folder, spam_folder, database_file)

test_files = [f for f in os.listdir(test_folder) if f.endswith(".eml")]
analyzer = SpamAnalyzer()
analyzer.load_database(database_file)

for file in test_files:
    file_path = os.path.join(test_folder, file)
    msg = MailMessage.load(file_path)
    print(msg.subject)
    probability = analyzer.test(msg)
    print_result(probability)