Классификатор токсичности комментариев

Этот проект представляет собой веб-приложение и инструмент командной строки для определения токсичности текста. Он использует модель машинного обучения на базе трансформеров для классификации комментариев как токсичных или нетоксичных.

✨ Особенности

• Веб-интерфейс: Простой и интуитивно понятный интерфейс для проверки отдельных комментариев и пакетной обработки CSV-файлов.
• API: REST API для интеграции с другими сервисами.
• Инструмент командной строки (CLI): Возможность классифицировать текст непосредственно из командной строки.
• Пакетная обработка: Загрузка CSV-файла с текстами для массовой классификации.
• Предобработка текста: Включает очистку текста, нормализацию и удаление нерелевантных символов.

🚀 Установка

1. Клонируйте репозиторий:

   git clone https://github.com/Barden-dev/AIM.git
   cd AIM

2. Создайте и активируйте виртуальное окружение:

   python -m venv venv
   source venv/bin/activate  # Для Windows: venv\Scripts\activate

3. Установите зависимости:

   pip install -r requirements.txt

4. Использование:

🌐 Веб-приложение

1. Запустите Flask-сервер:

   python server.py

2. Откройте браузер и перейдите по адресу http://127.0.0.1:5555.

• Одиночный комментарий: Введите текст в левое поле и нажмите "Отправить". Результат модерации появится в правом окне.
• CSV-файл:
  • Убедитесь, что ваш CSV-файл содержит колонки ID и text.
  • Нажмите "Выберите файл", загрузите ваш файл и нажмите "Загрузить и обработать".
  • Браузер автоматически скачает файл results.csv с результатами.

CLI

Скрипт predict_cli.py позволяет классифицировать текст из командной строки.

• Классификация одного текста:

  python predict_cli.py --text "Пример токсичного комментария"

• Обработка CSV-файла:

  python predict_cli.py --input-file path/to/your/data.csv --output-file path/to/save/results.csv

• Указание пути к модели (опционально):

  python predict_cli.py --text "Пример" --model-path /path/to/your/model

📂 Структура проекта

.
├── model/                  # Папка для хранения модели ML
├── static/                 # Статические файлы (CSS, JS)
│   ├── style.css           # Стили для веб-интерфейса
│   └── start.js            # Логика фронтенда
├── templates/              # HTML-шаблоны
│   └── index.html          # Основная страница веб-приложения
├── backendPredict.py       # Логика предсказания для бэкенда
├── model_handler.py        # Загрузка и предобработка модели
├── predict_cli.py          # CLI для предсказаний
├── requirements.txt        # Зависимости проекта
├── server.py               # Основной файл Flask-приложения
└── README.md               # Этот файл

🤝 Контрибьюторы

Разработано студентами Полесского Государственного Университета.