fix: фаза 2 — критические фиксы
READМЕ: убрать NEXUS_REPOSITORIES, CREATED→UPDATED, go/npm/Gem→go/npm, добавить MAX_CONCURRENT_SCANS, CSV-экспорт, инструкцию по вебхукам Nexus Dockerfile: uv pip install --system . (единый источник deps — pyproject.toml) docker-compose: WEBHOOK_SECRET, SCAN_TIMEOUT_SECONDS pyproject.toml: убрать deprecated [tool.ruff].select config.py: default из DEFAULT_MAX_CONCURRENT_SCANS constants.py: убрать GUARDDOG_ERRORS_KEY (мёртвый), .gem из PACKAGE_EXTENSIONS, LLM prompt: «Python»→«software» queries.py: убрать return_total Makefile: docker-up +--build, docker-down без -v, +docker-destroy, +docker-rebuild, убран typecheck
This commit is contained in:
72
README.md
72
README.md
@@ -5,8 +5,8 @@
|
||||
## Возможности
|
||||
|
||||
- **Автоматическое сканирование** по вебхукам Nexus при создании/обновлении пакетов
|
||||
- **Поддержка нескольких экосистем** — PyPI, Gem, и другие форматы через Nexus
|
||||
- **REST API** для просмотра результатов сканирования, уязвимостей и статистики
|
||||
- **Поддержка нескольких экосистем** — PyPI, Go, npm (любой формат через прокси-репозитории Nexus)
|
||||
- **REST API** для просмотра результатов сканирования, уязвимостей, статистики и экспорта в CSV
|
||||
- **Веб-интерфейс** с дашбордом, таблицами сканирований и фильтрацией по уязвимостям
|
||||
- **LLM-анализ** — автоматический разбор каждой уязвимости через OpenAI-совместимые API (опционально, настраивается)
|
||||
- **Дедупликация** по URL и SHA256 — один и тот же пакет сканируется один раз
|
||||
@@ -72,7 +72,6 @@ python -m guarddog_nexus.main
|
||||
| `NEXUS_URL` | `http://localhost:8081` | URL Sonatype Nexus |
|
||||
| `NEXUS_USERNAME` | `admin` | Имя пользователя Nexus |
|
||||
| `NEXUS_PASSWORD` | _(обязательно)_ | Пароль пользователя Nexus |
|
||||
| `NEXUS_REPOSITORIES` | _(пусто)_ | Список репозиториев через запятую |
|
||||
| `DATABASE_PATH` | `data/guarddog.db` | Путь к SQLite-базе данных |
|
||||
| `HOST` | `0.0.0.0` | Хост для прослушивания |
|
||||
| `PORT` | `8080` | Порт для прослушивания |
|
||||
@@ -85,6 +84,7 @@ python -m guarddog_nexus.main
|
||||
| `GUARDDOG_BINARY` | `guarddog` | Путь к бинарнику GuardDog |
|
||||
| `NEXUS_DOWNLOAD_TIMEOUT_SECONDS` | `120` | Таймаут загрузки пакета из Nexus |
|
||||
| `NEXUS_API_TIMEOUT_SECONDS` | `30` | Таймаут запросов к Nexus REST API |
|
||||
| `MAX_CONCURRENT_SCANS` | `4` | Максимум одновременных сканирований GuardDog |
|
||||
| `LOG_SYSLOG_FACILITY` | `local0` | Syslog facility (local0–local7) |
|
||||
| `LLM_ENABLED` | `0` | `1` — включить LLM-анализ уязвимостей |
|
||||
| `LLM_API_KEY` | _(пусто)_ | API-ключ (OpenAI / Groq / Ollama / etc.) |
|
||||
@@ -102,14 +102,27 @@ python -m guarddog_nexus.main
|
||||
|
||||
### Вебхуки
|
||||
|
||||
Nexus отправляет вебхуки при событиях `ASSET` и `COMPONENT`. GuardDog Nexus поддерживает:
|
||||
GuardDog Nexus принимает вебхуки от Nexus при событии `UPDATED` (срабатывает при обновлении кэша прокси-репозитория).
|
||||
|
||||
- **CREATED** — новое событие при создании пакета
|
||||
- **UPDATED** — событие при обновлении пакета
|
||||
Для валидации вебхуков установите `WEBHOOK_SECRET` в `.env` — подпись проверяется через HMAC-SHA256.
|
||||
|
||||
Для валидации вебхуков установите `WEBHOOK_SECRET` — подпись проверяется через HMAC-SHA256.
|
||||
> **Примечание:** Вебхуки доступны в Nexus Pro. В Nexus Repository Manager 3 Community Edition можно использовать плагин [nexus-blobstore-webhook](https://github.com/sonatype-nexus-community/nexus-blobstore-webhook) или настроить вебхуки вручную через административную панель.
|
||||
|
||||
> **Примечание:** Вебхуки доступны в Nexus Pro. В Nexus Repository Manager 3 Community Edition настройка вебхуков может потребовать дополнительных плагинов.
|
||||
### Настройка вебхуков в Nexus
|
||||
|
||||
1. В административной панели Nexus перейдите в **System → Capabilities**
|
||||
2. Создайте capability типа **Webhook: Repository**
|
||||
3. Укажите **URL:** `http://guarddog-nexus:8080/webhooks/nexus` (замените хост если нужно)
|
||||
4. Выберите тип события: **Repository → Asset → Updated**
|
||||
5. В фильтре репозиториев выберите: `pypi-proxy`, `go-proxy`, `npm-proxy`
|
||||
6. Если задан `WEBHOOK_SECRET`, укажите тот же секрет в поле **Secret Key**
|
||||
|
||||
> Для локальной разработки без реальных вебхуков можно отправлять тестовые запросы вручную:
|
||||
> ```bash
|
||||
> curl -X POST http://localhost:8080/webhooks/nexus \
|
||||
> -H "Content-Type: application/json" \
|
||||
> -d '{"action":"UPDATED","repositoryName":"pypi-proxy","asset":{"format":"pypi","name":"/packages/pkg/1.0/pkg-1.0.tar.gz","downloadUrl":"http://nexus:8081/repository/pypi-proxy/packages/pkg/1.0/pkg-1.0.tar.gz"}}'
|
||||
> ```
|
||||
|
||||
## REST API
|
||||
|
||||
@@ -160,24 +173,26 @@ guarddog-nexus/
|
||||
├── guarddog_nexus/ # Основной пакет
|
||||
│ ├── main.py # Точка входа FastAPI
|
||||
│ ├── config.py # Конфигурация из переменных окружения
|
||||
│ ├── database.py # Async SQLAlchemy + aiosqlite
|
||||
│ ├── models.py # ORM-модели (Scan, Finding)
|
||||
│ ├── logging_setup.py # JSON-логирование + syslog
|
||||
│ ├── harvester.py # Пайплайн: загрузка → сканирование → сохранение
|
||||
│ ├── scanner.py # Интеграция с GuardDog CLI
|
||||
│ ├── nexus_client.py # HTTP-клиент для Nexus REST API
|
||||
│ ├── webhooks.py # Приём вебхуков Nexus
|
||||
│ ├── api/ # REST API (JSON)
|
||||
│ │ ├── scans.py
|
||||
│ │ ├── packages.py
|
||||
│ │ └── findings.py
|
||||
│ ├── web/ # Веб-интерфейс
|
||||
│ │ ├── routes.py
|
||||
│ │ ├── templates/ # Jinja2-шаблоны
|
||||
│ │ └── static/ # CSS, JS
|
||||
│ ├── constants.py # Централизованные константы
|
||||
│ ├── queries.py # Общие SQL-запросы
|
||||
│ └── llm.py # LLM-клиент
|
||||
│ ├── logging_setup.py # JSON-логирование + syslog
|
||||
│ ├── core/ # Ядро: сканер, harvester, LLM
|
||||
│ │ ├── scanner.py # Интеграция с GuardDog CLI
|
||||
│ │ ├── harvester.py # Пайплайн: загрузка → скан → сохранение
|
||||
│ │ ├── nexus.py # HTTP-клиент + extractor'ы pypi/go/npm
|
||||
│ │ └── llm.py # LLM-клиент (OpenAI-совместимый)
|
||||
│ ├── db/ # База данных
|
||||
│ │ ├── engine.py # Async SQLAlchemy + миграции
|
||||
│ │ ├── models.py # ORM-модели (Scan, Finding)
|
||||
│ │ └── queries.py # Общие SQL-запросы
|
||||
│ ├── routes/ # Роутеры FastAPI
|
||||
│ │ ├── webhooks.py # Приём вебхуков Nexus
|
||||
│ │ ├── api_scans.py # REST API: сканирования
|
||||
│ │ ├── api_packages.py # REST API: пакеты
|
||||
│ │ ├── api_findings.py # REST API: уязвимости
|
||||
│ │ └── web.py # Веб-интерфейс (Jinja2 + htmx)
|
||||
│ └── web/ # Статика и шаблоны
|
||||
│ ├── templates/ # Jinja2-шаблоны
|
||||
│ └── static/ # CSS, JS
|
||||
├── tests/ # Тесты pytest
|
||||
├── scripts/ # Вспомогательные скрипты
|
||||
├── docker-compose.yml # Стек Docker Compose
|
||||
@@ -194,11 +209,12 @@ guarddog-nexus/
|
||||
| `make test` | Запуск тестов |
|
||||
| `make lint` | Проверка кода через Ruff |
|
||||
| `make format` | Форматирование кода через Ruff |
|
||||
| `make typecheck` | Проверка типов через mypy |
|
||||
| `make docker-build` | Сборка Docker-образа |
|
||||
| `make docker-up` | Запуск стека Docker Compose |
|
||||
| `make docker-down` | Остановка стека с удалением данных |
|
||||
| `make docker-up` | Пересборка и запуск стека (`up -d --build`) |
|
||||
| `make docker-down` | Остановка стека |
|
||||
| `make docker-destroy` | Остановка стека с удалением всех данных (`-v`) |
|
||||
| `make docker-logs` | Просмотр логов стека |
|
||||
| `make docker-rebuild` | Полная пересборка (down + build + up) |
|
||||
| `make clean` | Очистка артефактов сборки |
|
||||
|
||||
## Безопасность
|
||||
|
||||
Reference in New Issue
Block a user