REST-ler: Автоматический интеллектуальный фаззинг-анализ REST API

Содержание

• 1 Введение
• 2 Методология REST-ler
  • 2.1 Статический анализ спецификаций Swagger
  • 2.2 Анализ динамической обратной связи
• 3 Техническая реализация
  • 3.1 Алгоритм вывода зависимостей
  • 3.2 Стратегии поиска
• 4 Результаты экспериментов
  • 4.1 Пример использования: GitLab
  • 4.2 Статистика обнаружения ошибок
• 5 Оригинальный анализ
• 6 Перспективы применения
• 7 Ссылки

1 Введение

Облачные сервисы пережили взрывной рост, при этом такие платформы, как Amazon Web Services и Microsoft Azure, стали доминирующими силами в вычислительной сфере. Большинство облачных сервисов сегодня доступны через REST API, а Swagger (OpenAPI) стал самым популярным языком описания интерфейсов. REST-ler представляет собой прорыв как первый автоматический интеллектуальный инструмент тестирования безопасности REST API, который анализирует спецификации Swagger для генерации комплексных тестов облачных сервисов.

2 Методология REST-ler

2.1 Статический анализ спецификаций Swagger

REST-ler выполняет легковесный статический анализ спецификаций Swagger для вывода зависимостей между типами запросов. Система идентифицирует отношения, в которых запрос B требует идентификатор ресурса, возвращаемый запросом A, устанавливая зависимости порядка выполнения. Этот анализ значительно сокращает пространство поиска за счет исключения недопустимых последовательностей запросов.

2.2 Анализ динамической обратной связи

Инструмент непрерывно анализирует ответы от предыдущих выполнений тестов для адаптации своей стратегии тестирования. Когда REST-ler обнаруживает, что определенные последовательности запросов (например, запрос C после последовательности A;B) последовательно отклоняются сервисом, он избегает этих комбинаций в будущих тестах, фокусируя вычислительные ресурсы на более перспективных областях.

3 Техническая реализация

3.1 Алгоритм вывода зависимостей

Вывод зависимостей использует формальные методы для установления отношений между конечными точками API. Алгоритм может быть представлен математически как:

Пусть $R = \{r_1, r_2, ..., r_n\}$ будет множеством API-запросов

Пусть $D(r_i, r_j)$ представляет отношение зависимости, где $r_j$ зависит от $r_i$

$D(r_i, r_j) = \begin{cases} 1 & \text{если } \exists p \in \text{output}(r_i) \cap \text{input}(r_j) \\ 0 & \text{иначе} \end{cases}$

3.2 Стратегии поиска

REST-ler реализует несколько стратегий поиска, вдохновленных подходами тестирования на основе моделей:

• Поиск в ширину по пространству состояний API
• Поиск в глубину с ограничением и возвратом
• Адаптивный выбор стратегии на основе шаблонов ответов

function generateTestSequence(swaggerSpec):
    dependencies = inferDependencies(swaggerSpec)
    testSequences = []
    
    for each root request in dependencies:
        sequence = [root]
        while canExtend(sequence):
            nextRequests = getValidNextRequests(sequence, dependencies)
            selected = selectNextRequest(nextRequests, strategy)
            sequence.append(selected)
        testSequences.append(sequence)
    
    return testSequences

4 Результаты экспериментов

4.1 Пример использования: GitLab

REST-ler был применен для тестирования GitLab, крупного саморазмещаемого сервиса Git с открытым исходным кодом и сложным REST API. Инструмент успешно выявил несколько ранее неизвестных уязвимостей посредством систематического фаззинга конечных точек API.

4.2 Статистика обнаружения ошибок

5 Оригинальный анализ

6 Перспективы применения

Методология REST-ler имеет значительный потенциал за пределами ее текущей реализации:

• Безопасность корпоративных API: Интеграция в конвейеры CI/CD для непрерывного тестирования безопасности API
• Инструменты поставщиков облачных услуг: Нативная реализация в облачных платформах, таких как AWS и Azure
• Валидация дизайна API: Использование анализа зависимостей для выявления ошибочных проектов API
• Тестирование соответствия: Автоматическая проверка соответствия API стандартам, таким как OpenAPI
• Архитектура микросервисов: Применение к сложным экосистемам микросервисов с множеством взаимосвязанных API

7 Ссылки

1. Fielding, R. T. (2000). Architectural Styles and the Design of Network-based Software Architectures. Doctoral dissertation, University of California, Irvine.
2. OWASP ZAP Project. (2023). OWASP Zed Attack Proxy.
3. Burp Suite. (2023). PortSwigger Web Security.
4. GitLab Inc. (2023). GitLab REST API Documentation.
5. Swagger/OpenAPI Initiative. (2023). OpenAPI Specification.
6. Microsoft Research. (2018). SAGE: Whitebox Fuzzing for Security Testing.
7. Cadar, C., et al. (2008). KLEE: Unassisted and Automatic Generation of High-Coverage Tests for Complex Systems Programs.
8. American Fuzzy Lop. (2023). AFL Fuzzer.
9. TensorFuzz: Debugging Neural Networks with Coverage-Guided Fuzzing. (2019). ICML.
10. Model-Based Testing. (2010). Springer-Verlag.