Skip to main content
✱ Функциональное тестирование

Avro и Kafka: испытания тестировщика в мире Big Data

SQA Days #37
2025-10-25 11:00
Секция C
20 мин
Просто
Доклад был на прошедшей конференции SQA Days #37 и сейчас находится в архиве.
Avro - удобный формат для работы с потоками данных в Kafka и хранения в Big Data, но на практике он часто превращается в источник проблем для QA и аналитиков. В докладе рассмотрим ключевые проблемы, с которыми столкнулись при тестировании отчетности с исходниками в бинарном формате: невозможность быстро кастомизировать данные для проверки различных сценариев; долгий и сложный поиск конкретных сделок в массиве файлов в хранилище; ограничения работы с Kafka без использования реестра схем. Данные ограничения существенно замедляют и усложняют тестирование. Для обхода этих сложностей мы прошли путь от «ручных костылей» и Jupyter-ноутбуков к более универсальным решениям — разработке собственных конвертеров и внедрению TRINO как платформенного инструмента для анализа. Для слушателей будет доступен не просто обзор популярного бинарного формата, а практический набор идей и инструментов для работы с Avro, позволяющий сократить время на рутину и сосредоточиться на проверке бизнес-логики.

Другие доклады SQA Days #37