✱ Функциональное тестирование
Avro и Kafka: испытания тестировщика в мире Big Data
SQA Days #37
2025-10-24 17:00
Секция A
20 мин
Просто
Спикеры
Доклад анонсирован на предстоящей конференции SQA Days #37. Приглашаем принять участие и получить доступ к записи доклада на этой странице.
Avro - удобный формат для работы с потоками данных в Kafka и хранения в Big Data, но на практике он часто превращается в источник проблем для QA и аналитиков.
В докладе рассмотрим ключевые проблемы, с которыми столкнулись при тестировании отчетности с исходниками в бинарном формате:
- невозможность быстро кастомизировать данные для проверки различных сценариев;
- долгий и сложный поиск конкретных сделок в массиве файлов в хранилище;
- ограничения работы с Kafka без использования реестра схем.
Данные ограничения существенно замедляют и усложняют тестирование. Для обхода этих сложностей мы прошли путь от «ручных костылей» и Jupyter-ноутбуков к более универсальным решениям — разработке собственных конвертеров и внедрению TRINO как платформенного инструмента для анализа.
Для слушателей будет доступен не просто обзор популярного бинарного формата, а практический набор идей и инструментов для работы с Avro, позволяющий сократить время на рутину и сосредоточиться на проверке бизнес-логики.