События, события и ещё раз события / Антон Сухов (Avito)
•
2 recomendaciones•850 vistas
РИТ++ 2017 Зал Сан-Паулу, 5 июня, 13:00 Тезисы: http://ritfest.ru/2017/abstracts/2652.html BI-аналитикам необходимо собирать множество различных событий из разных источников - с сайта, мобильных устройств и микросервисов. Чем больше событий - тем лучше. Нужная шина, способная пропускать через себя миллионы событий в минуту. Из доклада вы узнаете, как устроен Event Stream Processing (ESP) в Avito. В том числе я расскажу, какие требования были заложены на этапе проектирования, почему мы были вынуждены отказаться от fluent в пользу NSQ, как реализован единый регистр типов событий и окружений для всех команд, как экспортировать схемы событий в различные форматы, как мы боремся за эффективное расходование железа и масштабируем ESP. Прослушав доклад, вы узнаете, как создать отказоустойчивую, масштабируемую систему сбора событий с высокой пропускной способностью.
Recomendados
Recomendados
Más contenido relacionado
Similar a События, события и ещё раз события / Антон Сухов (Avito)
Similar a События, события и ещё раз события / Антон Сухов (Avito) (20)
Más de Ontico
Más de Ontico (20)
События, события и ещё раз события / Антон Сухов (Avito)
- 1. События, события и ещё раз события. Опыт построения Event Stream Processing
- 2. Strictly ConfidentialStrictly Confidential • Ведущий разработчик Avito. • Занимаюсь развитием системы сбора событий. • PhD • Занимался развитем картографического сервиса, поисковых систем. 2 Антон Сухов
- 3. Strictly ConfidentialStrictly Confidential • Проблемы сбора событий в микросервисной архитектуре • Наш выбор и результаты • Как мы этого достигли • Итого 3 План
- 4. Strictly ConfidentialStrictly Confidential • JSON с точки зрения программиста • Бизнес сущность с точки зрения аналитиков 4 Событие
- 5. Strictly ConfidentialStrictly Confidential • Комуникация • Зоопарк технологий • Аналитика 5 Проблемы сбора событий в микросервисной архитектуре
- 6. Strictly ConfidentialStrictly Confidential • Есть множество источников событий (сервисы, приложения, сайт) • Множество технологий • Необходимо всё это агрегировать, хранить и обрабатывать • Одно событие должно быть доступно для обработки параллельно и асинхронно 6 Что такое система сбора событий и зачем вот это всё
- 7. Strictly ConfidentialStrictly Confidential • Документация • Частая синхронизация • Кодогенерация • Гильдия • Единая база событий • Тех. радар 7 Как же быть?
- 8. Strictly ConfidentialStrictly Confidential • Монолит • Fluent для логов и событий • MongoDB в качестве временного хранилища 8 Что было
- 9. Strictly ConfidentialStrictly Confidential • Монолит + микросервисы • Fluent для логов и ESP для событий • MongoDB в качестве временного хранилища • CI/CD на основеTeamcity • Kubernetes для управления контейнерами 9 Что есть
- 10. Strictly ConfidentialStrictly Confidential • Система сбора событий. • Является единой точкой входа для событий с различных источников (сайт, мобильные платформы, внутренние сервисы) • Является единым источником событий для дальнейшей обработки (анализа) • Предоставляет средство коммуникации между командами • Речь в большей степени идет про события бизнес сущностей • Гибко масштабируется в зависимости от нагрузки 10 Что такое ESP
- 15. Strictly ConfidentialStrictly Confidential 15 Проблемы • версионирование схем событий и окружение • различные реализации одного и того же. • мониторинг событий • время доставки сообщений • нет единого источника бизнес требований
- 20. Strictly ConfidentialStrictly Confidential • Точка синхронизации • База всех событий и полей • Генерация документации • Кодогенерация • … • PROFIT! 20 Реестр событий
- 21. Strictly ConfidentialStrictly Confidential • Нет четкого маршрута событий • Fluent не позволяет динамически подписываться на события • Смешение логов и событий • Отсутствие гибкости масштабирования 21 Тяжелое наследия
- 23. Strictly ConfidentialStrictly Confidential 23 Нет четкого маршрута событий
- 25. Strictly ConfidentialStrictly Confidential 25 Смешение логов и событий
- 26. Strictly ConfidentialStrictly Confidential 26 Fluent не позволяет динамически подписаться на часть событий Смешение логов и событий
- 28. Strictly ConfidentialStrictly Confidential • Распределённый и децентрализованный. Без единой точки отказа • Горизонтальное масштабирование • Написан на GO • Легко встраивается • Легко настраивается 28 Почему NSQ?
- 53. Strictly ConfidentialStrictly Confidential • http://nsq.io/talks_and_slides.html 53 New Simple Queue
- 57. Strictly ConfidentialStrictly Confidential 57 Снижение нагрузки на базу
- 58. Strictly ConfidentialStrictly Confidential 58 Снижение нагрузки на базу Скорость
- 59. Strictly ConfidentialStrictly Confidential 59 Снижение нагрузки на базу Скорость Подписка на событие по шаблону
- 60. Strictly ConfidentialStrictly Confidential 60 Снижение нагрузки на базу Скорость Подписка на событие по шаблону Гибкое масштабирование
- 61. Strictly ConfidentialStrictly Confidential 61 Снижение нагрузки на базу Скорость Подписка на событие по шаблону снижение времени доставки события Гибкое масштабирование
- 62. Strictly ConfidentialStrictly Confidential • Упростить архитектуру • Автоматизация добавления обработки новых событий • Полное избавление от недостатков старого наследия 62 Планы
- 63. Strictly ConfidentialStrictly Confidential • Точка связи микросервисов • Единая база событий • Кодогенерация • Автодокументация • CI/CD • Масштабирование • Автоматизация • Обработка параллельно и асинхронно 63 Итого
- 64. Strictly ConfidentialStrictly Confidential • aasukhov@avito.ru • skype:shvilek 64 Мои контакты
- 65. White Gardens Business Center, 7 Lesnaya street, Moscow, 125047, www.avito.ruWhite Gardens Business Center, 7 Lesnaya street, Moscow, 125047, www.avito.ru Thank you for your attention! White Gardens Business Center, 7 Lesnaya street, Moscow, 125047, www.avito.ru