Раньше мы в Badoo фокусировались в основным на ручном тестировании. Получался этакий дедлок мануальной регрессии: не было времени, чтоб писать тесты, потому что много тестировали руками, а много тестировали руками, потому что не было автотестов.
Но мы смогли наладить свою систему автоматизации и процессы, разорвали этот порочный круг и начали писать годные тесты.
В своем докладе я расскажу, как нам удалось сократить ручную рег��ессию с 90% до 30% рабочего времени, при этом сохранить достойный уровень качества и профессионально вырасти!
QA Fes 2016. Александр Неделяев. Система мониторинга производительности своим...QAFest
Как известно, то, что не может быть измерено, не может быть улучшено.
В своем докладе я расскажу вам о том, как с помощью open source инструментов можно построить систему мониторинга производительности приложения, а также представить полученные данные в доступной и наглядной форме. А технология контейнеров Docker поможет сделать это максимально быстро и просто.
QA Fest 2016. Дмитрий Химион. Векторы развития систем автоматизации тестиров...QAFest
- Вы думаете, ваша система автоматизации тестирования работает на полную катушку?
- Сделано всё и задачи автоматизации исчерпаны?
- Вы чувствуете - что-то не сделано и ищите?
Тогда этот доклад для вас и для всех кто интересуется автоматизацией тестирования и её гранями. Долго ли коротко ли системы автоматизированного тестирования приходят к зрелому состоянию, когда она работает годно и результаты релевантные. Подходя к такому состоянию, мы можем обмануться, что всё сделано и «дальше жизни нет», только унылая актуализация авто-тестов. Лучик света, о том, что доводится делать полезного в рамках и вокруг автоматизации тестирования.
В современном мире все меняется очень быстро. Слишком быстро. И требования заказчика в том числе. Гибкие методологии разработки позволяют адаптироваться к быстро меняющимся требованиям. Но как сохранить стабильность приложения в данных условиях, как оставить заказчика удовлетворенным и при этом сберечь психическое здоровье разработчиков? Этот доклад о том, как быстро двигаться вперед без опаски оступиться.
Презентация подготовлена по материалам выступления Евгения Гавриленко на витебской конференции “Developer's Software Conference” (12.11.2016).
Techleads Meetup #1
"Технологии vs коммуникации: что важнее?"
Альгис Фатеев, руководитель тестирования (Avito)
Описание:
последние несколько лет проект Avito растёт лавинообразным образом, с 2012 года команда разработчиков выросла в 20 раз. За очень короткое время мы прошли путь от «ну что, будем релизиться?» до отлаженного процесса выкатки кода в продакшн. В докладе речь пойдёт о том, как изменилась команда, процессы разработки и жизненный цикл задач в Avito за последние годы, как внедрялось тестирование в проект.
Кроме того, я отдельно рассмотрю вопросы, касающиеся управляемости проекта при резком росте:
— какие решения, заложенные на начальном этапе, позволили нам быстро масштабироваться;
— с какими главными болезнями роста мы столкнулись и как их решали;
— как подготовиться на случай лавинообразного роста.
AppSec, ключ на старт! / Юрий Сергеев (Swordfish Security)Ontico
РИТ++ 2017, секция ML + IoT + ИБ
Зал Белу-Оризонти, 5 июня, 10:00
Тезисы:
http://ritfest.ru/2017/abstracts/2756.html
В сложной экосистеме разработки программного обеспечения, даже если инициатива Appllication Security получила зеленый свет и надлежащий бюджет, множество проблем остаются нерешенными для успешного старта: множество дорогостоящих инструментов SAST / DAST / IAST / RASP, минимальное количество appsec-специалистов на рынке труда, несовершенные инженерные процессы, отсутствие метрик и измеримых индикаторов успеха и т.д.
В рамках данной сессии будет продемонстрирован тактический подход для запуска центра компетенций (Software Security Group), адресующий вопросы как приоритезации, масштабируемости, управления портфелем разрабатываемых приложений в контуре AppSec, так и аспекты мотивации команд. Будет презентована структура фреймворка BSIMM как основа практик AppSec и представлена типовая дорожная карта развития зрелости инженерных организаций. Также будут представлены ключевые слагаемые успеха, необходимые для построения концепции SecDevOps в рамках цикла разработки защищенного ПО (Secure Software Development Lifecycle) вместе с практическими рекомендациями.
QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использо...QAFest
А что, если можно проверить ваш продукт не смотря на всю его окраску, на весь его интерфейс?
Данный доклад опишет подход с использованием ELK стека, который мы применили на одном из проектов, чтобы найти баги, которые от нас ускользают. Те баги, когда интерфейс говорит: "Дружище, у нас все в порядке", а потом на проде оказывается все не так.
В сфере высоких технологий требования к продукту растут постоянно. Наряду с важностью поставки продукта заказчику важно и то, что ты поставляешь, как ты поставляешь и насколько быстро продукт может адаптироваться к требованиями рынка. Мы предлагаем поговорить о практиках, которые позволяют поддерживать качество продукта на высоком уровне и предотвращать многие проблемы на раннем этапе, что делает счастливым не только заказчика но и разработчиков.
Презентация подготовлена по материалам выступления Александра Радкевича, Кирилла Миловидова и Сергея Яркового на витебской конференции “Developer's Software Conference” (02.12.2017).
https://events.epam.com/events/developers-software-conference_2017
Доклад Ильи Кудинова на CodeFest 2014. "Учимся на ошибках в организации и про...Badoo Development
Доклад повествует об ошибках, совершаемых при организации и проведении тестирования в различных реальных организациях. Часть информации получена на собственном опыте, часть от коллег и знакомых, часть от фидбека после моих докладов на других конференциях и часть (и это самое страшное) я почерпнул на докладах сотрудников других компаний. В докладе не будет пустословия и саксесс-стори, я на реальных примерах покажу, почему те или иные приёмы не работают и как можно было бы исправить эту ситуацию (не только на примерах Badoo, но и на примерах других успешно тестируемых проектов).
Вопросы будут подниматься самые разные - от того, как нужно организовывать отдел тестирования (внутри отдела разработки, отдельным департаментом или как-то ещё?), до того, какие права давать тестировщикам (проверяем только соответствие реализации задачи её постановке или начинаем спорить с продакт-менеджерами?). Интереснее всего доклад может быть представителям компаний с зарождающимся QA или компаниям, QA-отдел которых показал свою низкую продуктивность и должен быть модернизирован.
Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...Badoo Development
Доклад о том, как выжить в условиях двух релизов в день, не понижая планку
качества проекта и дать разработчикам и QA-инженерам больше времени на
полезные дела.
Подробно:
Прослушав доклад, вы узнаете:
1. Что НА САМОМ ДЕЛЕ называется непрерывной интеграцией;
2. Кому и зачем нужно переходить на Continious Integration;
3. Почему процесс контроля качества начинается ещё до написания кода;
4. Как программисты учавствуют в процессе тестирования;
5. Как устроен наш поток тестирования с пятью (!) уровнями контроля;
6. Как наши QA-инженеры тестируют задачи до релиза в максимально
реалистичных условиях;
7. Как помогает тестированию плотная интеграция Git, Jira и TeamCity;
8. Зачем нужны более 20 тысяч автоматических тестов и кто их должен
разрабатывать и поддерживать;
9. Чем непрерывно занимаются более 10 агентов-тестировщиков в нашей
TeamCity;
10. Какими средствами мы добились того, чтобы пункты 8 и 9 не превращал
QA-процесс в долгое и унылое действо.
Ускорение доставки iOS фич и вовлечение QA команды в автоматизациюKateryna Sprynsian
Тезисы
Хотите инвестировать время в автоматизацию но утопаете в ручном регрессе? На автоматизацию просто не хватает времени? Тесты есть и вы хотите их ускорить?
В докладе я расскажу как мы перешли к процессам почти не требующим ручного тестирования. Не беспокойтесь, мы сумели не просто сохранить свои рабочие места, но и сильно вырасти как специалисты!
Этот путь был не всегда гладким. Но нам удалось построить процессы, которые работают. Объясню, как наша команда ручных тестировщиков перевоплотилась в команду автоматизации и как мы прошли от 30% до 86% покрытия фич тестами всего за 1,5 года.
Аудитория и уровень
QA инженеры (ручные и занимающиеся автоматизацией), тим лиды. Уровень — средний.
QA Fes 2016. Анастасия Асеева. Роль тестирования в DevopsQAFest
В своем докладе я расскажу, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование. Также расскажу с какими проблемами столкнулись, и как мы их устраняли. И да, каких результатов смогли добиться уже через полгода. А самое интересное, покажу как мы смогли добиться того, чтоб у нас pull request долетал до боя за 3 часа со всеми этапами тестирования.
Доклад будет содержать большое количество лайфхаков и обзоров инструментария, который мы использовали.
Практический доклад о том, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование.
В докладе рассмотрены основные проблемы, с которыми команда столкнулась при внедрении и способы их устранения.
Продемонстрированы результаты, которых смогли достичь в течении полугода.
Доклад содержит большое количество лайфхаков и обзоров инструментария, который использовался для достижения цели.
Presentation from https://heisenbug-piter.ru/en/talks/2018/spb/kkw6oivsoywayacggksmk/
Once upon a time, we got a requirement to finish all testing in 2 days despite the number of tests to run. That number grew, and grew, and grew, and now there are tens of millions of them. So this is a story about building a dam against the never-ending flood which turned out to be not that scary. You are very welcome to join and see it for yourself.
Ты узнаешь 10 конкретных шагов, которые помогут тебе стать качественным тестировщиком. А еще получишь ответы на вопросы:
- Must-have skills Junior`а
- Что учить самостоятельно?
- Нужны ли курсы?
- Что поможет получить работу?
- Как может развиваться карьера?
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
Поговоримо про найпопулярніші помилки, яких припускаються розробники веб додатків, та як зловмисник може використати їх на свою користь. Охопимо максимальну кількість матеріалу за короткий проміжок часу.
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
Мы уже разговаривали о self-healing автоматизации, как она работает, какие есть подходы, чем они хороши, плохи и о новом инструменте, который мы разрабатываем в EPAM. Наш продукт завершает стадию POC и настало время поделиться результатами и понять, насколько self-healing автоматизация поможет вашим тестам стать стабильнее? Или наоборот, навредит?... Приходи и узнаешь!
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
Mobile apps and websites are now the predominant ways that users interact with brands. Research has shown that slow sites and apps lose customer engagement. Despite this, most mobile sites and apps have performance issues that can be easily resolved once diagnosed. In this talk, we will walk through steps to diagnose network performance bottlenecks in mobile services. We'll discuss real-world examples and how they were resolved. Attendees will leave this talk armed with the tools to test, diagnose and resolve the top network performance issues that affect mobile today.
QA Fest 2019. Никита Галкин. Как зарабатывать большеQAFest
Вам знаком термин mindshift? Именно его вы испытаете от этого доклада. Он будет не о QA процессах или инструментах, он будет о деньгах и бизнесе, о рисках и коммуникациях. Все это с примерами из Украинского и мировом IT в формате живого общения с аудиторией.
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQAFest
In this talk, I will cover the pain points of the Test Automation process. We will discuss traps, mistakes and crazy decisions that lead to test automation failure and lost budgets.
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQAFest
Поговорим о мотивации простым языком, проясним, что стимулирует нас работать лучше. Поисследуем обратную сторону мотивации – выгорание. Выясним, как диагностировать выгорание и не допустить неприятных последствий.
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QAFest
Доклад посвящен автоматизации тестирования WEB-приложений с SVG-графикой. В 1-ой части доклада даны короткое описание процессов разрабатываемого приложения и обоснование необходимости применения SVG-графики. Во 2-ой части сделан короткий обзор SVG-графики, показаны основные преимущества/недостатки такого типа графики, сделан обзор основных SVG-поверхностей и рассмотрен процесс их трансформации с помощью матрицы преобразования с разбором ее основных типов. В 3-ей части обозначены основные проблемы автоматизации действий с SVG-графикой, такие как drag’n’drop графических объектов (SVG на SVG), их масштабирование при помощи колесика мышки и выделение ломаный линий. В 4-ой части показаны решения обозначенных проблем с использованием JavaScript.
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQAFest
Browser tests are known to be the flakiest ones. This is partly because browser infrastructure is complicated to maintain. But the second reason is – mainstream browser automation tools such as Selenium server are far from being efficient.
A year ago I have shown Selenoid - a truly efficient replacement of the standard Selenium server. This year I would like to demonstrate how to organize a fault-tolerant and easily scalable Selenium cluster using virtual machines in the cloud. I will start by setting up several Selenoid nodes and configure them to send logs and recorded videos to S3-compatible storage. Then I will run multiple Ggr load balancer instances allowing to use all running Selenoid nodes and organize a single entry point to the cluster. Finally, we'll discuss how to work with VNC and video recording in such a cluster.
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QAFest
Случалось ли вам запускать автоматизацию на проекте? Испытывать непревзойденное удовольствие от необходимости собеседовать технического специалиста, когда сам не имеешь технического опыта? Если да, то этот доклад для вас.
Мы научимся анализировать сеньорность кандитата, его технический уровень и способность к организации команд. Но самое главное - все это мы сможем достичь без серьезного технического опыта. Будет интересно, заходи на огонек!
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QAFest
Це буде огляд підходів до побудови програми безпеки програмного забезпечення в команді розробки або кампанії загалом, доповнений висновками з мого власного досвіду виконання практичних та консультаційних проектів в сфері Application Security.
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQAFest
Веб-приложения и технологии стремительно развиваются. Мы уже вступили в эру Single Page Application и идем к Progressive Web Application. В большинстве современных проектов идет разделение команд на front-end и back-end, и не только команд, но идет раздельная релизная политика. Это требует более детальных подходов к тестированию front-end. В этом докладе мы рассмотрим кейсы, который есть на практике при тестировании задач front-end и инструменты автоматизации, которые могут решать задачи описанные в этих кейсах: чтение request/response browser network и соответственно мокирование response.
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QAFest
Проектирование и производство медицинских устройств — это регулируемый бизнес. Государственные органы во всем мире призваны гарантировать безопасность и эффективность медицинских устройств. Несоответствие нормативным требованиям ставит под угрозу жизнь и здоровье человека. Как медицинское регулирование влияет на рабочий процесс компании производителя? Мы поговорим о том, какие вызовы стоят перед тестировщиком медицинского софта, а также какие возможности при этом открываются.
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QAFest
This document discusses testability and provides advice on several topics related to keeping testability under control, including problem, product, people, proactivity, productivity, pipeline, project, process, and philosophy. For each topic, common issues are identified and recommendations are provided, with an emphasis on taking a whole team approach and focusing on customers, risks, automation, decision making, and continuous improvement.
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQAFest
Твою гениальность не замечает никто кроме мамы? Идеи и проекты нравятся только твоему коту? Одногруппники уже руководители подразделений, а ты завис между middle и senior? Пришло время найти баги не только на проекте, но и в своей голове! Прокачаем коммуникативные навыки:)
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QAFest
Маючи досвід роботи з іноземними замовниками і колегами, а також вивчаючи культурні особливості жителів інших країн, ми якось поставили собі за мету з'ясувати, якими українців бачать іноземці, чи потрібно їм підлаштовуватись під нашу манеру спілкування, чи є щось, що вони зовсім не можуть прийняти.
Поділимося з вами результатами цієї затії, а також поговоримо про:
- те, що потрібно знати українцям про свої софт скіли,
- то, як відрізняються софт скіли українців і жителів кількох інших країн,
- важливість софт скілів для успішних комунікацій з іноземними колегами,
- важливість софт скілів для просування по кар'єрі.
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QAFest
Обычно в процессе нагрузочного тестирование необходимые app-side метрики(response time, throughput, ..) можно получить прямо в генераторе нагрузки. Мы шлем запрос, получаем респонс и зачастую время выполнения запроса это и есть то что нам нужно.
Но что если после того как сервер отдал вам ответ происходит еще ряд асинхронных операций, время выполнения которых нам необходимо проверить? Как замерить время выполнения этих запросов? Какая часть системы является узким местом в производительности?
В докладе рассмотрим какие челенжи появляются в такой ситуации и как их можно решить.
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QAFest
Хотели бы вы, чтобы в Украине происходило больше QA ивентов? Чувствуете, что их не хватает?
Знаете, кто может это изменить? - Вы!
Я поделюсь подходами, которые мы использовали при организации QA хакатонов в Wix, которыми завтра вы сможете воспользоваться для создания вашего крутого ивента!
QA Fest 2019. Евгений Рудев. QA 3.0. New generationQAFest
Параллельно с развитием ИТ индустрии, профессия тестировщика еволюционувала очень сильно - от "monkey testing" обязанностей, для уменьшения нагрузки на разработчиков, к профессии способной зарабатывать больше чем эти же разработчики. Обеспечения качества в сегодняшние дни, это не просто провести регрессию и, даже, не автоматизировать ее. Это улучшение всех этапов разработки продукта, и тестировщики нового поколения действительно способны это сделать.
Мы обсудим этот путь эволюции, рассмотрим все их составляющие и причины.
Я расскажу, как можно строить культуру QA в организации и развивать тестировщиков 3.0.
QA Fest 2019. Ірина Ярославцева. Майбутнє вже тут, або як тестувати систему о...QAFest
Ще якихось 3 роки назад важко було уявити, що роботи зможуть увійти в життя людей і полегшити виконання повсякдених речей. Сьогодні штучний інтелект частково замінив працю людей, допомагаючи бізнесу досягати своїх цілей і стаючи пріорітетним напрямом розвитку.
Зі збільшенням попиту на чатботи, збільшується кількість інструментів для їх розробки, змінюються технології та ускладнюються задачі, які робот повинен виконувати. Розмови клієнтів з чатботом заощадять близько $8 мільярдів до 2022 року завдяки системам NLP (обробка природньої мови), яка є основною складовою частиною чатботів. В залежності від задач, які виконує NLP, ціна помилки може бути дуже вагомою.
Доповідь розкриє тему обробки природньої мови, як частину чатботів та побудови стратегії тестування моделей: яким чином розподілити пріорітети, які задачі можна автоматизувати і як успішно випускати чатботи в умовах нескінченної гонки за інноваціями.
This document provides an overview of machine learning application testing. It discusses common mistakes in data science like cherry picking and false causality. It describes different types of machine learning tasks like supervised classification and unsupervised clustering. The document outlines how to test various parts of a machine learning application including the data, model, and different phases. It provides examples of testing the boundaries, detecting outliers, and using generative adversarial networks. Finally, it discusses the role of a QA engineer in gathering data to validate a system works for non-standard situations and does not cause harm.
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие изящные способы ускорить доставку фич
1. Тема доклада
Тема доклада
Тема доклада
KYIV 2019
Параллельное покрытие автотестами и другие изящные
способы ускорить доставку фич (Badoo)
QA CONFERENCE #1 IN UKRAINE
2. ! ускорение процесса доставки фич;
! технический рост;
! ускорение автотестов.
О чем я хочу рассказать?
2
3. Senior iOS QA.
Хочу помочь вам:
* сократить количество ручной регрессии;
* быстрее релизить фичи;
* использовать освободившееся время для
более интересных задач.
О себе
3
27. ! тестируем руками, но редко;
! отдаем часть ручного тестирования разработчикам;
! покрываем тестами параллельно.
Как мы снизили количество reopen-ов?
27
28. ! увеличили покрытие;
! вырастили сильную команду;
! сократили время на выполнение рутинных задач вручную;
! улучшили процессы тестирования;
! ускорили доставку фич.
К чему это привело?
28
88. Как мы росли?
+анализ тестового покрытия;
+изучения языка программирования и фреймворка;
+создание тестов с уже существующими шагами;
+создание тестов с новыми методами, объектами и классами;
+починка упавших и нестабильных тестов;
+параллельное покрытие фич автотестами.
88
89. !непонимание чужого кода;
!код разного качества;
!инфраструктурные проблемы;
!нестабильные тесты.
Подводные камни и как мы их обходим
89
91. С чего же начать?
+анализ рутинных задач;
+анализ процессов;
+обсуждение и поиск путей улучшения;
+тестовый эксперимент;
+анализ метрик после улучшение;
+коррекция;
+повторение.
91