Автоматизируй это. Кирилл Тихонов ➠ CoreHard Autumn 2019
•
0 likes•55 views
Мы напишем простейший веб-сервис из клиента и сервера на C++. На этом C++ часть закончится, и пойдет настройка окружения и инфраструктуры. Мы обеспечим детерминируемость сборки и прогона тестов. Облегчим последующее обновление зависимых библиотек. Автоматизируем статические проверки, верификацию кода, прогон тестов. Обеспечим доступность сервиса, настроим инфраструктуру, сбалансируем нагрузку, добавим автоматическое и ручное масштабирование. И под конец мы настроим continious delivery таким образом, что код будет на продакшене через 5 минут после реквеста, при этом даже невалидные изменения и ошибки программиста не смогут повлиять на его работу.
Report
Share
Автоматизируй это. Кирилл Тихонов ➠ CoreHard Autumn 2019
- 1. AUTOMATE IT
- 3. Disclaimer Все это используется в WEB Под Linux Примеры будут показывать один инструмент Задача доклада - сподвигнуть
- 4. Исходные данные Есть сервер и клиент Сервер посылает сообщение клиенту Ответ Если все хорошо: 200 ok Если нет: 500 internal error
- 6. Проблемы? ● Пришел новый человек и ему нужно объяснить как собирается проект ● Надо обновить библиотеку т.к. старая версия небезопасна ● Билд сервер упал со скалы ● За билд сервером со скалы прыгнул единственный человек который знает как это собирать для продакшена
- 7. Проблемы? Перефразируем: Окружение и зависимости это состояние, а не код
- 8. Package manager Наиболее распространенные: ● Conan ● vcpkg ● nuget
- 9. Package manager conan find cmake api Conanfile Описание зависимостей findsomething.cmake findboost.cmake Информация где находятся зависимости Cmakelists find_package Уже собранные зависимости
- 10. Package manager Conanfile.txt [requires] boost/1.69.0@conan/stable [generators] cmake_find_package
- 11. Проблемы? Решены только две ● Пришел новый человек и ему нужно объяснить как собирается проект ● Надо обновить библиотеку т.к. старая версия небезопасна ● Билд сервер упал со скалы ● За билд сервером со скалы прыгнул единственный человек который знает как это собирать для продакшена ● Версия GCC, Conan, Cmake
- 12. Docker Что такое докер? ● Это не виртуальная машина. ● Это песочница ● способ описывать окружение в виде файлов ● возможность иметь везде одинаковое окружение ● способ изолировать ваше приложение от неявных зависимостей
- 13. Docker Dockerfile Установи Cmake Собери Boost Скачай libxml Docker image Собранный образ готовый к запуску сторонних приложений Общая папка Исходники Кеш сборки Артефакты сборки
- 14. Docker Dockerfile для сборки FROM centos:7.6.1810 COPY yum_packages.txt /tmp/yum_packages.txt RUN xargs -a /tmp/yum_packages.txt yum install -y ENV BOOST_ROOT=/home/devel/boost_1_60_0 USER=devel
- 15. Docker Для работы с контейнером нужно 2 простых команды docker build -t pcf_docker ./docker docker run --rm -v $(pwd):/home/devel/build_dir -v /tmp:/tmp pcf_docker ./buildscript.sh
- 16. Docker Но иногда приходится писать так docker run --privileged --dns=1.1.1.1 --rm -v $(pwd):/home/devel/build_dir -v /tmp:/tmp pcf_docker bash -c "snmpd; rsyslogd; ./docker/copy_mibs.sh; cd /home/devel/build_dir/pcf; (su devel -c './buildscript.sh $command;')"
- 17. Docker Главные трудности которые мы получили: ● Дебаг ● Подсветка синтаксиса
- 18. Можно: Присоединяться к запущенному контейнеру и выполнять параллельно gdb через docker exec Запускать GDB в контейнере и открывать порт Главное дать нужные параметры при запуске контейн��ра --cap-add=SYS_PTRACE --security-opt seccomp=unconfined Дебаг
- 19. CLion: удаленное подключение к контейнеру по ssh, закачивание исходников, скачивание хедеров для быстрого локального резолва VSCode: запуск серверной части внутри контейнера Подсветка
- 20. Пример из VSCode: devcontainer.json { name": "kam", "dockerFile": "../docker/dockerfile", "runArgs": ["-u","1000","--cap-add=SYS_PTRACE","--security-opt","seccomp=unconfined"], "extensions": ["ms-vscode.cpptools"] } Docker
- 21. Проблемы? НЕТ Полностью изолированное детерминированное окружение для сборки билда как на машине разработчика, так и на билдсервере, билдсервер и есть докер контейнер собранный из рецепта который находится рядом с исходниками
- 22. Проблемы? Помимо сборки девелоперы запускают тесты Добавим в контейнер: Юнит тесты при сборке Скрипт с несколькими приложениями внутри одного контейнера
- 23. Программисты ошибаются Не запускают все тесты Считают что их изменение точно ничего не сломает. Я ломал Проблемы?
- 25. Решение Добавляем пайплайн в jenkins/Gitlab Внутри него будет: ● Статический анализ ● Сборка ● Прогон тестов ● Деплой (иногда)
- 26. Как это выглядит
- 27. Как это выглядит build: stage: build script: - ./buildscript.sh docker make test: stage: test script: - bash ./buildscript.sh docker run_tests only: - merge_requests
- 28. Второе решение - Гит хуки В них обычно проверяют: ● Валидность коммита (jira task) ● Форматирование
- 30. Евенты В них обычно используют: ● Статический анализ ● Форматирование ● Деплой ● Прогон тестов если это занимает много времени
- 31. Евенты Gitlab Реагирует на событие Отправляет информацию по указанной ссылке Jenkins Фильтрует данные На основе данных запускает пайплайн JSON со всеми данными о событии Обратной связи нет
- 32. Проблема? Не все ошибки находятся на предыдущем этапе
- 34. Решение Клиента теперь два. Если клиент получил невалидный ответ, он пробует еще раз Два сервера, распределение нагрузки между ними через лоад балансер
- 35. Бонус
- 38. Теперь ошибки не влияют на систему, но мы слишком поздно понимаем что все плохо Проблемы?
- 40. Собираем с пода/конкретного сервера через: Http, snmp Рисуем красивые графики: Zabbix, grafana Настраиваем триггеры Метрики
- 41. Zabbix
- 42. Grafana
- 43. Пишем письмо человеку который сломал билд Последнему автору мерж реквеста Дублируем письмо команде Метрики
- 44. Проблемы? Люди которые это выкатывают, тоже ошибаются
- 45. Решение Docker контейнер для приложения
- 46. Docker контейнер для приложения Dockerfile Установи Cmake Собери Boost Скачай libxml Docker image Собранный образ готовый к запуску сторонних приложений Общая папка Исходники Кеш сборки Docker image и есть артефакт сборки
- 47. Отличия от контейнера для сборки: ● Минимальный размер весь tmp остается за бортом контейнера ● Отсутствие лишнего нет не используемых инструментов ● Простота использования снаружи передается только несколько конфигурационных параметров Docker контейнер для приложения
- 48. Disclaimer Kubernetes не использовался мной в продакшене
- 50. Kubernetes kubectl create -f podtemplate.yml POD template yaml metadata: name labels: пары ключ значение container: название контейнера POD Контейнер управляемый kubernetes
- 52. Kubernetes Controller (deployment) yaml selector POD template Количество POD POD POD POD POD kubectl create -f deployment.yml
- 53. Kubernetes Controller (deployment) yaml selector POD template Количество POD POD POD POD POD kubectl create -f deployment.yml
- 54. Kubernetes Controller (deployment) yaml selector POD template НОВЫЙ Количество POD POD POD POD POD kubectl apply -f thisdeployment.yaml
- 55. Kubernetes Controller (deployment) yaml selector POD template НОВЫЙ Количество POD POD POD POD POD kubectl apply -f thisdeployment.yaml POD
- 56. Kubernetes Controller (deployment) yaml selector POD template НОВЫЙ Количество POD POD POD POD kubectl apply -f thisdeployment.yaml POD
- 57. Kubernetes Controller (deployment) yaml selector POD template НОВЫЙ Количество POD POD POD POD kubectl apply -f thisdeployment.yaml POD POD
- 58. Kubernetes Controller (deployment) yaml selector POD template НОВЫЙ Количество POD POD POD kubectl apply -f thisdeployment.yaml POD POD
- 59. Kubernetes Controller (deployment) yaml selector POD template НОВЫЙ Количество kubectl apply -f thisdeployment.yaml POD POD POD POD POD
- 60. Проблемы? С таким подходом система стала сверхпопулярной, и в 2 часа ночи все начали ей пользоваться
- 66. Объединим merge request build pvs code close and merge into CD branch merge request builds pvs test deploy wait 30m metrics ok? close and merge deploy rest cd branch tests, valgrind tests, valgrind
- 67. Проблемы? А зачем это все?
- 68. Вася Вася ошибся в коде, за него это нашел статический анализатор и отправил ему письмо. Почини вот тут. Прошел месяц, он быстро фиксил баг и не запустил все тесты, а тесты сломались… все Через месяц он изменил систему конфигурации приложения и опечатался. Проблема локализована во время замены одного тестового сервера и ни один клиент не был затронут. Потом всю команду уволили, ведь они теперь не обладают тайными знаниями как все должно работать, знания документированы рядом с кодом.
- 69. Спасибо