Всем привет.
В издательстве "Питер" вышел перевод интересной книги Эберхарда Вольфа (Eberhard Wolff) "Continuous delivery. Практика непрерывных апдейтов".
Эта книга поможет всем, кто собирается перейти на непрерывную поставку программного обеспечения. Руководители проектов ознакомятся с основными процессами, преимуществами и техническими требованиями. Разработчики, администраторы и архитекторы получат необходимые навыки организации работы, а также узнают, как непрерывная поставка внедряется в архитектуру программного обеспечения и структуру ИТ-организации.
Автор познакомит вас с популярными передовыми технологиями, облегчающими труд разработчиков: Docker, Chef, Vagrant, Jenkins, Graphite, ELK stack, JBehave и Gatling. Вы пройдете через все этапы сборки, непрерывной интеграции, нагрузочного тестирования, развертывания и контроля.
Кому же адресована эта книга?
Эта книга адресована руководителям, архитекторам, разработчикам и администраторам, желающим внедрить методологию непрерывного развертывания как метод или средство интеграции разработки и эксплуатации (DevOps) в своей организации.
• В теоретической части книги руководители познакомятся с процессом, лежащим в основе непрерывного развертывания, а также с требованиями и выгодами для их предприятий. Кроме того, они научатся оценивать технические последствия от внедрения непрерывного развертывания.
• Разработчикам и администраторам будет представлено исчерпывающее введение в технические аспекты, благодаря чему они смогут приобрести навыки, необходимые для конструирования и внедрения конвейера непрерывного развертывания.
• Архитекторы, помимо технических аспектов, узнают также о влиянии непрерывного развертывания на архитектуру программного обеспечения.
Судя по богатому оглавлению книга может быть полезна абсолютна всем.
Предисловие.............................................................................................. 18
П.1. Обзор методологии непрерывного развертывания и книги....................18
П.2. Зачем нужно непрерывное развертывание?..........................................19
П.2.1. Короткая история........................................................................19
П.2.2. Непрерывное развертывание способно помочь
в таких ситуациях..................................................................................21
П.3. Кому адресована эта книга?..................................................................23
П.4. Краткое содержание глав......................................................................23
П.5. Как читать эту книгу.............................................................................25
Благодарности........................................................................................... 28
Об авторе..................................................................................................... 29
От издательства..........................................................................................30
Часть I. Основы............................................................................................... 31
Глава 1. Непрерывное развертывание: что и как?............................................32
1.1. Введение: что такое непрерывное развертывание?...............................32
1.2. Почему процесс выпуска ПО настолько сложен.....................................32
1.2.1. Непрерывная интеграция вселяет надежду..................................33
1.2.2. Медленные и опасные процессы..................................................33
1.2.3. Есть возможность ускорения........................................................33
1.3. Ценность непрерывного развертывания................................................34
1.3.1. Регулярность................................................................................35
1.3.2. Контролируемость........................................................................35
1.3.3. Регрессии.....................................................................................36
1.4. Преимущества непрерывного развертывания........................................37
1.4.1. Непрерывное развертывание сокращает сроки внедрения...........37
1.4.2. Один пример................................................................................37
1.4.3. Реализация услуги и ее внедрение в эксплуатацию......................38
1.4.4. Следующий шаг...........................................................................38
1.4.5. Непрерывное развертывание дает конкурентные
преимущества.......................................................................................38
1.4.6. Без непрерывного развертывания................................................38
1.4.7. Непрерывное развертывание и Lean Startup.................................39
1.4.8. Влияние непрерывного развертывания........................................40
1.4.9. Непрерывное развертывание для минимизации рисков................41
1.4.10. Быстрая обратная связь и низкие затраты..................................45
1.5. Создание и организация конвейера непрерывного развертывания........46
1.5.1. Пример........................................................................................49
1.6. В заключение........................................................................................50
Ссылки.........................................................................................................50
18 pages
Глава 2. Подготовка инфраструктуры..............................................................52
2.1. Введение...............................................................................................52
2.1.1. Автоматизация инфраструктуры: пример.....................................53
2.2. Сценарии установки..............................................................................54
2.2.1. Проблемы классических сценариев установки..............................54
2.3. Chef.......................................................................................................57
2.3.1. Chef и Puppet...............................................................................59
2.3.2. Другие альтернативы...................................................................60
2.3.3. Технические основы.....................................................................61
Основные термины Chef...............................................................62
Повара, поваренные книги и рецепты...........................................63
Роли.............................................................................................66
2.3.4. Chef Solo......................................................................................68
2.3.5. Chef Solo: заключение..................................................................70
2.3.6. Knife и Chef Server........................................................................70
2.3.7. Chef Server: заключение...............................................................75
13 pages
2.4. Vagrant..................................................................................................76
2.4.1. Пример с Chef и Vagrant...............................................................78
2.4.2. Vagrant: заключение....................................................................80
4 pages
2.5. Docker...................................................................................................80
2.5.1. Решение на основе Docker...........................................................81
Контейнеры Docker и виртуализация............................................83
Цели Docker..................................................................................83
Взаимодействия между контейнерами Docker...............................83
2.5.2. Создание контейнеров Docker......................................................84
Файлы Dockerfile...........................................................................85
Сборка и запуск образов Docker...................................................86
2.5.3. Запуск примера приложения с помощью Docker...........................87
Дополнительные команды Docker.................................................88
2.5.4. Docker и Vagrant...........................................................................89
Комплектация контейнеров с помощью Vagrant............................89
2.5.5. Docker Machine.............................................................................92
2.5.6. Сложные конфигурации Docker....................................................94
Docker Registry..............................................................................94
Docker в кластере.........................................................................95
2.5.7. Docker Compose............................................................................96
2.6. Неизменяемый сервер...........................................................................99
2.6.1. Недостатки идемпотентности.......................................................99
2.6.2. Неизменяемый сервер и Docker.................................................. 100
20 pages
2.7. Инфраструктура как код...................................................................... 101
2.7.1. Тестирование инфраструктуры как кода..................................... 103
Serverspec................................................................................... 103
Test Kitchen................................................................................. 103
ChefSpec..................................................................................... 103
2.8. Платформа как услуга......................................................................... 104
2.9. Хранение информации и базы данных................................................. 106
2.9.1. Обработка схем.......................................................................... 107
2.9.2. Тестовые и базовые данные....................................................... 108
2.10. В заключение.................................................................................... 109
Ссылки....................................................................................................... 110
58 pages
Часть II. Конвейер непрерывного развертывания.................................... 113
Глава 3. Автоматизация сборки и непрерывная интеграция........................... 114
3.1. Введение............................................................................................. 114
3.1.1. Автоматизация сборки: пример.................................................. 115
3.2. Автоматизация сборки и инструменты сборки...................................... 115
3.2.1. Инструменты сборки в мире Java............................................... 116
3.2.2. Ant............................................................................................. 117
3.2.3. Maven........................................................................................ 118
Версии и мгновенные снимки...................................................... 121
Выпуск версий с помощью Maven................................................ 122
3.2.4. Gradle......................................................................................... 123
Gradle Wrapper............................................................................ 125
3.2.5. Другие инструменты сборки....................................................... 126
3.2.6. Выбор правильного инструмента................................................ 127
3.3. Модульные тесты................................................................................. 129
3.3.1. Создание хороших модульных тестов......................................... 130
3.3.2. Разработка через тестирование................................................. 133
3.3.3. Чистый код и искусство программирования................................ 134
3.4. Непрерывная интеграция.................................................................... 135
3.4.1. Jenkins....................................................................................... 136
Расширение с помощью плагинов............................................... 138
Плагин SCM Sync Configuration.................................................... 138
Плагин Environment Injector........................................................ 138
Плагин Job Configuration History.................................................. 139
Плагин Clone Workspace SCM...................................................... 139
Плагин Build Pipeline................................................................... 139
Плагин Amazon EC2.................................................................... 140
Плагин Job DSL........................................................................... 140
Создание собственных плагинов................................................. 142
6 pages
3.4.2. Инфраструктура непрерывной интеграции................................. 142
3.4.3. В заключение............................................................................. 144
3.5. Оценка качества кода.......................................................................... 147
3.5.1. SonarQube.................................................................................. 149
Интеграция в конвейер............................................................... 149
3.6. Управление артефактами.................................................................... 152
3.6.1. Интеграция в процедуру сборки................................................. 154
3.6.2. Дополнительные особенности репозиториев.............................. 156
3.7. В заключение....................................................................................... 157
Ссылки....................................................................................................... 158
Глава 4. Приемочные тесты........................................................................... 161
4.1. Введение............................................................................................. 161
4.1.1. Приемочные испытания: пример................................................ 161
4.2. Пирамида тестирования...................................................................... 162
4.3. Что такое "приемочные тесты"?.......................................................... 166
4.3.1. Автоматизированные приемочные испытания............................ 166
4.3.2. Больше, чем просто увеличение эффективности........................ 167
4.3.3. Тестирование вручную............................................................... 168
4.3.4. Какую роль играет заказчик?..................................................... 168
4.3.5. Приемочные и модульные тесты................................................ 169
4.3.6. Окружения для тестирования..................................................... 170
4.4. Приемочные тесты через ГИП.............................................................. 171
4.4.1. Проблемы тестирования графического интерфейса................... 171
4.4.2. Абстракции против хрупких тестов через графический
интерфейс........................................................................................... 172
4.4.3. Автоматизация с помощью Selenium........................................... 173
4.4.4. Программный интерфейс веб-драйвера...................................... 173
4.4.5. Тестирование без веб-браузера: HtmlUnit.................................. 173
4.4.6. Программный интерфейс веб-драйвера Selenium....................... 174
4.4.7. Selenium IDE............................................................................... 174
2 pages
4.4.8. Проблемы автоматизации тестов через графический
интерфейс........................................................................................... 176
4.4.9. Выполнение тестов графического интерфейса........................... 176
4.4.10. Преобразование тестов в программный код............................. 176
4.4.11. Изменение тестов вручную....................................................... 177
4.4.12. Тестовые данные...................................................................... 177
4.4.13. Шаблон Page Object................................................................. 178
4.5. Альтернативные инструменты тестирования графического
интерфейса................................................................................................ 179
4.5.1. PhantomJS.................................................................................. 179
4.5.2. Windmill..................................................................................... 179
4.6. Текстовые приемочные тесты.............................................................. 181
4.6.1. Behavior-Driven Development....................................................... 181
4.6.2. Адаптеры................................................................................... 184
4.7. Альтернативные фреймворки............................................................... 186
4.8. Стратегии приемочных испытаний....................................................... 187
4.8.1. Выбор инструмента.................................................................... 187
4.8.2. Быстрая обратная связь............................................................. 188
4.8.3. Охват тестами............................................................................ 189
4.9. В заключение...................................................................................... 189
Ссылки....................................................................................................... 191
Глава 5. Тестирование пропускной способности........................................... 192
5.1. Введение............................................................................................. 192
5.1.1. Тестирование пропускной способности: пример......................... 192
5.2. Тестирование пропускной способности - как?.................................... 193
5.2.1. Цели тестирования пропускной способности.............................. 193
5.2.2. Данные и окружения.................................................................. 194
5.2.3. Тестирование производительности должно выполняться
только в конце реализации?................................................................ 194
5.2.4. Тесты пропускной способности = управление рисками.............. 194
5.2.5. Имитация поведения пользователей.......................................... 195
5.2.6. Документирование требований к производительности............... 195
5.2.7. Аппаратное обеспечение для тестирования
пропускной способности...................................................................... 196
5.2.8. Облачные решения и виртуализация......................................... 197
5.2.9. Минимизация рисков за счет непрерывного тестирования......... 198
5.2.10. Тестирование пропускной способности - целесообразно ли? .198
5.3. Реализация тестов пропускной способности........................................ 199
5.4. Тестирование пропускной способности с помощью Gatling................... 201
5.4.1. Различия между демонстрацией и практическим применением.....205
5.5. Альтернативы инструменту Gatling...................................................... 207
5.5.1. Grinder....................................................................................... 207
5.5.2. Apache JMeter............................................................................. 207
5.5.3. Tsung......................................................................................... 208
5.5.4. Коммерческие решения.............................................................. 208
5.6. В заключение...................................................................................... 209
Ссылки....................................................................................................... 209
Глава 6. Исследовательское тестирование..................................................... 210
6.1. Введение............................................................................................. 210
6.1.1. Исследовательское тестирование: пример................................. 210
6.2. Цель исследовательского тестирования............................................... 210
6.2.1. Иногда ручное тестирование оказывается предпочтительнее.... 211
6.2.2. Тестирование заказчиком.......................................................... 211
6.2.3. Ручное тестирование нефункциональных требований................ 212
6.3. Как это сделать?.................................................................................. 212
6.3.1. Руководство по проведению тестирования................................. 213
6.3.2. Автоматизированное окружение................................................ 213
6.3.3. Демонстрационные примеры как основа.................................... 213
6.3.4. Пример: приложение электронной коммерции........................... 214
6.3.5. Бета-тестирование..................................................................... 214
6.3.6. Сеансовые тесты........................................................................ 215
6.4. В заключение...................................................................................... 218
Ссылки....................................................................................................... 218
Глава 7. Развертывание - ввод в эксплуатацию............................................ 219
7.1. Введение............................................................................................. 219
7.1.1. Развертывание: пример.............................................................. 220
7.2. Ввод в эксплуатацию и откат............................................................... 220
7.2.1. Преимущества............................................................................ 220
7.2.2. Недостатки................................................................................. 221
7.3. Развертывание исправлений................................................................ 222
7.3.1. Преимущества............................................................................ 222
7.3.2. Недостатки................................................................................. 222
7.4. Сине-зеленое развертывание............................................................... 223
7.4.1. Преимущества............................................................................ 224
7.4.2. Недостатки................................................................................. 224
7.5. Канареечное развертывание................................................................ 225
7.5.1. Преимущества............................................................................ 226
7.5.2. Недостатки................................................................................. 226
7.6. Автоматическое развертывание........................................................... 227
7.6.1. Преимущества............................................................................ 228
7.6.2. Недостатки................................................................................. 229
7.7. Виртуализация..................................................................................... 229
7.7.1. Физические хосты....................................................................... 231
7.8. Вне круга веб-приложений.................................................................. 231
7.9. В заключение...................................................................................... 233
Ссылки....................................................................................................... 233
Глава 8. Эксплуатация................................................................................... 234
8.1. Введение............................................................................................. 234
8.1.1. Эксплуатация - пример............................................................. 235
8.2. Проблемы в период эксплуатации....................................................... 235
8.3. Файлы журналов................................................................................. 237
8.3.1. Что следует журналировать?...................................................... 238
8.3.2. Инструменты для обработки файлов журналов.......................... 240
8.3.3. Журналирование в примере приложения................................... 241
8.4. Анализ журналов примера приложения............................................... 242
8.4.1. Анализ с применением Kibana.................................................... 245
8.4.2. ELK - масштабируемость........................................................... 246
8.5. Другие технологии обработки журналов.............................................. 251
8.6. Продвинутые технологии обработки журналов.................................... 252
8.6.1. Анонимизация............................................................................ 253
8.6.2. Производительность.................................................................. 253
8.6.3. Время......................................................................................... 253
8.6.4. Эксплуатационная база данных.................................................. 254
8.7. Мониторинг......................................................................................... 254
8.8. Отображение числовых характеристик с помощью Graphite................. 255
8.9. Характеристики, измеряемые в примере приложения.......................... 258
8.9.1. Структура примера..................................................................... 258
8.10. Другие решения для мониторинга..................................................... 260
8.11. Прочие проблемы, возникающие во время эксплуатации
приложений............................................................................................... 262
8.11.1. Сценарии................................................................................. 262
8.11.2. Приложения в вычислительном центре клиента....................... 262
8.12. В заключение.................................................................................... 263
Ссылки....................................................................................................... 264
Часть III. Управление, организация и архитектура решения
непрерывного развертывания..................................................................... 267
Глава 9. Внедрение методологии непрерывного развертывания
на предприятии............................................................................................... 268
9.1. Введение............................................................................................. 268
9.2. Непрерывное развертывание с самого начала..................................... 268
9.3. Систематизация потока ценностей....................................................... 269
9.3.1. Систематизация потока ценностей описывает
последовательность событий............................................................... 270
9.3.2. Оптимизация.............................................................................. 271
9.4. Дополнительные меры для оптимизации............................................. 273
9.4.1. Капиталовложения в качество................................................... 273
9.4.2. Затраты..................................................................................... 273
9.4.3. Выгоды...................................................................................... 274
9.4.4. Запрещайте сохранение изменений в случае ошибки сборки!.... 274
9.4.5. Останови конвейер.................................................................... 275
9.4.6. Пять почему............................................................................... 275
9.4.7. DevOps....................................................................................... 276
9.5. В заключение...................................................................................... 278
Ссылки....................................................................................................... 278
Глава 10. Непрерывное развертывание и DevOps.......................................... 279
10.1. Введение........................................................................................... 279
10.2. Что такое DevOps?............................................................................. 279
10.2.1. Проблемы................................................................................ 280
10.2.2. Точка зрения клиента.............................................................. 281
10.2.3. Первопроходцы: Amazon.......................................................... 281
10.2.4. DevOps..................................................................................... 282
10.3. Непрерывное развертывание и DevOps.............................................. 283
10.3.1. DevOps: не только непрерывное развертывание...................... 284
10.3.2. Индивидуальная ответственность и самоорганизация.............. 285
10.3.3. Технологические решения........................................................ 286
10.3.4. Меньше централизованного управления.................................. 286
10.3.5. Плюрализм технологий............................................................ 287
10.3.6. Обмен специалистами между командами.................................. 287
10.3.7. Архитектура............................................................................. 288
10.4. Непрерывное развертывание без DevOps?......................................... 289
10.4.1. Завершение конвейера непрерывного развертывания.............. 290
10.5. В заключение.................................................................................... 292
Ссылки....................................................................................................... 292
Глава 11. Непрерывное развертывание, DevOps и архитектура ПО................ 293
11.1. Введение........................................................................................... 293
11.2. Архитектура программного обеспечения............................................ 293
11.2.1. Зачем нужна архитектура программного обеспечения?............ 294
11.3. Оптимизация архитектуры для непрерывного развертывания............ 296
11.3.1. Деление на мелкие единицы развертывания............................ 297
11.4. Интерфейсы....................................................................................... 298
11.4.1. Закон Постела, или принцип надежности................................. 300
11.4.2. Страховка от сбоев.................................................................. 300
11.4.3. Состояние................................................................................ 301
11.5. Базы данных...................................................................................... 302
11.5.1. Поддержание стабильности схемы базы данных....................... 303
11.5.2. База данных = компонент........................................................ 304
11.5.3. Представления и хранимые процедуры.................................... 304
11.5.4. Отдельная база данных для каждого компонента..................... 305
11.5.5. Базы данных NoSQL.................................................................. 305
11.6. Микрослужбы....................................................................................305
11.6.1. Микрослужбы и непрерывное развертывание...........................306
11.6.2. Внедрение непрерывного развертывания с микрослужбами.....307
11.6.3. Микрослужбы способствуют внедрению непрерывного развертывания....................................................................................307
11.6.4. Организация............................................................................308
11.7. Внедрение новых возможностей.........................................................308
11.7.1. Отдельные ветви для новых возможностей..............................309
11.7.2. Переключение возможностей...................................................309
11.7.3. Преимущества..........................................................................310
11.7.4. Примеры использования переключения возможностей.............311
11.7.5. Недостатки...............................................................................312
11.8. В заключение....................................................................................312
Ссылки.......................................................................................................313
Глава 12. Заключение: основные преимущества............................................315
Ссылки.......................................................................................................316
Несмотря на то что сама книга занимает более 300-х страниц, следует отметить что популярные инструменты там рассматриваются бегло. Судите сами: на Selenium ушло целых 2 страницы, Сhef 13 страниц, Vagrant 4 страницы и т.д. Поэтому эту книгу надо рассматривать не как справочник, а как энциклопедию "Continuous delivery". После знакомства с которой надо обязательно переходить к более предметным источникам.
Например читать ИТ-книги в оригинале с этого источника http://freepdf-books.com/.
Разумеется там не самые последние электронные издания, но есть там и про Jenkins, и про Vagrant с Chef. И все в свободном доступе!
Успехов.
Сейчас читаю оригинал, книга супер.
ReplyDelete