76 практических задач по DevOps

Сайт отдает 502 после утреннего деплоя, в котором по описанию менялся только код. Пройдите цепочку nginx → сервис → права и верните сайт до начала рабочего дня.

Обновление mailwave оборвали на середине: релиз завис в pending-upgrade, поды вперемешку. Разблокируйте релиз, найдите дефект обновления и доведите его до deployed.

Под каталога зеленый, а витрина пустая и заказы в сбоях. Докажите, на каком звене обрывается путь запроса, и восстановите трафик – не снимая защиту.

Кластер только что выдали – он пуст. Есть код сервиса фичефлагов tumbler, упакованный в ConfigMap, и список того, что платформенная команда хочет увидеть на ревью. Выкатите сервис так, чтобы приняли с первого раза: Deployment с пробами, PDB, HPA и живучесть, проверенная руками.

Кластер пуст, образа нет – только код на Go и ТЗ. Разверните статус-страницу getpulse, которая вживую пингует сервисы клиентов: Deployment с пробой, конфиг в ConfigMap, токен в Secret, NodePort и самовосстановление.

Ночью нода задыхалась от нехватки памяти, kubelet выселял поды волнами, а к утру алерты затихли сами. Восстановите хронологию, найдите и ограничьте виновника, верните к жизни соседа и напишите честный постмортем.

Планировщик cronhub катится копипастой из двух каталогов YAML, которые уже разъехались, а пароль лежит прямо в манифесте. Упакуйте все в один Helm-чарт, где окружения отличаются только values.

После переноса docker-хоста api отдает 500, старых заявок нет в списке, а ребут уложит остальное. Восстановите связку контейнеров: сеть, данные, автозапуск.

Соберите конвейер нового микросервиса: проверки на MR, образ на тег, деплой по кнопке – и чтобы токен деплоя не оказался в YAML.

Ночью хотфикс-ветка сама выкатилась в прод. Найдите дыру в правилах пайплайна, закройте ее и докажите, что стейджинг и релизы не пострадали.

Ускорьте прогон MR с сорока виртуальных минут до пятнадцати, ничего не выключая: постройте DAG, прогрейте кэш и научите тяжелые джобы не бегать на чужие изменения.

Сервис пропал с радаров после переезда на новый порт, и сутки этого никто не замечал. Верните сбор метрик и закройте слепоту алертом.

Сайт клиента лежал всю ночь, а уведомление так и не пришло. Пройдите путь алерта от метрики до получателя и докажите, что теперь дойдет.

Дежурные отказались брать сервис доставки kurier на поддержку: дежурить по сырому прометеусу они не станут. Соберите дашборд-как-код по методу RED, каждый запрос обязан работать в живом Prometheus.

API корзины пухнет по памяти весь день, под утро его прибивает OOM, и рестарт как будто все чинит. Докажите утечку метриками, найдите виновника в коде и остановите пилу.

Личный кабинет Волна Телеком перестал открываться: браузеры ругаются на истекший сертификат, а админ уехал за город. Выпустите новый сертификат от внутреннего CA, соберите полную цепочку и верните HTTPS, не останавливая nginx.

Сервер сборки buildbox задыхается: очередь стоит, панель красная, на машине крутятся сервисы трех разных команд. Найдите, кто ест CPU, докажите это инструментами и обезвредьте так, чтобы не вернулось после ребута. Рабочие сервисы при этом должны остаться живыми.

Маркетинг купил домен под лендинг Промо, а сервер выделили голый. Доведите его до боевого: сервис не под root, юнит systemd с харденингом, файрвол, ротация логов. Проверка будет честной – техдир придет вечером и попробует его сломать.

Аналитики магазина orbita читают данные двухчасовой давности, лаг реплики растет, а на основной базе тает диск. Верните отставание к секундам – не пересоздавая реплику.

Вечером стажер дропнул таблицу заказов на проде. Есть дневной базовый бэкап и WAL-архив: восстанови базу на секунды до DROP – вместе с вечерними заказами, которых в бэкапе нет.

Коллега перед отпуском навел порядок в инфра-репозитории, и теперь план предлагает уничтожить том с контентом и половину живого дев-стенда. Приведите план к нулю изменений, не потеряв ни одного ресурса.

Наследный плейбук работает только на свежей машине: повторный запуск дублирует конфиги и рестартит все подряд. Сделайте его честно идемпотентным.

Дев-стенды компании клепают копипастой .tf-файлов, и они разъезжаются. Соберите переиспользуемый модуль и поднимите из него два окружения параллельно.

Стажер сделал git reset --hard HEAD~2 и потерял два коммита: свою фичу и фикс коллеги. Файлов нет, в git log пусто, паника. Спаси работу через reflog.

Боевой API-токен закоммитили, потом файл удалили - но git помнит все. Вычисти секрет из всей истории, не разрушив ее, и доведи инцидент до конца.

Каталог логов по du почти пуст, а мониторинг видит сотни мегабайт записи и место тает. Найди процесс-призрак без lsof – голыми руками через /proc.

Сервер фотопечати воет вентиляторами: кто-то выедает ядро CPU, заказы стоят. Убить процесс мало – он тут же вернется и продолжит.

backup.sh месяц отчитывался об успехе, а в архивах полторы статьи. Найди классические мины шелл-скриптов и почини его по-настоящему.

Ночью на билетном сервисе afisha был всплеск трафика, а оплата падала. В access.log 175 тысяч строк – выясните, кто это был, сколько выкачал и когда был пик, и оформите ответы отчетом.

Сервис третьи сутки не может записать выгрузку: No space left on device. Второй диск давно оплачен и подключен к серверу, а места на томе так и не прибавилось.

Приемник телеметрии не записал за ночь ни одной пачки, touch в каталоге данных отбивается с Read-only file system, а ядро в dmesg ругается на ext4. Перезапуск сервиса тут не поможет.

Третью ночь подряд ядро снимает прием платежей, а ночной отчетный пакет остается жив. Разберись, по какому правилу выбирается жертва, и поменяй расклад.

Каждый вечер сервис отзывов перестает отдавать карточки, а CPU и память при этом спокойны. В логе одна и та же строка про открытые файлы, и поднятие лимита помогает только до следующего вечера.

Число процессов на узле растет сутки напролет, в ps десятки записей defunct, и kill -9 по ним не действует вообще. Надо понять природу этих записей и убрать источник.

Ключ подрядчика ушел в публичный репозиторий, и им уже успели воспользоваться. Отзовите доступ на узле планировщика маршрутов так, чтобы он не вернулся через минуту, и не отрежьте при этом свою же команду.

Аудит перед сертификацией нашел полный root без пароля у половины команды склада, включая стажера и сервисную учетную запись. Сузьте права до минимума и не сломайте автоматику выкладки.

Витрина заказов lavka руками стартует за секунду, а после каждой перезагрузки узла лежит. Дежурный поднимает ее вручную третью неделю – пора закончить этот сериал.

Выгрузка отчетов tabel руками отрабатывает за секунду, а по расписанию не сработала ни разу за неделю. Ни файлов, ни ошибок – полная тишина.

Партнер переехал неделю назад, но сверка платежей упрямо стучится на выведенный из эксплуатации узел и получает 403. У партнера все правильно – значит, кривой ответ рождается на нашем хосте.

После переключения на новый канал короткие запросы летают, а выгрузка отчета встает намертво. Ping без потерь, порт открыт, ошибок нет – сеть выглядит здоровой ровно до того момента, пока не попросишь много данных.

После аварийного рестарта telemetr не поднимается: bind 0.0.0.0:9310 address already in use. Дежурный божится, что все прибил ночью, и ps его подтверждает – процессов сервиса не видно. Порт при этом кто-то держит.

Дев-стенд доски мероприятий поднимали руками по памяти и один раз потеряли данные. Опиши его как terraform-конфигурацию с нуля: сеть, том, база и веб-морда, которая реально ходит в базу.

Ночью дежурный включил веб-контейнеру автоперезапуск через docker update, но в код это не попало. Теперь terraform plan хочет откатить нужную правку. Сведи код и стенд без пересоздания контейнера.

Пароль базы сервиса промо-кодов передается обычной переменной и печатается в output открытым текстом. Аудит требует навести порядок: sensitive, вынос значения в gitignored tfvars, чистый вывод.

Веб-узлы доски афиш пока настраивает монолитный плейбук с захардкоженным конфигом. Соберите переиспользуемую роль по всем правилам: шаблоны, defaults, handlers, идемпотентность.

Аудит нашел пароль базы и токен API прямо в переменных плейбука. Спрячьте их в ansible-vault так, чтобы сервис по-прежнему получал верные секреты, а открытого текста в репозитории не осталось.

Плейбук выкатывает новую версию на весь парк разом – на время рестарта сервис лежит везде, а битый узел уезжает в продакшн незамеченным. Сделайте выкат поочередным и безопасным.

Сервис citatnik катится образом на 1.1 ГБ, от root, с тестами и .git внутри. Перепишите Dockerfile так, как не стыдно катить в прод.

Опросник opros гоняли тремя docker run по памяти. После ребута собрать стек обратно никто не смог. Соберите docker-compose.yml, который поднимает web + postgres + redis одной командой.

Сервис миниатюр minifoto собирается в образ больше гигабайта: полный python, компилятор в комплекте, кэши по слоям. Ужмите его ниже 300 МБ, не сломав работу.

Сервис zametki работает под пользователем uid 1000, но при записи в подключенный том падает с Permission denied. Почините так, чтобы приложение писало данные, и без chmod 777.

Сервис bufer не останавливается по docker stop: команда ждет 10 секунд и добивает контейнер по SIGKILL, теряя несброшенный буфер. Сделайте так, чтобы приложение получало SIGTERM и завершалось чисто.

Приложение афиши уже работает как внутренний апстрим на 127.0.0.1:9000, но наружу его никто не проксирует. Собери перед ним nginx с нуля: TLS от внутреннего CA, проксирование, редирект 80 на 443, ограничение частоты на бронь и проброс заголовков клиента.

Сервису аренды нужна схема БД под конкретный профиль запросов: поиск заказов по клиенту, выборка за период, отчет по статусам. Дана пустая база и ТЗ. Спроектируй таблицы с ключами и ограничениями, создай индексы под запросы и докажи, что они идут по индексу.

У сервиса реестра договоров нет ни одного бэкапа, и недавно чуть не потеряли базу. Настрой рутину резервного копирования: скрипт, расписание, ротацию - и, главное, проверь восстановление, развернув свежий бэкап во вторую базу.

У API-шлюза shlyuz есть метрики в Prometheus, но нет ни одного осмысленного алерта. Собери алертинг по SLO с нуля: SLI и пороги, правила на долю ошибок и латентность с разумными for, и доставку до приемника - и проверь на деле, что при всплеске ошибок алерт горит и доезжает.

Пока ты пилил скидки в ветке, в main влили ндс, и ветки разошлись по одним и тем же строкам. Перенеси фичу на свежий main через rebase, разреши конфликты и получи линейную историю.

Коллега сделал git push --force и снес из общего main коммиты команды. Работа Димы и Кати исчезла, но объекты git еще живы. Найди потерянные коммиты и верни целостную историю в удаленный репозиторий.

В один коммит свалили сразу три вещи: фичу, багфикс и правку доков. Ревьюер не примет такой мерж. Разбей последний коммит на три осмысленных, ничего не потеряв.

Джоба деплоя сервиса rassylka печатает боевой токен провайдера прямо в лог сборки, а сам токен захардкожен в .gitlab-ci.yml. Вынесите его в защищенную переменную, уберите печать и докажите, что деплой цел, а секрета в логе больше нет.

Пайплайн сервиса tsennik разбит на build, test и deploy, но test и deploy падают: они не видят результат сборки. Настройте передачу артефактов между джобами, чтобы дистрибутив доезжал и пайплайн проходил целиком.

Наблюдатель dozor поднялся, но витрина красная: 403 Forbidden на каждый запрос к kube API. Разберите, каких прав не хватает его ServiceAccount, и выдайте ровно столько, сколько нужно.

Хранилище ambar забывает все записи при каждом пересоздании пода. Разберитесь, почему данные эфемерны, и разверните базу так, чтобы они переживали рестарт.

Ночная выгрузка vygruzka оформлена как Job, но никогда не завершается: apply манифеста падает, а когда Job все же создается, под висит и отчета нет. Найдите обе причины и доведите задание до Complete.

После выката на db-узле оказался веб-конфиг, а на web-узле настройки базы. Виноват таргетинг: hosts: all в плее и узел сразу в двух группах. Наведи порядок, чтобы каждый узел получил только свою роль.

Выкат nakat валится посреди процесса и бросает узел в полуготовом виде: служба лежит, блокировка висит. Сделай деплой надежным через block/rescue/always с откатом и почини причину сбоя.