С 13 по 15 марта 2020 г. серверная группа TYPO3 организовала совместный командный спринт для ежеквартальной встречи в офисе Ops One в Цюрихе, Швейцария.

Мы пользуемся этой возможностью, чтобы сообщить о последних изменениях в TYPO3 Server Team, сайте typo3.org и других вопросах инфраструктуры.

Новый руководитель группы для серверной группы

После более чем десяти лет Майкл Штуки передает управление командой Андри Штайнеру. Майкл пишет:

Андри был членом команды в течение семи лет. Он потратил много времени и ноу-хау на проект TYPO3, например, на создание нового (и великолепного!) Стека веб-серверов, который уже более трех лет используется для typo3.org.

Я имел удовольствие работать с Андри более 15 лет или, другими словами, для восьми стабильных версий Debian. За это время я многому научился у Андри (и, надеюсь, он кое-чему научился и у меня).

Уйдя с поста руководителя группы, я продолжу работать в команде сервера TYPO3 в качестве полностью мотивированного члена группы.

Я желаю Андрею больших успехов и удовлетворения в его новой роли и благодарю его за то, что он принял это предложение!

Прощай, Штеффен

В прошлом году наш давний участник Штеффен Геберт решил покинуть команду. Штеффен был членом серверной команды TYPO3 в течение семи лет. До своего участия в команде серверов Штеффен был членом основной команды в течение четырех лет, начиная с 2010 года. Он внес огромное количество проектов и ноу-хау (и времени!) В проект TYPO3.

Некоторые из проектов, которые Штеффен внес в сообщество TYPO3:

• Управление инфраструктурой Chef, а также более 70 обучающих книг, которые были опубликованы на нашей собственной странице GitHub. До сегодняшнего дня Chef использовался для управления нашей инфраструктурой, но его заменят, так как мы скоро перейдем на новую платформу. Chef поднял нашу инфраструктуру на новый уровень качества, сохранив каждый элемент инфраструктуры в виде воспроизводимого кода, протестированный на уникальной платформе тестирования Jenkins. Все это было бы невозможно без вклада, выносливости и терпения Штеффена.
• Zabbix мониторинг
• Git и Gerrit обзор кода

Штеффен, спасибо огромное за твою огромную работу. Нам очень грустно, что вы покидаете нас, но мы рады оставаться на связи. Помните, что вы всегда можете встретиться с нами, когда есть возможность!

Outlook

До сих пор наша текущая инфраструктура работала на виртуальных серверах, управляемых Chef. За последние годы мы обновили и перенесли большинство из них в гипервизор KVM. Однако на OpenVZ все еще существуют устаревшие системы, в которых миграция оказалась слишком сложной. Кроме того, мы время от времени боремся с инфраструктурой Chef и вынуждены помогать бывшему члену команды Штеффену помочь. Отныне мы будем использовать PaaS (Платформа как Сервис) для развертывания статических и PHP-сайтов. Для сервисов, основанных на других технологиях (LDAP, Gerrit, Forge и т.д.), Мы используем Docker для абстрагирования необходимых зависимостей. Мы уже завершили переход на некоторые из наших услуг и продолжим в этом году.

Благодаря оптимизированной инфраструктуре с меньшим количеством и менее сложными услугами, мы надеемся на более надежную и гибкую платформу в будущем. Кроме того, мы извлекли некоторые уроки во время этого путешествия и постараемся избежать технической задолженности в наших проектах в будущем.

Комбинированный Спринт 2020/1

Текущий спринт подходит к концу, поэтому вот некоторые фрагменты и информация из того, что мы делали в течение последних трех дней:

Архивировано и перенесено около 100 старых сайтов

Поскольку мы переходим на новую инфраструктурную платформу, более 100 веб-сайтов были перенесены в их новый дом. Некоторые из них были старыми экземплярами TYPO3 (например, веб-сайтами прошлых конференций TYPO3), которые были заархивированы с использованием httrack в простой HTML-формат. Благодаря этому нам больше не нужно поддерживать эти веб-сайты, в то время как они остаются доступными на тот случай, если вы захотите просмотреть прошедшие события.

Мигрированные старые веб-серверы

Благодаря этой очистке десять серверов могут быть удалены из нашей инфраструктуры. Смотрите ниже для получения дополнительной информации об этом.

Мигрированная DNS-инфраструктура

Наш DNS-сервер, управляемый Chef, был заменен веб-решением. PowerDNS все еще используется в фоновом режиме.

Миграция службы в контейнеры (LDAP, Redmine, OTRS)

В наших усилиях по переносу любых проектов, не относящихся к LAMP, в контейнеры Docker, контейнер для OTRS был настроен в выходные дни. Миграция состоится в ближайшие недели.

Контейнер Redmine на forge.typo3.org также был завершен, но миграция займет некоторое время, так как мы хотели бы обновиться до последней версии Redmine.

Планирование и сотрудничество с typo3.org и основной командой

Команда веб-сайта typo3.org

Мы создали политику имен пользователей LDAP: в будущем мы хотим обеспечить более четкие соглашения для имен пользователей. Мы создали соглашение и сообщили о нем в процессе регистрации. Существующие пользователи, чьи имена не соответствуют новому соглашению, были проинформированы по почте и получили обновленное имя для входа.

Процесс удаления пользователей LDAP: мы координировали наши команды, чтобы упростить и улучшить внутренний процесс.

Slack - полезный инструмент для нашего сообщества, особенно для координации нашей командной работы. Но у этого есть несколько минусов: публичная видимость контента TYPO3 в сети снижается. Поэтому мы обсудили способы усиления других инструментов, которые мы используем, например, talk.typo3.org.

Основная информация о спринте было на сайте voting.typo3.org. Мы подготовили систему к предстоящим выборам и постарались улучшить удобство использования и производительность. И, как обычно, мы обновили все среды typo3.org и настройки разработки (DDEV 1.13.1, обновления расширений и т.д.).

Очистка базы данных LDAP

Мы хотим очистить наши пользовательские данные, чтобы имена пользователей придерживались правил, для лучшей совместимости с нашим растущим стеком инструментов. В первом обновлении мы перенесли имена пользователей в нижний регистр. В следующем обновлении мы заменим все нестандартные символы и перенесем всех затронутых пользователей в соответствии с правилами. Конечно, мы заранее проинформируем затронутых пользователей и предоставим путь миграции.

Оценка решения единого входа

Поскольку мы планируем обеспечить двухфакторную аутентификацию для всех сервисов, мы начали оценку Keycloak в дополнение к очистке пользовательской базы в LDAP и выполнили некоторые тесты и интеграции, используя сервер LDAP в качестве основного источника информации об учетной записи.

Миграция рассылки

Одной из старейших служб, которые все еще работают, являются наши списки рассылки на основе Mailman. Для объявлений о безопасности и выпусках это все еще функциональность, которая еще не была заменена лучшей функциональностью. Бенни Мак запустил новую услугу "announce.typo3.org", чтобы предоставлять такую функциональность, используя инструмент, отличный от Mailman.

Замена сервера

В результате миграции инфраструктуры мы смогли остановить два сервера, которые Punkt.de предоставил в дар с 2013 года. Эти серверы ознаменовали начало нашего приключения OpenVZ и дали нам много новых возможностей. Благодаря Punkt typo3.org работал быстро и надежно в течение многих лет. (Он уже был перенесен на новый сервер в 2017 году, но другие службы все еще работали на этих серверах до недавнего времени ...)

Несколькими неделями ранее мы уже смогли отключить еще один сервер, предоставленный jweiland.net и использовавшийся для запуска review.typo3.org (Gerrit) и forge.typo3.org (Redmine) с 2015 года.

Мы хотели бы поблагодарить Punkt.de и jweiland.net за бесплатное предоставление этих систем для проекта TYPO3. Ты жжешь!

Заключительные слова

Мы хотели бы поблагодарить Ops One за предоставление спринта в самом центре Цюриха. Большое спасибо TYPO3 Association за покрытие транспортных расходов, а также расходов на питание.

Наконец, что не менее важно, большое спасибо участникам спринта, которые провели три дня в Цюрихе. Оставайтесь здоровыми и сильными, друзья мои!

Участники спринта: Андреас Бойтель, Стефан Буземанн, Саймон Джилли, Бенни Мак, Андри Штайнер, Майкл Штуки

Удаленные участники: Бастиан Брингенберг, Стефан Гросберндт, Марко Хубер

Вычитка: Матиас Болт Лесняк