Стаття

Новини та Корисні статті

Наші послуги


Звіт про роботу групи серверів - березень 2020 р

Logo

Цей звіт про останні зміни, поточний стан і майбутнє групи розробників TYPO3.

З 13 по 15 березня 2020 року серверна група TYPO3 організувала спільний командний спринт для щоквартальної зустрічі в офісі Ops One в Цюріху, Швейцарія.

Ми користуємося цією можливістю, щоб повідомити про останні зміни в TYPO3 Server Team, сайті typo3.org та інших питаннях інфраструктури.

Новий керівник групи для серверної групи

Після більш ніж десяти років Майкл Штуки передає управління командою Андрі Штайнера. Майкл пише:

Андрі був членом команди протягом семи років. Він витратив багато часу і ноу-хау на проект TYPO3, наприклад, на створення нового (і чудового!) Стека веб-серверів, який вже більше трьох років використовується для typo3.org.

Я мав задоволення працювати з Андрі більше 15 років або, іншими словами, для восьми стабільних версій Debian. За цей час я багато чому навчився у Андрі (і, сподіваюся, він дечому навчився і у мене).

Пішовши з посади керівника групи, я продовжу працювати в команді сервера TYPO3 як повністю мотивованого члена групи.

Я бажаю Андрію великих успіхів і задоволення в його новій ролі і дякую йому за те, що він прийняв цю пропозицію!

Прощай, Штеффен

У минулому році наш давній учасник Штеффен Геберт вирішив покинути команду. Штеффен був членом серверної команди TYPO3 протягом семи років. До своєї участі в команді серверів Штеффен був членом основної команди протягом чотирьох років, починаючи з 2010 року. Він вніс величезну кількість проектів і ноу-хау (і часу!) В проект TYPO3.

Деякі з проектів, які Штеффен вніс до спільноти TYPO3:

  • Управління інфраструктурою Chef, а також понад 70 навчальних книг, які були опубліковані на нашій власній сторінці GitHub. До сьогоднішнього дня Chef використовувався для управління нашою інфраструктурою, але його замінять, так як ми скоро перейдемо на нову платформу. Chef підняв нашу інфраструктуру на новий рівень якості, зберігши кожен елемент інфраструктури у вигляді відтвореного коду, протестований на унікальній платформі тестування Jenkins. Все це було б неможливо без вкладу, витривалості і терпіння Штеффена.
  • Zabbix моніторинг
  • Git і Gerrit огляд коду

Штеффен, спасибо огромное за твою величезну роботу. Нам дуже сумно, що ви залишаєте нас, але ми раді залишатися на зв'язку. Пам'ятайте, що ви завжди можете зустрітися з нами, коли є можливість!

Outlook

До сих пір наша поточна інфраструктура працювала на віртуальних серверах, керованих Chef. За останні роки ми відновили і перенесли більшість з них в гипервизор KVM. Однак на OpenVZ все ще існують застарілі системи, в яких міграція виявилася занадто складною. Крім того, ми час від часу боремося з інфраструктурою Chef і змушені допомагати колишньому члену команди Штеффену допомогти. Відтепер ми будемо використовувати PaaS (Платформа як сервіс) для розгортання статичних і PHP-сайтів. Для сервісів, заснованих на інших технологіях (LDAP, Gerrit, Forge і т.д.), Ми використовуємо Docker для абстрагування необхідних залежностей. Ми вже завершили перехід на деякі з наших послуг і продовжимо в цьому році.

Завдяки оптимізованої інфраструктурі з меншою кількістю і менш складними послугами, ми сподіваємося на більш надійну і гнучку платформу в майбутньому. Крім того, ми витягли деякі уроки під час цієї подорожі і постараємося уникнути технічної заборгованості в наших проектах в майбутньому.

Комбінований Спринт 2020/1

Поточний спринт добігає кінця, тому ось деякі фрагменти і інформація з того, що ми робили протягом останніх трьох днів:

Статичний і перенесено близько 100 старих сайтів

Оскільки ми переходимо на нову інфраструктурну платформу, понад 100 веб-сайтів були перенесені в їх новий будинок. Деякі з них були старими екземплярами TYPO3 (наприклад, веб-сайтами минулих конференцій TYPO3), які були архівовані з використанням httrack в простий HTML-формат. Завдяки цьому нам більше не потрібно підтримувати ці веб-сайти, в той час як вони залишаються доступними на той випадок, якщо ви захочете переглянути минулі події.

Мігрувати старі веб-сервери

Завдяки цьому очищенні десять серверів можуть бути видалені з нашої інфраструктури. Дивіться нижче для отримання додаткової інформації про це.

Міграція DNS-інфраструктури

Наш DNS-сервер, керований Chef, був замінений веб-рішенням. PowerDNS все ще використовується в фоновому режимі.

Міграція служби в контейнери (LDAP, Redmine, OTRS)

У наших зусиллях по перенесенню будь-яких проектів, що не відносяться до LAMP, в контейнери Docker, контейнер для OTRS був налаштований у вихідні дні. Міграція відбудеться в найближчі тижні.

Контейнер Redmine на forge.typo3.org також був завершений, але міграція займе якийсь час, так як ми хотіли б оновитися до останньої версії Redmine.

Планування і співпраця з typo3.org і основною командою

Команда веб-сайту typo3.org

Ми створили політику імен користувачів LDAP: в майбутньому ми хочемо забезпечити більш чіткі угоди для імен користувачів. Ми створили угоду і повідомили про нього в процесі реєстрації. Існуючі користувачі, чиї імена не відповідають новій угоді, були проінформовані поштою і отримали оновлене ім'я для входу.

Процес видалення користувачів LDAP: ми координували наші команди, щоб спростити і покращити внутрішній процес.

Slack - корисний інструмент для нашої спільноти, особливо для координації нашої командної роботи. Але у цього є кілька мінусів: публічна видимість контенту TYPO3 в мережі знижується. Тому ми обговорили способи посилення інших інструментів, які ми використовуємо, наприклад, talk.typo3.org.

Основна інформація про спринт була на сайті voting.typo3.org. Ми підготували систему до майбутніх виборів і постаралися поліпшити зручність використання і продуктивність. І, як завжди, ми оновили всі середовища typo3.org і настройки розробки (DDEV 1.13.1, поновлення розширень і т.д.).

Очищення бази даних LDAP

Ми хочемо очистити наші призначені для користувача дані, щоб імена користувачів дотримувалися правил, для кращої сумісності з нашим зростаючим стеком інструментів. У першому оновленні ми перенесли імена користувачів в нижній регістр. В наступному оновленні ми замінимо всі нестандартні символи і перенесемо всіх порушених користувачів відповідно до правил. Звичайно, ми заздалегідь поінформуємо порушених користувачів і надамо шлях міграції.

Оцінка рішення єдиного входу

Оскільки ми плануємо забезпечити двухфакторную аутентифікацію для всіх сервісів, ми почали оцінку Keycloak на додаток до очищення користувальницької бази в LDAP і виконали деякі тести і інтеграції, використовуючи сервер LDAP в якості основного джерела інформації про обліковий запис.

Міграція розсилки

Однією з найстаріших служб, які все ще працюють, є наші списки розсилки на основі Mailman. Для оголошень про безпеку і випусках це все ще функціональність, яка ще не була замінена кращої функціональністю. Бенні Мак запустив нову послугу "announce.typo3.org", щоб надавати таку функціональність, використовуючи інструмент, відмінний від Mailman.

Заміна сервера

В результаті міграції інфраструктури ми змогли зупинити два сервера, які Punkt.de надав в дар з 2013 року. Ці сервери ознаменували початок нашої пригоди OpenVZ і дали нам багато нових можливостей. Завдяки Punkt typo3.org працював швидко і надійно протягом багатьох років. (Він вже був перенесений на новий сервер в 2017 році, але інші служби все ще працювали на цих серверах до недавнього часу ...)

Кількома тижнями раніше ми вже змогли відключити ще один сервер, наданий jweiland.net і використовувався для запуску review.typo3.org (Gerrit) і forge.typo3.org (Redmine) з 2015 року.

Ми хотіли б подякувати Punkt.de і jweiland.net за безкоштовне надання цих систем для проекту TYPO3. Ти жжешь!

Заключні слова

Ми хотіли б подякувати Ops One за надання спринту в самому центрі Цюріха. Велике спасибі TYPO3 Association за покриття транспортних витрат, а також витрат на харчування.

Нарешті, що не менш важливо, велике спасибі учасникам спринту, які провели три дні в Цюріху. Залишайтеся здоровими і сильними, друзі мої!

Учасники спринту: Андреас Бойтель, Стефан Буземанн, Саймон Джиллі, Бенні Мак, Андрі Штайнер, Майкл Штуки

Дистанційні учасники: Бастіан Брінгенберг, Стефан Гросберндт, Марко Хубер

Вичитування: Матіас Болт Лесняк