Настройка GitLab CI для загрузки java проекта в maven central

в 12:47, , рубрики: deploy, deployment, deployment tools, devops, gitlab ci, gitlab runner, java, maven central, mvn, sonatype nexus

Данная статья рассчитана на java разработчиков, у которых возникла потребность быстро публиковать свои продукты в репозиториях sonatype и/или maven central с использованием GitLab. В данной статье я расскажу про настройку gitlab-runner, gitlab-ci и maven-plugin для решения данной задачи.

Предпосылки:

  • Безопасное хранение mvn и GPG ключей.
  • Безопасное выполнение публичных CI задач.
  • Загрузка артефактов (release/snapshot) в публичные репозитории.
  • Автоматическая проверка release-версий для публикации в maven central.
  • Общее решение по загрузке артефактов в репозиторий для нескольких проектов.
  • Простота и удобство использования.

Содержание

Общая информация

  • Подробное описание механизма публикации артефактов в Maven Central через Sonatype OSS Repository Hosting Service уже описано в данной статье пользователем Googolplex, поэтому в нужных местах буду ссылаться на данную статью.
  • Предварительно регистрируемся в Sonatype JIRA и заводим тикет на открытие репозитория (более подробно читать раздел Создаём тикет на Sonatype JIRA). После открытия репозитория пара логин/пароль от JIRA (далее учетная запись Sonatype) будет использоваться для загрузки артефактов в Sonatype nexus.
  • Далее процесс генерации GPG ключа описан весьма сухо. Более подробно смотреть раздел Настройка GnuPG для подписи артефактов
  • Если вы используете Linux консоль для генерации GPG ключа (gnupg/gnupg2), то необходимо установить rng-tools для генерации энтропии. В противном случае генерация ключа может проходить очень долго.
  • Сервисы хранения публичных GPG ключей

К содержанию

Настройка deploy-проекта в GitLab

  • В первую очередь необходимо создать и настроить проект, в котором будет храниться pipeline, для деплоя артефактов. Свой проект я назвал просто и незамысловато — deploy
  • После создания репозитория, необходимо ограничить доступ на изменение репозитория.
    Переходим в проект -> Settings -> Repository -> Protected Branches. Удаляем все правила и добавляем единственное правило с Wildcard * с правом на push и merge только для пользователей с ролью Maintainers. Данное правило будет работать для всех пользователей как данного проекта, так и группы в которую данный проект входит.
    Настройка GitLab CI для загрузки java проекта в maven central - 1
  • Если мейнтейнеров несколько, то лучшим решением будет ограничить доступ к проекту в принципе.
    Переходим в проект -> Settings -> General -> Visibility, project features, permissions и выставляем Project visibility в значение Private.
    У меня проект в публичном доступе, так как я использую собственный GitLab Runner и доступ на изменение репозитория есть только у меня. Ну и собственно не в моих интересах светить приватную информацию в публичных pipeline-логах.
  • Ужесточение правил на изменение репозитория
    Переходим в проект -> Settings -> Repository -> Push Rules и устанавливаем флаги Committer restriction, Check whether author is a GitLab user. Так же рекомендую настроить подпись коммитов, и установить флаг Reject unsigned commits.
  • Далее требуется настроить триггер для запуска задач
    Переходим в проект -> Settings -> CI / CD -> Pipeline triggers и создаем новый trigger-token
    Данный токен можно сразу добавить в общую конфигурацию переменных для группы проектов.
    Переходим в группу -> Settings -> CI / CD -> Variables и добавляем переменную DEPLOY_TOKEN с trigger-token в значении.

К содержанию

GitLab Runner

В данном разделе описана конфигурация для запуска задач на deploy с использованием собственного (Specific) и публичного (Shared) раннера.

Specific Runner

Я использую собственные раннеры, так как в первую очередь это удобно, быстро, дешево.
Для раннера рекомендую линуксовую VDS с 1 CPU, 2 GB RAM, 20 GB HDD. Цена вопроса ~3000₽ в год.

Мой раннер

Для раннера я взял VDS 4 CPU, 4 GB RAM, 50 GB SSD. Обошлась ~11000₽ и ни разу не пожалел.
У меня в общей сложности 7 машинок. 5 на aruba и 2 на ihor.

Итак, у нас есть раннер. Теперь мы его будем настраивать.
Заходим на машинку по SSH и устанавливаем java, git, maven, gnupg2.

К содержанию

Устанавливаем gitlab runner

  • Создаем новую группу runner 
    sudo groupadd runner
  • Создаем директорию для maven кэша и навешиваем права группы runner
    Этот пункт можно пропустить, если вы не планируете запускать несколько раннеров на одной машине.

    mkdir -p /usr/cache/.m2/repository
chown -R :runner /usr/cache
chmod -R 770 /usr/cache
  • Создаем пользователя gitlab-deployer и добавляем в группу runner 
    useradd -m -d /home/gitlab-deployer gitlab-deployer
usermod -a -G runner gitlab-deployer
  • Добавляем в файл /etc/ssh/sshd_config следующую строчку 
    AllowUsers root@* gitlab-deployer@127.0.0.1
  • Перезагружаем sshd 
    systemctl restart sshd
  • Устанавливаем пароль для пользователя gitlab-deployer (можно простой, так как действует ограничение для localhost) 
    passwd gitlab-deployer
  • Устанавливаем GitLab Runner (Linux x86-64) 
    sudo wget -O /usr/local/bin/gitlab-runner https://gitlab-runner-downloads.s3.amazonaws.com/latest/binaries/gitlab-runner-linux-amd64
sudo chmod +x /usr/local/bin/gitlab-runner
ln -s /usr/local/bin/gitlab-runner /etc/alternatives/gitlab-runner
ln -s /etc/alternatives/gitlab-runner /usr/bin/gitlab-runner
  • Переходим на сайт gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners и копируем registration token

Скрин

Настройка GitLab CI для загрузки java проекта в maven central - 2

  • Регистрируем раннер 
    gitlab-runner register --config /etc/gitlab-runner/gitlab-deployer-config.toml

Процесс

Runtime platform arch=amd64 os=linux pid=17594 revision=3001a600 version=11.10.0
Running in system-mode.
Please enter the gitlab-ci coordinator URL (e.g. https://gitlab.com/):
https://gitlab.com/
Please enter the gitlab-ci token for this runner:
REGISTRATION_TOKEN
Please enter the gitlab-ci description for this runner:
[ih1174328.vds.myihor.ru]: Deploy Runner
Please enter the gitlab-ci tags for this runner (comma separated):
deploy
Registering runner... succeeded                     runner=ZvKdjJhx
Please enter the executor: docker-ssh, parallels, virtualbox, docker-ssh+machine, kubernetes, docker, ssh, docker+machine, shell:
shell
Runner registered successfully. Feel free to start it, but if it's running already the config should be automatically reloaded!

  • Проверяем, что раннер зарегистрирован. Переходим на сайт gitlab.com -> deploy-project -> Settings -> CI/CD -> Runners -> Specific Runners -> Runners activated for this project

Скрин

Настройка GitLab CI для загрузки java проекта в maven central - 3

  • Добавляем отдельный сервис /etc/systemd/system/gitlab-deployer.service 
    [Unit]
Description=GitLab Deploy Runner
After=syslog.target network.target
ConditionFileIsExecutable=/usr/local/bin/gitlab-runner
[Service]
StartLimitInterval=5
StartLimitBurst=10
ExecStart=/usr/local/bin/gitlab-runner "run" "--working-directory" "/home/gitlab-deployer" "--config" "/etc/gitlab-runner/gitlab-deployer-config.toml" "--service" "gitlab-deployer" "--syslog" "--user" "gitlab-deployer"
Restart=always
RestartSec=120
[Install]
WantedBy=multi-user.target
  • Запускаем сервис. 
    systemctl enable gitlab-deployer.service
systemctl start gitlab-deployer.service
systemctl status gitlab-deployer.service
  • Проверяем, что раннер запущен.

Пример

Настройка GitLab CI для загрузки java проекта в maven central - 4

К содержанию

Генерация GPG ключей

  • С этой же машинки заходим по ssh под пользователем gitlab-deployer (это важно для генерации GPG ключа)

    ssh gitlab-deployer@127.0.0.1

  • Генерируем ключ отвечая на вопросы. Я использовал собственные имя и почту.
    Обязательно указываем пароль для ключа. Данным ключом будут подписываться артефакты.

    gpg --gen-key

  • Проверяем

    gpg --list-keys -a
/home/gitlab-deployer/.gnupg/pubring.gpg
----------------------------------------
pub   4096R/00000000 2019-04-19
uid                  Petruha Petrov <pp@example.com>
sub   4096R/11111111 2019-04-19

  • Загружаем наш публичный ключ на сервер ключей

    gpg --keyserver keys.gnupg.net --send-key 00000000
gpg: sending key 00000000 to hkp server keys.gnupg.net

К содержанию

Настройка Maven

  • Заходим под пользователем gitlab-deployer 
    su gitlab-deployer
  • Создаем диреторию maven repository и линкуем с кэшем (не ошибитесь)
    Этот пункт можно пропустить, если вы не планируете запуска несколько раннеров на одной машине.

    mkdir -p ~/.m2/repository
ln -s /usr/cache/.m2/repository /home/gitlab-deployer/.m2/repository
  • Создаем мастер ключ 
    mvn --encrypt-master-password password
{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Создаем файл ~/.m2/settings-security.xml 
    <settingsSecurity>
<master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
</settingsSecurity>
  • Шифруем пароль от учетной записи Sonatype 
    mvn --encrypt-password SONATYPE_PASSWORD
{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Создаем файл ~/.m2/settings.xml 
    <settings>  
<profiles>
    <profile>
        <id>env</id>
        <activation>
            <activeByDefault>true</activeByDefault>
        </activation>
        <properties>
            <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
        </properties>
    </profile>
</profiles>
<servers>
    <server>
        <id>sonatype</id>
        <username>SONATYPE_USERNAME</username>
        <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
    </server>
</servers>
</settings>

где,
GPG_SECRET_KEY_PASSPHRASE — пароль от GPG ключа
SONATYPE_USERNAME — логин учетной записи sonatype

На этом настройка раннера завершена, можно переходить к разделу GitLab CI

К содержанию

Shared Runner

Генерация GPG ключей

  • В первую очередь необходимо создать GPG ключ. Для этого устанавливаем gnupg.

    yum install -y gnupg

  • Генерируем ключ отвечая на вопросы. Я использовал собственные имя и почту. Обязательно указываем пароль для ключа.

    gpg --gen-key

  • Выводим информацию по ключу

    gpg --list-keys -a
pub   rsa3072 2019-04-24 [SC] [expires: 2021-04-23]
  2D0D1706366FC4AEF79669E24D09C55BBA3FD728
uid           [ultimate] tttemp <temp@temp.temp>
sub   rsa3072 2019-04-24 [E] [expires: none]

  • Загружаем наш публичный ключ на сервер ключей

    gpg --keyserver keys.gnupg.net --send-key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
gpg: sending key 2D0D1706366FC4AEF79669E24D09C55BBA3FD728 to hkp server keys.gnupg.net

  • Получаем приватный ключ

    gpg --export-secret-keys --armor 2D0D1706366FC4AEF79669E24D09C55BBA3FD728
-----BEGIN PGP PRIVATE KEY BLOCK-----
lQWGBFzAqp8BDADN41CPwJ/gQwiKEbyA902DKw/WSB1AvZQvV/ZFV77xGeG4K7k5
...
=2Wd2
-----END PGP PRIVATE KEY BLOCK-----

  • Переходим настройки проекта -> Settings -> CI / CD -> Variables и сохраняем приватный ключ в переменной GPG_SECRET_KEY
    Настройка GitLab CI для загрузки java проекта в maven central - 5

К содержанию

Настройка Maven

  • Создаем мастер ключ 
    mvn --encrypt-master-password password
{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}
  • Переходим настройки проекта -> Settings -> CI / CD -> Variables и сохраняем в переменной SETTINGS_SECURITY_XML следующие строки: 
    <settingsSecurity>
<master>{hnkle5BJ9HUHUMP+CXfGBl8dScfFci/mpsur/73tR2I=}</master>
</settingsSecurity>
  • Шифруем пароль от учетной записи Sonatype 
    mvn --encrypt-password SONATYPE_PASSWORD
{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}
  • Переходим настройки проекта -> Settings -> CI / CD -> Variables и сохраняем в переменной SETTINGS_XML следующие строки: 
    <settings>  
<profiles>
    <profile>
        <id>env</id>
        <activation>
            <activeByDefault>true</activeByDefault>
        </activation>
        <properties>
            <gpg.passphrase>GPG_SECRET_KEY_PASSPHRASE</gpg.passphrase>
        </properties>
    </profile>
</profiles>
<servers>
    <server>
        <id>sonatype</id>
        <username>sonatype_username</username>
        <password>{98Wv5+u+Tn0HX2z5G/kR4R8Z0WBgcDBgi7d12S/un+SCU7uxzaZGGmJ8Cu9pAZ2J}</password>
    </server>
</servers>
</settings>

где,
GPG_SECRET_KEY_PASSPHRASE — пароль от GPG ключа
SONATYPE_USERNAME — логин учетной записи sonatype

К содержанию

Deploy docker image

  • Создаем достаточно простой Dockerfile для запуска задач на deploy с нужной версией Java. Ниже представлен пример для alpine.

    FROM java:8u111-jdk-alpine
RUN apk add gnupg maven git --update-cache 
--repository http://dl-4.alpinelinux.org/alpine/edge/community/ --allow-untrusted && 
mkdir ~/.m2/

  • Собираем контейнер для вашего проекта

    docker build -t registry.gitlab.com/group/deploy .

  • Аутентифицируемся и загружаем контейнер в registry.

    docker login -u USER -p PASSWORD registry.gitlab.com
docker push registry.gitlab.com/group/deploy

К содержанию

GitLab CI

Deploy project

Добавляем в корень deploy-проекта файл .gitlab-ci.yml
В скрипте представлено две взаимоисключающие задачи на деплой. Specific Runner или Shared Runner соответственно.

.gitlab-ci.yml

stages:
  - deploy

Specific Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на вашем shell-раннере
  tags:
    - deploy

Shared Runner:
  extends: .java_deploy_template
  # Задача будет выполняться на публичном docker-раннере
  tags:
    - docker
  # Образ из раздела GitLab Runner -> Shared Runner -> Docker
  image: registry.gitlab.com/group/deploy-project:latest
  before_script:
    # Импортируем GPG ключ
    - printf "${GPG_SECRET_KEY}" | gpg --batch --import
    # Сохраняем maven конфигурацию
    - printf "${SETTINGS_SECURITY_XML}" > ~/.m2/settings-security.xml
    - printf "${SETTINGS_XML}" > ~/.m2/settings.xml

.java_deploy_template:
  stage: deploy
  # Задача сработает по триггеру, если передана переменная DEPLOY со значением java
  only:
    variables:
    - $DEPLOY == "java"
  variables:
    # отключаем клонирование текущего проекта
    GIT_STRATEGY: none
  script:
    # Предоставляем возможность хранения пароля в незашифрованном виде
    - git config --global credential.helper store
    # Сохраняем временные креды пользователя gitlab-ci-token
    # Токен работает для всех публичных проектов gitlab.com и для проектов группы
    - echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
    # Полностью чистим текущую директорию
    - rm -rf .* *
    # Клонируем проект который, будем деплоить в Sonatype Nexus
    - git clone ${DEPLOY_CI_REPOSITORY_URL} .
    # Переключаемся на нужный коммит
    - git checkout ${DEPLOY_CI_COMMIT_SHA} -f
    # Если хоть один pom.xml содержит параметр autoReleaseAfterClose валим сборку.
    # В противном случае есть риск залить сырые артефакты в maven central
    - >
      for pom in $(find . -name pom.xml); do
        if [[ $(grep -q autoReleaseAfterClose "$pom" && echo $?) == 0 ]]; then
          echo "File $pom contains prohibited setting: <autoReleaseAfterClose>";
          exit 1;
        fi;
      done
    # Если параметр DEPLOY_CI_COMMIT_TAG пустой, то принудительно ставим SNAPSHOT-версию
    - >
      if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then
        mvn versions:set -DnewVersion=${DEPLOY_CI_COMMIT_TAG}
      else
        VERSION=$(mvn -q -Dexec.executable=echo -Dexec.args='${project.version}' --non-recursive exec:exec)
        if [[ "${VERSION}" == *-SNAPSHOT ]]; then
          mvn versions:set -DnewVersion=${VERSION}
        else
          mvn versions:set -DnewVersion=${VERSION}-SNAPSHOT
        fi
      fi
    # Запускаем задачу на сборку и деплой артефактов
    - mvn clean deploy -DskipTests=true

К содержанию

Java project

В java проектах которые предполагается загружать в публичные репозитории необходимо добавить 2 шага на загрузку Release и Snapshot версий.

.gitlab-ci.yml

stages:
  - build
  - test
  - verify
  - deploy

<...>

Release:
  extends: .trigger_deploy
  # Запускать задачу только пo тегу.
  only:
    - tags

Snapshot:
  extends: .trigger_deploy
  # Запускаем задачу на публикацию SNAPSHOT версии вручную
  when: manual
  # Не запускать задачу, если проставлен тег.
  except:
    - tags

.trigger_deploy:
  stage: deploy
  variables:
    # Отключаем клонирование текущего проекта
    GIT_STRATEGY: none
    # Ссылка на триггер deploy-задачи
    URL: "https://gitlab.com/api/v4/projects/<deploy project ID>/trigger/pipeline"
    # Переменные deploy-задачи
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
    # Не использую cURL, так как с флагами --fail --show-error
    # он не выводит тело ответа, если HTTP код 400 и более 
    - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

В данном решении я пошел немного дальше и решил использовать один CI шаблон для java проектов.

Более подробно

Я создал отдельный проект gitlab-ci в котором разместил шаблон CI для java проектов common.yml.

common.yml

stages:
  - build
  - test
  - verify
  - deploy

variables:
  SONAR_ARGS: "
  -Dsonar.gitlab.commit_sha=${CI_COMMIT_SHA} 
  -Dsonar.gitlab.ref_name=${CI_COMMIT_REF_NAME} 
  "

.build_java_project:
  stage: build
  tags:
    - touchbit-shell
  variables:
    SKIP_TEST: "false"
  script:
    - mvn clean
    - mvn package -DskipTests=${SKIP_TEST}
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.build_sphinx_doc:
  stage: build
  tags:
    - touchbit-shell
  variables:
    DOCKERFILE: .indirect/docs/Dockerfile
  script:
    - docker build --no-cache -t ${CI_PROJECT_NAME}/doc -f ${DOCKERFILE} .

.junit_module_test_run:
  stage: test
  tags:
    - touchbit-shell
  variables:
    MODULE: ""
  script:
    - cd ${MODULE}
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
      - "*/target/reports"

.junit_test_run:
  stage: test
  tags:
    - touchbit-shell
  script:
    - mvn test
  artifacts:
    when: always
    expire_in: 30 day
    paths:
    - "*/target/reports"

.sonar_review:
  stage: verify
  tags:
    - touchbit-shell
  dependencies: []
  script:
    - >
      if [ "$CI_BUILD_REF_NAME" == "master" ]; then
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS
      else
        mvn compile sonar:sonar -Dsonar.login=$SONAR_LOGIN $SONAR_ARGS -Dsonar.analysis.mode=preview
      fi

.trigger_deploy:
  stage: deploy
  tags:
    - touchbit-shell
  variables:
    URL: "https://gitlab.com/api/v4/projects/10345765/trigger/pipeline"
    POST_DATA: "
      token=${DEPLOY_TOKEN}&
      ref=master&
      variables[DEPLOY]=${DEPLOY}&
      variables[DEPLOY_CI_REPOSITORY_URL]=${CI_REPOSITORY_URL}&
      variables[DEPLOY_CI_PROJECT_NAME]=${CI_PROJECT_NAME}&
      variables[DEPLOY_CI_COMMIT_SHA]=${CI_COMMIT_SHA}&
      variables[DEPLOY_CI_COMMIT_TAG]=${CI_COMMIT_TAG}
      "
  script:
  - wget --content-on-error -qO- ${URL} --post-data ${POST_DATA}

.trigger_release_deploy:
  extends: .trigger_deploy
  only:
    - tags

.trigger_snapshot_deploy:
  extends: .trigger_deploy
  when: manual
  except:
    - tags

В результате в самих java проектах .gitlab-ci.yml выглядит весьма компактно и не многословно

.gitlab-ci.yml

include: https://gitlab.com/TouchBIT/gitlab-ci/raw/master/common.yml

Shields4J:
  extends: .build_java_project

Sphinx doc:
  extends: .build_sphinx_doc
  variables:
    DOCKERFILE: .docs/Dockerfile

Sonar review:
  extends: .sonar_review
  dependencies:
    - Shields4J

Release:
  extends: .trigger_release_deploy

Snapshot:
  extends: .trigger_snapshot_deploy

К содержанию

Конфигурация pom.xml

Очень детально данная тема описана Googolplex в Настройка мавена для автоматической подписи и загрузки артефактов в snapshot- и staging-репозитории, поэтому я опишу некоторые нюансы использования плагинов. Так же я опишу как легко и непринужденно можно использовать nexus-staging-maven-plugin, если вы не хотите или не можете использовать org.sonatype.oss:oss-parent в качестве родителя для своего проекта.

maven-install-plugin

Устанавливает модули в локальный репозиторий.
Весьма полезен для локальной проверки решений в других проектах, а так же контрольной суммой. 

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-install-plugin</artifactId>
  <executions>
    <execution>
      <id>install-project</id>
      <!-- Если у вас многомодульный проект с деплоем родительского помика -->
      <phase>install</phase>
      <!-- Явно указываем файлы для локальной установки -->
      <configuration>
        <file>target/${project.artifactId}-${project.version}.jar</file>
```target/${project.artifactId}-${project.version}-sources.jar</sources>
        <pomFile>dependency-reduced-pom.xml</pomFile>
        <!-- Принудительное обновление метаданных проекта -->
        <updateReleaseInfo>true</updateReleaseInfo>
        <!-- Контрольные суммы для проверки целостности -->
        <createChecksum>true</createChecksum>
      </configuration>
    </execution>
  </executions>
</plugin>

К содержанию

maven-javadoc-plugin

Генерация javadoc для проекта.

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-javadoc-plugin</artifactId>
  <executions>
    <execution>
      <goals>
        <goal>jar</goal>
      </goals>
      <!-- Генерация javadoc должна быть после фазы генерации ресурсов -->
      <phase>prepare-package</phase>
      <configuration>
        <!-- Очень помогает в публичных проектах -->
        <failOnError>true</failOnError>
        <failOnWarnings>true</failOnWarnings>
        <!-- Убирает ошибку поиска документации в target директории -->
        <detectOfflineLinks>false</detectOfflineLinks>
      </configuration>
    </execution>
  </executions>
</plugin>

Если у вас есть модуль, который не содержит java (например только ресурсы)
Или вы не хотите в принципе генерировать javadoc, то в помощь maven-jar-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-jar-plugin</artifactId>
  <executions>
    <execution>
      <id>empty-javadoc-jar</id>
      <phase>generate-resources</phase>
      <goals>
        <goal>jar</goal>
      </goals>
      <configuration>
        <classifier>javadoc</classifier>
        <classesDirectory>${basedir}/javadoc</classesDirectory>
      </configuration>
    </execution>
  </executions>
</plugin>

К содержанию

maven-gpg-plugin

<plugin>
  <groupId>org.apache.maven.plugins</groupId>
  <artifactId>maven-gpg-plugin</artifactId>
  <executions>
    <execution>
      <id>sign-artifacts</id>
      <!-- Сборка будет падать, если отсутствует GPG ключ -->
      <!-- Подписываем артефакты только на фазе deploy -->
      <phase>deploy</phase>
      <goals>
        <goal>sign</goal>
      </goals>
    </execution>
  </executions>
</plugin>

К содержанию

nexus-staging-maven-plugin

Конфигурация:

<project>
  <!-- ... -->
  <build>
    <plugins>
      <!-- ... -->
      <plugin>
        <groupId>org.sonatype.plugins</groupId>
        <artifactId>nexus-staging-maven-plugin</artifactId>
      </plugin>
    </plugins>
    <pluginManagement>
      <plugins>
        <plugin>
          <groupId>org.sonatype.plugins</groupId>
          <artifactId>nexus-staging-maven-plugin</artifactId>
          <extensions>true</extensions>
          <configuration>
            <serverId>sonatype</serverId>
            <nexusUrl>https://oss.sonatype.org/</nexusUrl>
            <!-- Обновляем метаданные, чтобы пометить артефакт как release -->
            <!-- Не влияет на snapshot версии -->
            <updateReleaseInfo>true</updateReleaseInfo>
          </configuration>
        </plugin>
        <plugin>
          <groupId>org.apache.maven.plugins</groupId>
          <artifactId>maven-deploy-plugin</artifactId>
          <configuration>
            <!-- Отключаем плагин -->
            <skip>true</skip>
          </configuration>
        </plugin>
      </plugins>
    </pluginManagement>
  </build>
  <distributionManagement>
    <snapshotRepository>
      <id>sonatype</id>
      <name>Nexus Snapshot Repository</name>
      <url>https://oss.sonatype.org/content/repositories/snapshots/</url>
    </snapshotRepository>
    <repository>
      <id>sonatype</id>
      <name>Nexus Release Repository</name>
      <url>https://oss.sonatype.org/service/local/staging/deploy/maven2/</url>
    </repository>
  </distributionManagement>
</project>

Если у вас многомодульный проект, и вам нет необходимости загружать определенный модуль в репозиторий, то в pom.xml данного модуля необходимо добавить nexus-staging-maven-plugin с флагом skipNexusStagingDeployMojo

<build>
  <plugins>
    <plugin>
      <groupId>org.sonatype.plugins</groupId>
      <artifactId>nexus-staging-maven-plugin</artifactId>
      <configuration>
        <skipNexusStagingDeployMojo>true</skipNexusStagingDeployMojo>
      </configuration>
    </plugin>
  </plugins>
</build>

После загрузки snapshot/release версии доступны в staging репозитории

<repositories>
  <repository>
    <id>SonatypeNexus</id>
    <url>https://oss.sonatype.org/content/groups/staging/</url>
    <!-- Не надо указывать флаги snapshot/release для репозитория -->
  </repository>
</repositories>

Еще плюсы

  • Очень богатый список целей для работы с nexus репозиторием (mvn help:describe -Dplugin=org.sonatype.plugins:nexus-staging-maven-plugin).
  • Автоматическая проверка релиза на возможность загрузки в maven central

К содержанию

Результат

Публикация SNAPSHOT версии

При сборке проекта присутствует возможность ручного запуска задачи на загрузку SNAPSHOT версии в nexus

Настройка GitLab CI для загрузки java проекта в maven central - 6

При запуске данной задачи триггерится соответствующая задача в проекте deploy (пример).

Подрезанный лог

Running with gitlab-runner 11.10.0 (3001a600)
  on Deploy runner JSKWyxUw
Using Shell executor...
Running on ih1174328.vds.myihor.ru...
Skipping Git repository setup
Skipping Git checkout
Skipping Git submodules setup
$ rm -rf .* *
$ git config --global credential.helper store
$ echo "https://gitlab-ci-token:${CI_JOB_TOKEN}@gitlab.com" >> ~/.git-credentials
$ git clone ${DEPLOY_CI_REPOSITORY_URL} .
Cloning into 'shields4j'...
$ git checkout ${DEPLOY_CI_COMMIT_SHA}
Note: checking out '850f86aa317194395c5387790da1350e437125a7'.
You are in 'detached HEAD' state. You can look around, make experimental
changes and commit them, and you can discard any commits you make in this
state without impacting any branches by performing another checkout.
If you want to create a new branch to retain commits you create, you may
do so (now or later) by using -b with the checkout command again. Example:
  git checkout -b new_branch_name
HEAD is now at 850f86a... skip deploy test-core
$ for pom in $(find . -name pom.xml); do # collapsed multi-line command
$ if [[ "${DEPLOY_CI_COMMIT_TAG}" != "" ]]; then # collapsed multi-line command
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0                                           [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
[INFO] 
[INFO] --- versions-maven-plugin:2.5:set (default-cli) @ shields4j-parent ---
[INFO] Searching for local aggregator root...
[INFO] Local aggregation root: /home/gitlab-deployer/JSKWyxUw/0/TouchBIT/deploy/shields4j
[INFO] Processing change of org.touchbit.shields4j:shields4j-parent:1.0.0 -> 1.0.0-SNAPSHOT
[INFO] Processing org.touchbit.shields4j:shields4j-parent
[INFO]     Updating project org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:client
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:test-core
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] Processing org.touchbit.shields4j:testng
[INFO]     Updating parent org.touchbit.shields4j:shields4j-parent
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:client
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO]     Updating dependency org.touchbit.shields4j:test-core
[INFO]         from version 1.0.0 to 1.0.0-SNAPSHOT
[INFO] 
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  0.992 s]
[INFO] test-core .......................................... SKIPPED
[INFO] Shields4J client ................................... SKIPPED
[INFO] TestNG listener 1.0.0 .............................. SKIPPED
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 2.483 s
[INFO] Finished at: 2019-04-21T02:40:42+03:00
[INFO] ------------------------------------------------------------------------
$ mvn clean deploy -DskipTests=${SKIP_TESTS}
[INFO] Scanning for projects...
[INFO] Inspecting build with total of 4 modules...
[INFO] Installing Nexus Staging features:
[INFO]   ... total of 4 executions of maven-deploy-plugin replaced with nexus-staging-maven-plugin
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Build Order:
[INFO] 
[INFO] Shields4J                                                          [pom]
[INFO] test-core                                                          [jar]
[INFO] Shields4J client                                                   [jar]
[INFO] TestNG listener                                                    [jar]
[INFO] 
[INFO] --------------< org.touchbit.shields4j:shields4j-parent >---------------
[INFO] Building Shields4J 1.0.0-SNAPSHOT                                  [1/4]
[INFO] --------------------------------[ pom ]---------------------------------
...
DELETED
...
[INFO]  * Bulk deploy of locally gathered snapshot artifacts finished.
[INFO] Remote deploy finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0-SNAPSHOT ........................... SUCCESS [  2.375 s]
[INFO] test-core .......................................... SUCCESS [  3.929 s]
[INFO] Shields4J client ................................... SUCCESS [  3.815 s]
[INFO] TestNG listener 1.0.0-SNAPSHOT ..................... SUCCESS [ 36.134 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 47.629 s
[INFO] Finished at: 2019-04-21T02:41:32+03:00
[INFO] ------------------------------------------------------------------------

В результате в nexus загружена версия 1.0.0-SNAPSHOT.

Все snapshot версси можно удалить из репозитория на сайте oss.sonatype.org под своей учетной записью.

Настройка GitLab CI для загрузки java проекта в maven central - 7

К содержанию

Публикация release версии

При установке тега, автоматически триггерится соответствующая задача в проекте deploy на загрузку релизной версии в nexus (пример).

Настройка GitLab CI для загрузки java проекта в maven central - 8

Самое приятное, что автоматически срабатывает close release в nexus.

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1037".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1037
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1037".
Waiting for operation to complete...
.........
[INFO] Remote staged 1 repositories, finished with success.
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  9.603 s]
[INFO] test-core .......................................... SUCCESS [  3.419 s]
[INFO] Shields4J client ................................... SUCCESS [  9.793 s]
[INFO] TestNG listener 1.0.0 .............................. SUCCESS [01:23 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 01:47 min
[INFO] Finished at: 2019-04-21T04:05:46+03:00
[INFO] ------------------------------------------------------------------------

И если что-то пошло не так, то задача обязательно завалится

[INFO] Performing remote staging...
[INFO] 
[INFO]  * Remote staging into staging profile ID "9043b43f77dcc9"
[INFO]  * Created staging repository with ID "orgtouchbit-1038".
[INFO]  * Staging repository at https://oss.sonatype.org:443/service/local/staging/deployByRepositoryId/orgtouchbit-1038
[INFO]  * Uploading locally staged artifacts to profile org.touchbit
[INFO]  * Upload of locally staged artifacts finished.
[INFO]  * Closing staging repository with ID "orgtouchbit-1038".
Waiting for operation to complete...
.......
[ERROR] Rule failure while trying to close staging repository with ID "orgtouchbit-1039".
[ERROR] 
[ERROR] Nexus Staging Rules Failure Report
[ERROR] ==================================
[ERROR] 
[ERROR] Repository "orgtouchbit-1039" failures
[ERROR]   Rule "signature-staging" failures
[ERROR]     * No public key: Key with id: (1f42b618d1cbe1b5) was not able to be located on &lt;a href=http://keys.gnupg.net:11371/&gt;http://keys.gnupg.net:11371/&lt;/a&gt;. Upload your public key and try the operation again.
...
[ERROR] Cleaning up local stage directory after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Deleting context 9043b43f77dcc9.properties
[ERROR] Cleaning up remote stage repositories after a Rule failure during close of staging repositories: [orgtouchbit-1039]
[ERROR]  * Dropping failed staging repository with ID "orgtouchbit-1039" (Rule failure during close of staging repositories: [orgtouchbit-1039]).
[ERROR] Remote staging finished with a failure: Staging rules failure!
[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Shields4J 1.0.0 .................................... SUCCESS [  4.073 s]
[INFO] test-core .......................................... SUCCESS [  2.788 s]
[INFO] Shields4J client ................................... SUCCESS [  3.962 s]
[INFO] TestNG listener 1.0.0 .............................. FAILURE [01:07 min]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------

В резултате нам остается единственный выбор. Или удалить данную версию или опубликовать.

Настройка GitLab CI для загрузки java проекта в maven central - 9

После релиза, через некоторое время артефакты окажутся в Maven Central

офтоп

Для меня было открытием, что maven индексирует другие публичные репозитории.
Пришлось подкинуть robots.txt, так как он проиндексировал мой старый репозиторий.

К содержанию

Заключение

Что мы имеем

  • Отдельный deploy-проект в котором можно реализовать несколько CI задач на загрузку артефактов в публичные репозитории для различных языков разработки.
  • Deploy-проект изолирован от постороннего вмешательства и может быть изменен только пользователями с ролью Owner и Maintainer.
  • Отдельный Specific Runner с "горячим" кэшем для запуска только deploy задач.
  • Публикация snapshot/release версий в публичном репозитории.
  • Автоматическая проверка release версии на готовность к публикации в maven central.
  • Защита от автоматической публикации "сырых" версий в maven central.
  • Сборка и публикация snapshot версий "по клику".
  • Единый репозиторий для получения snapshot/release версий.
  • Общий пайплайн на сборку/тестирование/публикацию java проекта.

Настройка GitLab CI не такая сложная тема как кажется на первый взгляд. Достаточно пару раз настроить CI "под ключ" и вот, ты уже далеко не дилетант в этом деле. Тем более GitLab документация весьма избыточна. Не бойтесь делать первый шаг. Дорога возникает под шагами идущего (не помню кто сказал :) ).

Буду рад фидбэку.

В следующей статье расскажу о том, как настроить GitLab CI для конкурентного запуска задач с интеграционными тестами (с запуском тестируемых сервисов при помощи docker-compose), если у вас есть только один shell раннер.

К содержанию

Автор: OlegusTesterovichus

Источник

* - обязательные к заполнению поля

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js