Как использовать подключаемый модуль gRPC Python с Docker и Google Cloud Builds?

Я получил эту работу несколько месяцев назад. Не знаю, правильно ли я сделал. Судите сами: p

TL, DR; Если вы просто хотите использовать protoc с Google Cloud Build, я отправил конструктор protoc в репозиторий GitHub сообщества облачных разработчиков, который был принят. См. Сообщество разработчиков облаков / протокол.

Деталь; Мое решение основано на создании protocПользовательский шаг сборки. Это создает образ контейнера Docker, который рабочий Cloud Build извлекает и запускает, когда ему нужно запустить protoc.

Вам нужно всего два файла для создания Пользовательский шаг сборки, protoc:

1. cloudbuild.yaml - сообщает Google Cloud Builder, как создать образ Docker.
2. Dockerfile - сообщает Docker, как создать среду, содержащую двоичный файл protoc.

Это была буквально моя локальная структура каталогов для достижения шага 1:

.
├── cloudbuild.yaml
└── Dockerfile

В файле Docker установлена ​​команда protoc, и он является более сложным из двух файлов:

FROM ubuntu

ARG PROTOC_VERSION=3.6.1
ARG PROTOC_TARGET=linux-x86_64
ARG ASSET_NAME=protoc-${PROTOC_VERSION}-${PROTOC_TARGET}.zip

RUN apt-get -qy update && apt-get -qy install python wget unzip && rm -rf /var/lib/apt/lists/*

RUN echo "${PROTOC_VERSION}/${ASSET_NAME}"

RUN wget https://github.com/google/protobuf/releases/download/v${PROTOC_VERSION}/protoc-${PROTOC_VERSION}-${PROTOC_TARGET}.zip && \
unzip ${ASSET_NAME} -d protoc && rm ${ASSET_NAME}

ENV PATH=$PATH:/protoc/bin/
ENTRYPOINT ["protoc"]
CMD ["--help]

Разбивая это:

1. Определите первый слой только для чтения финального «протокольного» изображения, которым мы хотим закончить. Я выбрал Ubuntu, потому что это то, что я запускаю локально. Подойдет любой минимальный «базовый образ» Linux, но в нем должны быть установлены следующие двоичные файлы: apt-get, wget, unzip и rm:

FROM ubuntu

2. Настройте некоторые переменные, которые пользователи могут передавать во время сборки сборщику с помощью команды docker build, используя флаг --build-arg <varname>=<value>:

ARG PROTOC_VERSION=3.6.1

ARG PROTOC_TARGET=linux-x86_64

ARG ASSET_NAME=protoc-${PROTOC_VERSION}-${PROTOC_TARGET}.zip

3. Запустите apt-get -qy update, чтобы «повторно синхронизировать индексные файлы пакетов из их источников». q опускает индикаторы прогресса, y предполагает «да» в качестве ответа на любые возникающие подсказки:

RUN apt-get -qy update

4. Установите Python, Wget (получает контент с веб-сервера) и Разархивировать.

RUN apt-get -qy install python wget unzip

5. Удалите все файлы, созданные на предыдущих шагах (и которые больше не нужны):

RUN rm -rf /var/lib/apt/lists/*

Предыдущие три инструкции ЗАПУСТИТЬ можно объединить в одну:

RUN apt-get -qy update && apt-get -qy install python wget unzip && rm -rf /var/lib/apt/lists/*

6. Используйте инструкцию ENV, чтобы обновить среду PATH, чтобы включить расположение двоичного файла protoc в окончательной среде (образ).

ENV PATH=$PATH:/protoc/bin/

Установите ТОЧКА ВХОДА образа так, чтобы образ работал как исполняемый файл protoc. Нет, поскольку на предыдущем шаге protoc был добавлен к $PATH, нам нужно только указать исполняемый двоичный файл (а не полный путь):

ENTRYPOINT ["protoc"]

7. Используйте инструкцию CMD, чтобы, если при запуске образа protoc не указаны параметры, запускался protoc --help:

CMD ["--help]

Это все, что нам нужно для определения исполняемого образа protoc Docker. Однако это еще не Пользовательский шаг сборки, который можно использовать в среде Сборка Google Cloud. Мы должны определить шаг пользовательской сборки с помощью cloudbuild.yaml:

steps:
  - name: 'gcr.io/cloud-builders/docker'
    args:
      [
        'build',
        '--tag',
        'gcr.io/$PROJECT_ID/protoc',
        '--cache-from',
        'gcr.io/$PROJECT_ID/protoc',
        '.',
      ]
images: ['gcr.io/$PROJECT_ID/protoc']

Этот файл сгенерирует артефакт gcr.io/my-cloud-project-id/protoc, который можно использовать для запуска protoc в Google Cloud Build. Пример использования этого шага настраиваемой сборки:

steps:
  - name: 'gcr.io/$PROJECT_ID/protoc'
    args:
      [
        '--include_imports',
        '--include_source_info',
        '--proto_path',
        '.',
        '--descriptor_set_out',
        'api_descriptor.pb',
        'v1/my-api-proto.proto',
      ]

Cloud Build автоматически заменяет $ PROJECT_ID идентификатором вашего проекта, поэтому имя будет ссылаться на артефакт: gcr.io/my-cloud-project-id/protoc. Поскольку это исполняемый образ Docker (определенный с помощью ENTRYPOINT ["protoc"]), он эквивалентен локальному запуску:

protoc --include_imports --include_source_info --proto_path . --descriptor_set_out api_descriptor.pb v1/my-api-proto.proto

Итак, отвечая на мой вопрос, и 1), и 3) могут использовать шаг пользовательской сборки protoc для запуска в Google Cloud Build.