Formation Apptainer

CCIN2P3 Centre de Calcul de l'Institut National de Physique Nucléaire et de Physique des Particules

Apptainer

Guillaume Cochard - CC-IN2P3

ANF USH4HPC - 20 juin 2023

Plan

Contenerisation et Apptainer
- Rappels sur la contenerisation
- Présentation d'Apptainer
Apptainer côté utilisateur
- Télécharger et utiliser un conteneur
- Utilisateurs et droits
- Montages
- Construire un conteneur
Apptainer côté administrateur
- Installation et configuration
- Sécurité

Généralités

Bases de la conteneurisation

Sans virtualisation

Pas d'overhead
Aucune isolation
Aucune personnalisation
Difficile d'optimiser le temps de travail (installation, configuration, mises à jour)
Nécessite plus de machines

Bases de la conteneurisation

Virtualisation classique

Isolation
Personnalisation complète
Efficace (temps et coûts)
Portabilité
Gros overhead
Redondance
Lourd

Bases de la conteneurisation

Cconteneurisation

Isolation
Personnalisation
Efficace (temps et coûts)
Faible overhead
Portabilité
Limité par le type d'OS et l'architecture matérielle

Bases de la conteneurisation

Virtualisation

Singularity

Présentation de l'outil

Docker vs. Singularity

Docker

Orienté micro-services

Démon root
Couche d'abstraction
Images Docker

Singularity

Orienté calcul scientifique

Pas de démon
Calcul sur GPU
Images Docker & Singularity

Singularity

Singularity, Kezako ?

Initialement développé en Python par Gregory Kurtzer au Lawrence Berkeley National Laboratory
Entièrement réécrit en Go fin 2018 par Sylabs qui le maintient aujourd'hui
Sylabs propose également différents services:
- Builder online d'images
- Banque d'images
- Keystore
Dernière release: 3.1.1 (03/04/19)
Documentation

Singularity

Singularity versions 2 et 3

Changement de version majeur entre Singularity 2.X et 3.X
Parmi les différences et ajouts:
- Réécriture en Go
- Changement de format d'image : passage de .simg à .sif
- Changement de help en run-help
- Ajout du mode instance
- Signature des images

Singularity

Utilisation de Singularity

Singularity

Cycle de vie

Singularity

Télécharger un conteneur

Singularity: Télécharger un conteneur

Pour bien commencer !

Veuillez vérifier les éléments suivants:


# Vérifiez votre connexion SSH
# Utilisez vos identifiants destinées à vous connecter sur la ferme
$ ssh -l user cca.in2p3.fr

# Activer l'environment Singularity 3.0.3
$ ccenv singularity 3.0.3

Singularity: Télécharger un conteneur

Pull

Depuis Singularity Hub


$ singularity pull shub://vsoch/hello-world

Depuis Docker Hub


$ singularity pull docker://hello-world

Singularity: Télécharger un conteneur

Build

Depuis Singularity Hub


  $ singularity build hello-world.sif shub://vsoch/hello-world

Depuis Docker Hub


  $ singularity build hello-world.sif docker://hello-world

Singularity

Utiliser un conteneur

Singularity: Utiliser un conteneur

Shell (interactif)


$ singularity shell hello-world.sif
Singularity: Invoking an interactive shell within container...

Singularity hello-world.sif:~/prez> cat /etc/issue
Ubuntu 14.04.5 LTS \n \l

Pour quitter:
CTRL-d ou exit

Singularity: Utiliser un conteneur

Exec


$ cat /etc/issue
Ubuntu 18.04.1 LTS

$ singularity exec hello-world.sif cat /etc/issue
Ubuntu 14.04.5 LTS

$ singularity exec hello-world.sif ls /
anaconda-post.log  etc   lib64       mnt   root  singularity  tmp
bin        home  lost+found  opt   run   srv          usr
dev        lib   media       proc  sbin  sys          var

Singularity: Utiliser un conteneur

Run


$ singularity run hello-world.sif
RaawwWWWWWRRRR !!

Nous verrons plus tard comment définir le runscript.

Singularity: Utiliser un conteneur

Help


# Singularity 2.X
$ singularity help hello-world.simg
No runscript help is defined for this image.

# Singularity 3.X
$ singularity run-help hello-world.sif

Nous verrons plus tard comment définir l'aide.

Singularity: Utiliser un conteneur

Inspect


$ singularity inspect hello-world.sif
{
    "org.label-schema.usage.singularity.deffile.bootstrap": "docker",
    "MAINTAINER": "vanessasaur",
    "org.label-schema.usage.singularity.deffile": "Singularity",
    "org.label-schema.schema-version": "1.0",
    "WHATAMI": "dinosaur",
    "org.label-schema.usage.singularity.deffile.from": "ubuntu:14.04",
    "org.label-schema.build-date": "2017-10-15T12:52:56+00:00",
    "org.label-schema.usage.singularity.version": "2.4-feature-
squashbuild-secbuild.g780c84d",
    "org.label-schema.build-size": "333MB"
}

Singularity

Utilisateurs et droits

Singularity: Utilisateurs et droits


  user1@hst:~/prez$ singularity shell hello-world.sif
  Singularity hello-world.sif:~/prez> whoami
  user1
  Singularity hello-world.sif:~/prez> id
  uid=1000(user1) gid=1000(user1) groups=1000(user1),4(adm),[…]

→ Le conteneur s'execute en conservant le même utilisateur.

Singularity: Utilisateurs et droits


user1@hst:~/prez$ su test

test@hst:/home/user1/prez$ singularity shell hello-world.sif
Singularity hello-world.sif:~> whoami
test
Singularity hello-world.sif:~> id
uid=1001(test) gid=1001(test) groups=1001(test),4(adm),[...]

→ Pas besoin de compte root pour executer le conteneur.

Singularity

Montages

Singularity: Montages

Montages par défaut

/home/${USER}
/tmp
/proc, /sys, /dev


user1@hst:~/prez$ singularity shell hello-world.sif
Singularity hello-world.sif:~/prez> pwd
/home/user1/prez

test@hst:/home/guillaume/prez$ singularity shell hello-world.sif
Singularity hello-world.sif:~> pwd
/home/test
Singularity hello-world.sif:~> ls /home/user1
ls: cannot access /home/user1: No such file or directory

Singularity: Montages

Montages et exécution

Remarque:
L'image est par défaut en read-only.
Seuls les montages seront en read-write.

Singularity: Montages

Monter d'autres répertoires

Utilisation de --bind ou -B
→ -B src:dst


$ ls ~/tests
test.py

$ singularity shell -B ~/tests:/mnt hello-world.sif
Singularity hello-world.sif:~/prez> ls /mnt
test.py

Singularity: Montages

Monter d'autres répertoires

Possibilité d'omettre dst si src == dst:


$ cat /mnt/test.txt
Ceci est un test

$ singularity shell -B /mnt hello-world.sif
Singularity hello-world.sif:~/prez> cat /mnt/test.txt
Ceci est un test

Possibilité de monter plusieurs points:


$ singularity shell -B /mnt,~/tests:/mnt1 hello-world.sif

Singularity: Montages

Monter d'autres répertoires

Possibilité d'indiquer si montage lecture seule ou non

-B src:dst[:ro|:rw]
Défaut: rw


$ singularity shell -B ~/tests:/mnt:ro hello-world.sif

$ singularity shell -B ~/tests:/mnt:rw hello-world.sif

Singularity: Montages

Monter d'autres répertoires

Overlay: montage sur un répertoire non-existant
→ Activé par défaut


$ singularity shell -B /mnt:/mnt1 hello-world.sif

Singularity: Montages

Exercice

Utilisation de Singularity 3.1.1 (sans aucun montage par défaut, sans overlay)
Point de montage : /mnt


ccenv singularity 3.1.1
cd ~
echo "It's alive!" > test.txt
$ singularity exec -B [...] hello-world.sif cat [...]/test.txt
It's alive!

Singularity

Construire un conteneur

Singularity: Construire un conteneur

Recipes

Permet de construire un conteneur personnalisé
Construit from scratch ou depuis un conteneur (Docker/Singularity Hub)
Supporte de nombreuses distributions
Deux principales sections:
- Header (obligatoire): décrit l'OS
- Sections (optionnelles): décrit la configuration de l'OS

How to @ CC-IN2P3

Intégration continue avec Gitlab

Utiliser l'intégration continue pour construire son image ?

Eviter un temps de build long en local
Eviter d'avoir à récupérer les dépendances en local
Profiter du système d'archivage
Ajouter des tests unitaires

How to @ CC-IN2P3

Intégration continue avec Gitlab

Connectez-vous sur gitlab.in2p3.fr
Créez un nouveau projet dans votre espace personnel
Ajoutez les fichiers relatifs à votre projet
Créez un fichier .gitlab-ci.yml
Ajouter le contenu de la template ci-après dans le fichier gitlab-ci.yml
Le système de CI va automatiquement cloner votre projet et lancer le build

How to @ CC-IN2P3

Intégration continue avec Gitlab


singularity:
  image: "gitlab-registry.in2p3.fr/cc-in2p3-containers/singularity-docker/3.1.1:latest"
  script:
    - singularity build myimg.sif Singularity.def
  artifacts:
    name: myimg.sif
    paths:
      - ./myimg.sif

Versions de singularity disponibles: 2.5.1, 2.5.2, 2.6.0, 2.6.1, 3.0.0, 3.0.1, 3.0.2, 3.0.3, 3.1.0, 3.1.1

Singularity

Construire un conteneur

Partie 1: le Header

Singularity: Construire un conteneur - Header

Décrit l'OS:
- Source (hub, scratch)
- Version
- Paquet(s) à inclure
Supporte les sources suivantes:
- shub (images hosted on Singularity Hub)
- docker (images hosted on Docker Hub)
- localimage (images saved on your machine)
- yum (yum based systems like CentOS or Scientific Linux)
- debootstrap (apt based systems like Debian or Ubuntu)
- arch (Arch Linux)
- busybox
- zypper (zypper based systems like Suse or OpenSuse)

Singularity: Construire un conteneur - Header

Build depuis Docker Hub


Bootstrap: docker
From: ubuntu


$ sudo singularity build ubuntu.sif ubunturecipe
Using container recipe deffile: ubunturecipe
Sanitizing environment
Adding base Singularity environment to container
Docker image path: index.docker.io/library/ubuntu:latest
[...]
Building Singularity image...
Singularity container built: ubuntu.sif
Cleaning up…

Singularity: Télécharger un conteneur

Build

Attention lorsque vous buildez plusieurs fois une image en faisant des modifications successives, pensez à supprimer la précédente car Singularity ne gère pas correctement la réécriture des données !

Singularity: Construire un conteneur - Header

Debootstrap

Nécessite l'installation du paquet debootstrap
Format:


Bootstrap: debootstrap
OSVersion: bionic
MirrorURL: http://us.archive.ubuntu.com/ubuntu/
Include: somepackage

OSVersion
- Ubuntu: bionic, xenial, etc.
- Debian: stable, oldstable, etc. ou jessie, stretch, etc.

Singularity