ccomb

Qu'est-ce que zc.buildout?

• Outil de construction dirigée par de la configuration, basé sur python et de haut-niveau

• Outil pour travailler avec des eggs

• Répétable

  Il devrait être possible d'intégrer une spécification dans un dépôt et de refabriquer le même logiciel plus tard en extrayant la spécification et en lançant la reconstruction.

• À destination des développeurs

construction de haut-niveau

• make et scons (et distutils) sont de plus bas niveau :

  • Orienté vers les fichiers individuels

  • Pratique lorsqu'un fichier est calculé à partir d'un autre

    .c → .o → .so

  • dirigée par des règles

  • dirigée par des modifications et des dépendances

• zc.buildout est de plus haut niveau

  • Fabrication des grands composants d'un système
    • applications
    • fichiers de configuration
    • bases de données
  • dirigée par une configuration

Basé sur Python

• make est un langage de script horrible

  • utilise le shell
  • non portable

• Python est un excellent langage de script

  Heureusement, distutils résout la plupart de mes besoins en construction. Si j'avais besoin d'écrire ma propre définition de construction à bas-niveau, j'utiliserais scons.

Travailler avec des eggs

• Les Eggs déchirent des mamans ours !
• easy_install
  • Facile !
  • Installation dans le python global du système
  • Peu de possibilités de contrôle
• workingenv améliore nettement les possibilités d'easy_install
  • Évite d'installer dans le python global du système
  • Évite les conflits avec les paquets installés dans le répertoire site_packages
  • Vraiment bien pour de l'expérimentation
  • Facile !
  • Peu de possibilités de contrôle

zc.buildout et les eggs

• Contrôle

  • Dirigé par une configuration

    • Plus facile de contrôler les versions utilisées

    • Vérifie toujours par défaut la version la plus récente

      Lors d'une passage à une version supérieure, easy_install ne met pas à jour les dépendances

    • Prise en charge des options personnalisées de construction

• Accent plus fort mis sur les eggs en développement

  • Automatise les installations/désinstallations
  • Préférence envers les eggs en développement

  Je permute souvent entre des eggs en développement et des eggs normaux. Je peux être en train d'utiliser un egg normal et réaliser que j'ai besoin de le réparer. J'extrais par checkout le projet correspondant à l'egg dans mon buildout et j'indique à buildout de le traiter comme un egg en développement. Il crée le lien vers l'egg parmi les eggs en développement et utilisera ainsi cet egg en développement plutôt que l'egg normal.

  (easy_install utilise plutôt les eggs publiés ayant la même version.)

  Lorsque j'ai fini mes changements, je crée une nouvelle publication de l'egg et j'indique à buildout de ne plus utiliser l'egg en développement.

zc.buildout est basé sur setuptools and easy_install.

État actuel de zc.buildout

• Utilisé activement pour le développement et le déploiement

• Troisième génération d'outils de buildout de la Zope Corporation

  Nos buildouts initiaux utilisaient make. Ils étaient difficile à maintenir et à réutiliser.

  Il y a deux ans, nous avons créé un prototype de buildout basé sur python.

  zc.buildout n'est plus un prototype et est issu de l'expérience acquise en utilisant le prototype.

• De nombreuses recettes (« recipes ») sont disponibles

Les Eggs Python en résumé

Les Eggs sont simples !

• ce sont des répertoires à ajouter au chemin python

  • ils peuvent être compressés
  • « zéro » installation

• Meta-données

  • dépendances
  • points d'entrée

• Peuvent être distribués sous forme de sources

  easy_install et zc.buildout peuvent installer des distributions sources aussi facilement que d'installer des eggs. Je trouve que les distributions sources sont plus pratiques à distribuer pour de nombreuses raisons.

• Découverte automatique via PyPI (Python Package Index)

Jargon des Eggs

• Distribution

  « distribution » est le nom utilisé par distutils pour quelque chose qui peut être distribué. Il existe plusieurs types de distributions pouvant être créées par distutils, comme les distributions sources, les distributions binaires, les eggs, etc.

• distributions sources et binaires

  Une distribution source contient les sources d'un projet.

  Une distribution binaire contient une version compilée d'un projet, contenant les fichiers .pyc et les modules d'extension construits.

  Les Eggs sont un type de distribution binaire.

• Eggs dépendants ou non de la plateforme

  Les eggs dépendants de la plateforme contiennent des modules d'extension construits, ils sont donc liés à un système d'exploitation en particulier. En outre, ils peuvent dépendre d'options de construction qui ne sont pas reflétées dans le nom de l'egg.

• Liens d'eggs en développement

  Les liens d'eggs en développement (ou eggs en développement) sont des fichiers spéciaux qui permettent à un répertoire source d'être traité comme un egg. Un lien d'egg en développement est un fichier contenant le chemin d'un répertoire de sources.

• Exigences (Requirements)

  Les exigences sont des chaînes de caractères qui nomment les distributions. Elles consistent en le nom du projet, des spécifications optionnelles de version et d'autres spécifications optionnelles. Les extras sont des noms de fonctionnalités d'un paquet pouvant avoir des dépendances spéciales.

• Serveurs d'index et de liens

  easy_install et zc.buildout téléchargent automatiquement des distributions depuis l'internet. Lorsqu'ils cherchent des distributions, ils peuvent chercher des serveurs de liens pour trouver des liens vers des distributions.

  Ils cherchent également sur un serveur unique, typiquement (toujours) http://www.python.org/pypi. Les serveurs d'index sont nécessaires à la fourniture d'une interface web spécifique.

Points d'entrée

• Très similaires à des utilitaires

  • Des groupes nommés de points d'entrée définissent des types de point d'entrée
  • Des points d'entrée nommés à l'intérieur d'un groupe fournissent des composants nommés d'un type donné.

• Permet la génération automatique de script

  Script englobant :

  • Définit les chemins

    easy_install et zc.buildout ont une approche très différente de ceci.

    easy_install génère des scripts qui font appel à une API qui charge des eggs dynamiquement pendant le fonctionnement.

    zc.buildout détermine au moment de la construction les eggs nécessaires et génère du code dans les scripts pour ajouter explicitement ces eggs à sys.path.

    L'approche de zc,buildout est destinée à rendre déterministe l'exécution de script et moins sujette à des mises à jours accidentelles.

  • Importe les points d'entrée

  • Appelle un point d'entrée sans argument

    Buildout permet plus de contrôle sur la génération de script. Le code d'initialisation et les arguments des points d'entrée peuvent être précisés.

Survol de Buildout

• Dirigé par une configuration

  • ConfigParser légèrement étendu

    Buildout utilise le format brut de ConfigParser, étendu avec une syntaxe de substitution de variables qui permet la référence vers des variables par section et option:

    ${sectionname:optionname}
    

  • Permet à un système entier d'être défini avec un simple fichier

    Cela-dit, il est possible et courant de factoriser ceci dans des fichiers multiples.

• spécifie un ensemble de parts

  • une recette (« recipe »)
  • données de configuration

  Chaque part est définie par une recette (« recipe »), qui est un programme Python permettant d'installer ou de désinstaller la part, ainsi que des données utilisées par la recette.

• Installation et désinstallation

  Si une part est retirée d'une spécification, elle est désinstallée.

  Si la recette ou la configuration d'une part est modifiée, elle est désinstallée et réinstallée.

survol de Buildout (suite)

• Recettes (« recipes »)
  • Écrites en python
  • Distribuées comme des eggs
• Prise en charge des Eggs
  • Eggs en développement
  • Recettes de prise en charge des Eggs

Brève introduction

• Cas le plus courant
  • Travail sur un paquet
  • Vouloir faire marcher des tests
  • Vouloir générer des distributions
• buildout est le projet source
• Exemple : zope.event

Fichiers du projet zope.event

• sources dans le répertoire src

  Une convention habituelle est de placer les sources dans un répertoire séparé src. Ceci viole la règle « mieux vaut peu profond qu'imbriqué ». Des projets plus petits peuvent trouver avantageux de mettre les sources dans le répertoire racine,

• setup.py pour définir l'egg

  En supposant que le projet va effectivement produire un egg, nous avons un fichier de setup pour le projet. Comme on le verra plus tard, ceci peut être le strict minimum pour démarrer.

• README.txt

  On place par convention un fichier README.txt à la racine du projet. distutils a l'habitude de se plaindre s'il n'est pas disponible.

• bootstrap.py pour amorcer le buildout

  Le script d'amorçage facilite l'installation du buildout. Nous verrons plus loin un autre moyen de faire ceci.

• buildout.cfg donne la définition du buildout

buildout.cfg pour zope.event

[buildout]
parts = test
develop = .

[test]
recipe = zc.recipe.testrunner
eggs = zope.event

Voyons ceci ligne par ligne.

[buildout]

définit la section buildout. C'est la seule section obligatoire du fichier de configuration. Ce sont les options de cette section qui permettent aux autres sections d'être utilisées.

parts = test

Chaque buildout doit définir obligatoirement une liste de parts, mais cette liste peut être vide. La liste indique ce qui doit être construit. Si l'une des parts de la liste dépend d'autre parts, les autres parts seront elles-aussi construites.

develop = .

L'option develop est utilisée pour définir un ou plusieurs répertoires à partir desquels on va créer des eggs en développement. Dans le cas présent, on indique qu'il faut utiliser le répertoire courant. Chacun de ces répertoires doit posséder un fichier de setup.

[test]

La section test est utilisée pour définir notre part servant aux tests.

recipe = zc.recipe.testrunner

chaque définition de part doit donner une recette. La recette contient le code Python avec la logique d'installation de la part. Une spécification de recette est une 'exigence' de distribution. L'exigence peut être suivie d'une virgule ou d'un nom de recette. Les eggs de recette peuvent contenir plusieurs recettes et peuvent définir une recette par défaut.

L'egg zc.recipe.testrunner définit une recette par défaut qui crée un lanceur de tests en utilisant le framework zope.testing.testrunner.

eggs = zope.event

La recette zc.recipe.testrunnner possède une option eggs pour indiquer quels eggs doivent être testés. Le script de test généré chargera ces eggs ainsi que leurs dépendances.

Pour obtenir des détails sur la recette zc.recipe.testrunner, consultez la page http://www.python.org/pypi/zc.recipe.testrunner.

Étapes du Buildout

• Amorçage du buildout:

  python bootstrap.py
  

  Ceci installe setuptools et zc.buildout de manière locale, dans votre buildout, et évite de modifier vos paquets systèmes.

• Lancement du buildout:

  bin/buildout
  

  Ceci génère le script pour les tests, bin/test.

• Lancement des tests:

  bin/test
  

• Génération d'une distribution:

  bin/buildout setup . sdist register upload
  bin/buildout setup . bdist_egg register upload
  

  bin/buildout setup . egg_info -rbdev sdist register upload
  

  Buildout accepte plusieurs commandes. L'une d'entre elles est setup. La commande setup prend un nom de répertoire et lance le script de setup trouvé à cet endroit. Il fait en sorte d'importer setuptools avant le lancement du script. Ceci permet aux commandes définies par setuptools de fonctionner même pour les distributions qui n'utilisent pas setuptools.

  Les commandes sdist, register, upload, bdist_egg et egg_info sont des commandes définies par setuptools et distutils.

  La commande sdist crée une distribution source.

  La commande register inscrit une publication sur PyPI et la commande upload y téléverse la distribution générée. Vous devez posséder un compte sur PyPI pour effectuer ces actions, mais ces commandes vous aideront à paramétrer un compte.

  La commande bdist_egg génère un egg.

  La commande egg_info permet de contrôler les meta-données de l'egg. L'option -r de la commande egg_info permet d'inclure le numéro de révision SVN du projet dans le numéro de version de la distribution. L'option -b précise un tag de révision. Ici on a spécifié un tag de révision « dev » qui marque la publication comme une publication de développement.

Exercice 1

Nous n'aurons pas le temps d'interrompre la présentation pendant que vous faites les exercices. Si vous pouvez jouer et écouter en même temps, vous pouvez essayer de les faire pendant que je parle. Sinon je vous recommande de les faire plus tard dans la semaine. N'hésitez pas à poser des questions si vous avez des problèmes.

On essaye le buildout de zope.event

• D'abord on extrait : svn://svn.zope.org/repos/main/zope.event/trunk
• Amorçage
• Lancement du buildout
• Lancement des tests
• Regardez autour du buildout pour voir comment les choses sont arrangées.
• Jetez un oeil aux scripts du répertoire bin.

Organisation du buildout

• répertoire bin pour les scripts générés

• répertoire parts pour les données générées des parts

  Peu de parts l'utilisent.

• répertoire eggs pour la plupart des eggs installés

  • Peut être partagé entre plusieurs buildouts.

• develop-eggs directory

  • liens pour les eggs en développement
  • eggs personnalisés

• .installed.cfg enregistre ce qui a été installé

Certaines personnes trouvent l'organisation du buildout surprenant, car elle n'est pas semblable à l'organisation des répertoires d'un système unix. Cette organisation a été guidée par la règle « Mieux vaut plat qu'imbriqué ». ("Shallow is better than nested")

Si vous préférez un arrangement différent, vous pouvez en spécifier un autre avec des options de buildout. Vous pouvez régler ces options de manière globale de façon que tous vos buildouts aient la même organisation.

Cas d'utilisation courants de buildout

• Travail sur un paquet unique

  zope.event est un exemple de ce cas d'utilisation.

• Assemblage de système

• Essai sur des nouveaux paquets

  • workingenv est généralement mieux pour ça
  • buildout est préférable lorsque des options de construction personnalisées sont nécessaires

• Installation de scripts sous forme d'eggs pour usage personnel

  le répertoire ~/bin est un buildout

Création d'eggs

Trois niveaux de développement d'egg

• Eggs en développement, un point de départ minimal
• Ajout de données nécessaires à la distribution
• Distributions soignées

Un setup.py minimal ou de développement

from setuptools import setup
setup(
    name='foo',
    package_dir = {'':'src'},
    )

Si un paquet ne doit être utilisé que comme un egg en développement, on a juste besoin de donner le nom de projet et, s'il y a un répertoire séparé pour les sources, l'emplacement de ce répertoire.

Il faudrait aussi préciser les points d'entrée le cas échéant. Nous verrons ceci dans un exemple plus tard.

Consultez la doc de setuptools et de distutils pour avoir plus d'infos.

setup.py distribuable

from setuptools import setup, find_packages
name='zope.event'
setup(
    name=name,
    version='3.3.0',
    url='http://www.python.org/pypi/'+name,
    author='Zope Corporation and Contributors',
    author_email='zope3-dev@zope.org',
    package_dir = {'': 'src'},
    packages=find_packages('src'),
    namespace_packages=['zope',],
    include_package_data = True,
    install_requires=['setuptools'],
    zip_safe = False,
    )

Si on veut être capable de créer une distribution, il faut ajouter beaucoup plus d'informations.

Les options utilisées sont expliquées dans la documentation de distutils ou de setuptools. La plupart sont relativement évidentes.

On doit spécifier les paquets python utilisés. La fonction find_packages peut faire ce boulot à notre place, bien que c'est souvent assez facile de le faire soi-même. Par exemple on pourrait avoir spécifié

packages=['zope', 'zope.event'],

Le paquet zope est un paquet correspondant à un espace de nom. Cela signifie qu'il n'existe qu'en tant que conteneur pour d'autre paquets. Il ne contient aucun fichier ni module en soi. Il contient seulement un module __init__ avec:

pkg_resources.declare_namespace(__name__)

ou, peut-être

# this is a namespace package
try:
    import pkg_resources
    pkg_resources.declare_namespace(__name__)
except ImportError:
    import pkgutil
    __path__ = pkgutil.extend_path(__path__, __name__)

Les paquets d'espace de nom doivent être déclarés, comme on l'a fait ici.

Nous avons toujours intérêt à inclure les données du paquet.

Comme le module __init__ utilise setuptools, on le déclare comme dépendance, en utilisant install_requires.

On a aussi intérêt à préciser si le paquet est « zip safe ». Un paquet « zip safe » ne tente pas d'accéder au paquet comme à un répertoire. Dans le doute, mettez False. Si vous ne spécifiez rien, setuptools jouera aux devinettes.

setup.py soigné (1/3)

import os
from setuptools import setup, find_packages

def read(*rnames):
    return open(os.path.join(os.path.dirname(__file__), *rnames)).read()

long_description=(
        read('README.txt')
        + '\n' +
        'Detailed Documentation\n'
        '**********************\n'
        + '\n' +
        read('src', 'zope', 'event', 'README.txt')
        + '\n' +
        'Download\n'
        '**********************\n'
        )

open('documentation.txt', 'w').write(long_description)

Dans la version soignée, on étoffe un peu plus les meta-données.

Quand je crée une distribution que je considère prête à être utilisée par plus de monde et que je la téléverse sur PyPI, j'aime bien inclure la documentation complète dans la description longue de façon que PyPI puisse la présenter.

setup.py soigné (2/3)

name='zope.event'
setup(
    name=name,
    version='3.3.0',
    url='http://www.python.org/pypi/'+name,
    license='ZPL 2.1',
    description='Zope Event Publication',
    author='Zope Corporation and Contributors',
    author_email='zope3-dev@zope.org',
    long_description=long_description,

    packages=find_packages('src'),
    package_dir = {'': 'src'},
    namespace_packages=['zope',],
    include_package_data = True,
    install_requires=['setuptools'],
    zip_safe = False,
    )

Extras

name = 'zope.component'
setup(name=name,
      ...
      namespace_packages=['zope',],
      install_requires=['zope.deprecation', 'zope.interface',
                        'zope.deferredimport', 'zope.event',
                        'setuptools', ],
      extras_require = dict(
          service = ['zope.exceptions'],
          zcml = ['zope.configuration', 'zope.security', 'zope.proxy',
                  'zope.i18nmessageid',
                  ],
          test = ['zope.testing', 'ZODB3',
                  'zope.configuration', 'zope.security', 'zope.proxy',
                  'zope.i18nmessageid',
                  'zope.location', # should be depenency of zope.security
                  ],
          hook = ['zope.hookable'],
          persistentregistry = ['ZODB3'],
          ),
      )

Les extras fournissent un moyen d'aider à la gestion des dépendances.

Une utilisation courante des extras est de séparer les dépendances des tests des dépendances normales. Un paquet peut fournir des fonctionnalités optionnelles qui créent des dépendances supplémentaires. Par exemple, le module zcml de zope.component ajoute de nombreuses dépendances qu'on ne veut pas imposer aux gens qui ne les utilisent pas.

zc.recipe.egg

Un ensemble de recettes pour:

• installer des eggs
• générer des scripts
• compiler des eggs personnalisés
• des interpréteurs personnalisés

Consultez : http://www.python.org/pypi/zc.recipe.egg.

Installation d'eggs

[buildout]
parts = some-eggs

[some-eggs]
recipe = zc.recipe.egg:eggs
eggs = docutils
       ZODB3 <=3.8
       zope.event

L'option eggs accepte une ou plusieurs exigences de distribution. Comme les exigences peuvent contenir des espaces, on les place sur des lignes séparées. Ici, on a utilisé l'option egg pour spécifier les eggs qu'on veut.

Toutes les dépendances des eggs nommés seront également installées.

Installation de scripts

[buildout]
parts = rst2

[rst2]
recipe = zc.recipe.egg:scripts
eggs = zc.rst2

Si l'un des eggs nommés possède un point d'entrée console_script, les scripts seront générés à partir des points d'entrée.

Si une distribution n'utilise pas setuptools, elle peut ne pas déclarer ses points d'entrée. Dans ce cas, vous pouvez spécifier les points d'entrée dans les données de la recette.

Initialisation des scripts

[buildout]
develop = codeblock
parts = rst2
find-links = http://sourceforge.net/project/showfiles.php?group_id=45693

[rst2]
recipe = zc.recipe.egg
eggs = zc.rst2
       codeblock
initialization =
    sys.argv[1:1] = (
      's5 '
      '--stylesheet ${buildout:directory}/zope/docutils.css '
      '--theme-url file://${buildout:directory}/zope'
      ).split()
scripts = rst2=s5

Dans cet exemple, on a omis le nom du point d'entrée de la recette car la recette de scripts est la recette par défaut pour l'egg zc.recipe.egg.

L'option d'initialisation nous permet de spécifier du code python à inclure.

Avec l'option 'scripts' on peut contrôler quels scripts sont installés et quels sont leur nom. Dans cet exemple, on a utilisé l'option 'scripts' pour demander un script nommé s5 depuis le point d'entrée rst2.

Interpréteurs personnalisés

La recette 'script' permet de créer un script interpréteur.

[buildout]
parts = mypy

[mypy]
recipe = zc.recipe.egg:script
eggs = zope.component
interpreter = py

Ceci entraînera la création d'un script bin/py.

Les interpréteurs personnalisés peuvent être utilisés pour obtenir une invite python avec les eggs spécifiés et leurs dépendances dans le sys.path.

Vous pouvez aussi utiliser des interpréteurs personnalisés pour lancer des scripts, comme vous feriez avec l'interpréteur python habituel. Il suffit d'appeler l'interpréteur avec le chemin du script et ses arguments.

Exercice 2

• ajoutez une part au projet zope.event pour créer un interpréteur personnalisé.
• Démarrez l'interpréteur et vérifiez que vous pouvez importer zope.event.

Construction d'egg personnalisé

[buildout]
parts = spreadmodule

[spreadtoolkit]
recipe = zc.recipe.cmmi
url = http://yum.zope.com/buildout/spread-src-3.17.1.tar.gz

[spreadmodule]
recipe = zc.recipe.egg:custom
egg = SpreadModule ==1.4
find-links = http://www.python.org/other/spread/
include-dirs = ${spreadtoolkit:location}/include
library-dirs = ${spreadtoolkit:location}/lib
rpath = ${spreadtoolkit:location}/lib

Parfois une distribution a des modules d'extension qui ont besoin d'être compilés avec des options spéciales, comme l'emplacement des fichiers et des bibliothèques d'inclusion. La recette personnalisée prend ceci en charge. Les eggs résultants sont placés dans le répertoire develop-eggs car les eggs sont spécifiques au buildout.

Cet exemple illustre l'utilisation de la recette zc.recipe.cmmi qui autorise l'installation de programmes qui utilisent configure, make, make install. Ici, nous avons utilisé cette recette pour installer la boîte à outils Spread, qui est installée dans le répertoire parts

Dépendances d'une part

• Les parts peuvent lire de la configuration dans d'autres parts
• Les part lues deviennent des dépendances des parts qui lisent
  • Des dépendances sont ajoutées à la liste des parts si nécessaire
  • Les dépendaces sont installées en premier

Dans l'exemple précédent, on a utilisé l'emplacement de spreadtoolkit dans la définition de la part spreadmodule. Cette référence est suffisante pour que spreadtoolkit deviennent une dépendance de la part spreadmodule et soit installé en premier.

Personnalisation des Eggs en développement

[buildout]
parts = zodb

[zodb]
recipe = zc.recipe.egg:develop
setup = zodb
define = ZODB_64BIT_INTS

On peut également préciser des options de construction personnalisées pour les eggs en développement. Ici on a utilisé un egg en développement uniquement pour être sûr que notre construction personnalisé de la ZODB soit prioritaire devant les eggs normaux de la ZODB situés dans le dossier des eggs partagés.

Écriture de recettes

• L'API des recettes

  • install

    • __init__

      L'initialisateur est responsable du calcul des options d'une part Après son appel, le répertoire d'options doit refléter toute la configuration d'une part. En particulier, si une recette lit des données depuis d'autres sections, ceci doit se retrouver dans les options. Les données des options sont utilisées après l'appel de l'initialisateur pour déterminer si une configuration a changé afin de savoir si une part doit être réinstallée. Une part est désinstallée avant d'être réinstallée.

    • install

      Cette méthode installe une part. Elle est utilisée quand une part est ajoutée à un buildout ou quand une part est réinstallée.

      La recette d'installation doit renvoyer une séquence de chemins qui doivent être supprimés quand la part est désinstallée. La plupart des recettes se contentent de créer des fichiers ou des répertoires et leur suppression est suffisante pour désinstaller la part.

    • update

      Cette méthode est utilisée quand une part est déjà installée et quand sa configuration n'a pas changé depuis le buildout précédent. Elle doit renvoyer None ou une séquence de chemins. Si des chemins sont renvoyés, ils sont ajoutés aux chemins déjà installés.

  • uninstall

    La plupart des recettes ne font que créer des fichiers ou des répertoires et la procédure de désinstallation intégrée à buildout doit etre suffisante. Si une recette fait plus de choses, il est possible qu'une recette de désinstallation soit nécessaire.

Recettes d'installation

mkdirrecipe.py:

import logging, os, zc.buildout

class Mkdir:

    def __init__(self, buildout, name, options):
        self.name, self.options = name, options
        options['path'] = os.path.join(
                              buildout['buildout']['directory'],
                              options['path'],
                              )
        if not os.path.isdir(os.path.dirname(options['path'])):
            logging.getLogger(self.name).error(
                'Cannot create %s. %s is not a directory.',
                options['path'], os.path.dirname(options['path']))
            raise zc.buildout.UserError('Invalid Path')

• L'option path dans notre recette est interprétée de manière relative au buildout. On reflète ceci en sauvant le chemin modifié dans les options.
• Si une erreur d'utilisateur survient:
  • On enregistre le détail de l'erreur avec le module logger de Python.
  • On déclenche une exception zc.buildout.UserError.

suite de mkdirrecipe.py

def install(self):
    path = self.options['path']
    logging.getLogger(self.name).info(
        'Creating directory %s', os.path.basename(path))
    os.mkdir(path)
    return path

def update(self):
    pass

Une recette bien écrite enregistre ce qu'elle fait.

La méthode update est souvent vide, comme ici.

Recettes de désinstallation

servicerecipe.py:

import os

class Service:

    def __init__(self, buildout, name, options):
        self.options = options

    def install(self):
        os.system("chkconfig --add %s" % self.options['script'])
        return ()

    def update(self):
        pass

def uninstall_service(name, options):
    os.system("chkconfig --del %s" % options['script'])

Les recettes de désinstallation sont des objets pouvant être appelés et à qui l'ont transmet le nom de la part et les options d'origine.

Points d'entrée de Buildout

setup.py:

from setuptools import setup

entry_points = """
[zc.buildout]
mkdir = mkdirrecipe:Mkdir
service = servicerecipe:Service
default = mkdirrecipe:Mkdir

[zc.buildout.uninstall]
service = servicerecipe:uninstall_service
"""

setup(name='recipes', entry_points=entry_points)

Exercice 3

• Écrivez une recette qui crée un fichier depuis la source donnée dans une option de configuration.
• Essayez ceci dans un buildout, soit en créant un nouveau buildout ou par une extension du buildout de zope.event.

Options de la ligne de commande

Ligne de commande buildout :

• Options de la ligne de commande et paramètres d'options
• commande et arguments

bin/buildout -U -c rpm.cfg install zrs

Les paramètres d'option sont de la forme suivante:

section:option=value

Une option qu'on peut définir dans le fichier de configuration peut toujours être définie depuis la ligne de commandes. Les paramètres d'option précisés sur la ligne de commande sont prioritaires par rapport à celles des fichiers de configuration.

Il existe quelques options en ligne de commande, comme -c pour spécifier un fichier de configuration ou -U pour désactiver la lecture des réglages par défaut de l'utilisateur.

Consultez la documentation de buildout ou utilisez l'option -h pour obtenir une liste des options disponibles.

Modes de Buildout

• newest
  • le mode par défaut essaie toujours d'obtenir les versions les plus récentes
  • Peut être désactivé avec l'option -N ou avec l'option newest de buildout réglée sur false.
• offline
  • Si activé, les accès réseau ne sont pas tentés
  • Désactivé par défaut
  • Peut être désactivé avec l'option -o ou avec l'option offline de buildout réglée sur false.

Par défaut, buildout essaie toujours de trouver les distributions les plus récentes qui satisfassent les exigences. La recherche de nouvelles distributions peut prendre beaucoup de temps. De nombreuses personnes auront intérêt à utiliser l'option -N pour désactiver cette recherche. On verra plus loin comment modifier ce comportement par défaut.

Si vous n'êtes pas connecté à un réseau, vous avez intérêt à utiliser le mode offline, -o.

~/.buildout/default.cfg

Fournit des réglages par défaut pour buildout (à moins que l'option -U soit activée) :

[buildout]
# Shared eggs directory:
eggs-directory = /home/jim/.eggs
# Newest mode off, reenable with -n
newst = false

[python24]
executabe = /usr/local/python/2.4/bin/python

[python25]
executabe = /usr/local/python/2.5/bin/python

À moins que l'option -U ne soit utilisée sur la ligne de commande, les réglages par défaut de l'utilisateur sont lus avant les fichiers classiques de configuration. Ces réglages par défaut sont lus dans le fichier default.cfg du sous-répertoire .buildout du répertoire donné par la variable d'environnement HOME si elle existe.

Dans cet exemple :

• J'ai défini un répertoire pour les eggs partagés.
• J'ai modifié le mode par défaut à non-newest de façon que buildout ne recherche pas de nouvelle distribution si celles qu'il trouve lui suffisent (vis à vis des exigences). Pour obtenir les distributions les plus récentes, j'aurais dû utiliser l'option -n..
• J'ai spécifié des sections Python 2.4 et 2.5 qui donnent l'emplacement des interpréteurs python. Il peut arriver qu'un buildout utilise plusieurs versions de python. La plupart des recettes acceptent une option python qui donne le nom d'une section possédant elle-même une option executable qui donne l'emplacement d'un interpréteur python.

Extension des configurations

L'option extends permet à un fichier de configuration d'en étendre un autre

Par exemple :

• base.cfg possède des définitions et des réglages courants

• dev.cfg ajoute des options utiles pendant le développement:

  [buildout]
  extends = base.cfg
  
  ...
  

• rpm.cfg possède des options pour générer des paquets RPM à partir d'un buildout.

Amorçage depuis un buildout existant

• Le script buildout possède une commande bootstrap
• Elle peut être utilisée pour amorcer n'importe quel répertoire.
• Beaucoup plus rapide que de lancer bootstrap.py car elle peut utiliser un egg setuptools déjà installé.

Exemple : répertoire ~/bin

[buildout]
parts = rst2 buildout24 buildout25
bin-directory = .

[rst2]
recipe = zc.recipe.egg
eggs = zc.rst2

[buildout24]
recipe = zc.recipe.egg
eggs = zc.buildout
scripts = buildout=buildout24
python = python24

[buildout25]
recipe = zc.recipe.egg
eggs = zc.buildout
scripts = buildout=buildout25
python = python25

De nombreuses personnes ont un répertoire de scripts personnel.

J'ai converti le mien en buildout en utilisant une configuration de buildout qui ressemble à celle ci-dessus.

J'ai surchargé l'emplacement pour bin-directory de façon que les scripts soient installés directement dans le répertoire du buildout.

J'ai précisé que je veux que la distribution zc.rst2 soit installée. La distribution rst2 dispose d'une version généralisée des scripts de traitement du « restructured text » sous une forme qui peut être installée par buildout (ou easy_install).

J'ai précisé que je veux avoir les scripts de buildout pour Python 2.4 et 2.5. (Dans mon buildout, j'en crée aussi un pour Python 2.3). Ces scripts de buildout me permettent d'amorcer rapidement des buildouts ou de lancer des fichiers de setup pour une version donnée de python. Par exemple, pour amorcer un buildout avec python 2.4, je lance:

buildout24 bootstrap

dans le répertoire contenant le buildout. Ceci peut aussi être utilisé pour convertir un répertoire en buildout, en créant le fichier buildout.cfg s'il n'existe pas.

Exemple: zc.sharing (1/2)

[buildout]
develop = . zc.security
parts = instance test
find-links = http://download.zope.org/distribution/

[instance]
recipe = zc.recipe.zope3instance
database = data
user = jim:123
eggs = zc.sharing
zcml =
  zc.resourcelibrary zc.resourcelibrary-meta
  zc.sharing-overrides:configure.zcml zc.sharing-meta
  zc.sharing:privs.zcml zc.sharing:zope.manager-admin.zcml
  zc.security zc.table zope.app.securitypolicy-meta zope.app.twisted
  zope.app.authentication

C'est un court exemple du cas d'utilisation « assemblage de système ». Dans ce cas, on définit une instance Zope 3 et un script de test.

Vous pouvez ignorer en grande partie les détails de la recette pour l'instance Zope 3. Si vous n'êtes pas un utilisateur de Zope, vous n'avez pas besoin de les connaître. Si vous êtes utilisateur de Zope, vous devez savoir que de bien meilleures recettes sont développées.

Ce projet utilise plusieurs répertoire sources, le répertoire courant et le répertoire zc.security qui est une référence subversion externe vers un projet n'ayant pas sa propre distribution. Les deux ont été listées dans l'option develop.

On a demandé les parts instance et test. Des parts supplémentaires seront installées à cause des dépendances de la part instance. En particulier, on va obtenir un checkout de Zope3 parce que la recette instance fait référence à la part zope3. On va obtenir une part database à cause de la référence de la recette instance dans l'option database.

Le buildout va chercher des distributionsn à l'adresse http://download.zope.org/distribution/.

Exemple: zc.sharing (2/2)

[zope3]
recipe = zc.recipe.zope3checkout
url = svn://svn.zope.org/repos/main/Zope3/branches/3.3

[data]
recipe = zc.recipe.filestorage

[test]
recipe = zc.recipe.testrunner
defaults = ['--tests-pattern', 'f?tests$']
eggs = zc.sharing
       zc.security
extra-paths = ${zope3:location}/src

Ici on peut voir la définition des parts restantes.

La part test possède des options qu'on n'a pas encore vues.

• On a personnalisé la façon dont le lanceur de tests trouve les tests en lui fournissant des arguments par défaut.
• On a utilisé l'option extra-paths pour indiquer au lanceur de tests d'inclure le répertoire source du checkout de Zope 3 dans sys.path. Ce n'est plus nécessaire puisque Zope 3 est maintenant disponible entièrement sous forme d'eggs.

Source ou Binaire

• Les distributions binaires sont spécifiques à une version de python et à une plateforme.

• Les distributions spécifiques à une plateforme peuvent comporter des réglages issus de la construction mais non présents dans la spécification de l'egg.

  • taille d'Unicode
  • Emplacement et nom des bibliothèques

• Les distributions sources sont plus souples

• Les eggs binaires peuvent devenir moisis si les bibliothèques systèmes sont modifiées

  Récemment, j'ai dû supprimer des eggs de mon répertoire d'eggs partagés. J'avais installé une mise à jour du système d'exploitation qui a causé des changements dans le nom des fichiers de la bibliothèque open-ssl. Les eggs construits en utilisant la bibliothèque précédente ne fonctionnaient plus.

Expériences avec RPM

Travaux initiaux de création de RPMs pour le déploiement dans nos environnements d'hébergement:

• Séparation du logiciel et de sa configuration
• Utilisation de Buildout pour créer des rpm contenant des programmes
• Plus tard, le buildout installé est utilisé pour établir des procédures spécifiques
  • Fonctionne en tant que root en mode hors-ligne
  • Utilise un serveur de configuration réseau

Notre philosophie est de séparer le logiciel et sa configuration. On installe des programmes avec RPM. Ensuite on configure l'utilisation de ces programmes à l'aide d'une base de donnée centralisée de configuration.

Je vais brièvement présenter la procédure de construction RPM plus bas. Le côté intéressant est que ça illustre certains problèmes.

fichier de spec pour ZRS (1/3)

%define python zpython
%define svn_url svn+ssh://svn.zope.com/repos/main/ZRS-buildout/trunk
requires: zpython
Name: zrs15
Version: 1.5.1
Release: 1
Summary: Zope Replication Service
URL: http://www.zope.com/products/zope_replication_services.html

Copyright: ZVSL
Vendor: Zope Corporation
Packager: Zope Corporation <sales@zope.com>
Buildroot: /tmp/buildroot
Prefix: /opt
Group: Applications/Database
AutoReqProv: no

La plupart des options ci-dessus sont plus ou moins brutes de décoffrage.

On indique le Python qu'on va utiliser comme dépendance. On construit nos RPMs python de façon à contrôler ce qu'ils contiennent. Les mainteneurs de paquets systèmes on tendance à être trop créatifs pour nous.

Habituellement, pendant la construction, RPM installe les fichiers dans leur emplacement réel de fonctionnement. Ceci n'est pas acceptable pour de nombreuses raisons. J'ai ici utilisé le mécanisme build-root de RPM pour que les fichiers soient construits dans une arborescence temporaire..

Comme l'emplacement de la construction est différent de l'installation finale, les chemins écrits par le buildout, comme ceux des eggs dans les scripts, sont faux. Il existe deux moyens de pallier ce problème :

• Je pourrais essayer de corriger les chemins au moment de la construction,
• je pourrais corriger les chemins au moment de l'installation.

Modifier les chemins au moment de la construction signifie que les emplacements d'installation ne peuvent pas être contrôlés à l'installation. Cela compliquerait aussi toutes les recettes qui doivent gérer des chemins. Ajuster les chemins à l'installation nécessite juste de relancer certaines des recettes pour générer les chemins.

Pour renforcer ce dernier choix, le RPM a été rendu relocalisable en utilisant l'option prefix.

fichier de spec pour ZRS (2/3)

%description
%{summary}

%build
rm -rf $RPM_BUILD_ROOT
mkdir $RPM_BUILD_ROOT
mkdir $RPM_BUILD_ROOT/opt
mkdir $RPM_BUILD_ROOT/etc
mkdir $RPM_BUILD_ROOT/etc/init.d
touch $RPM_BUILD_ROOT/etc/init.d/%{name}
svn export %{svn_url} $RPM_BUILD_ROOT/opt/%{name}
cd $RPM_BUILD_ROOT/opt/%{name}
%{python} bootstrap.py -Uc rpm.cfg
bin/buildout -Uc rpm.cfg buildout:installed= \
   bootstrap:recipe=zc.rebootstrap

Je ne suis pas un expert de RPM, et de vrais experts en RPM auraient peut-être une contraction de l'estomac en voyant mon fichier de spec. RPM spécifie normalement plusieurs étapes de construction que j'ai contractées en une seule.

• Les premières lignes établissent une racine de construction.
• On exporte le buildout dans la racine de construction.
• On lance le buildout
  • L'option -U est utilisée principalement pour éviter d'utiliser un répertoire d'eggs partagés
  • L'option -c est utilisée pour renseigner un fichier de buildout spécifique à RPM qui installe uniquement des programmes, en incluant les recettes d'installation qui seront nécessaires après l'installation pour la configuration.
  • On désactive la création d'un fichier .installed.cfg
  • On spécifie une recette pour une part spéciale bootstrap. Cette part est un script qui va ajuster les chemins dans le script de buildout après l'installation du rpm.

fichier de spec pour ZRS (3/3)

%post
cd $RPM_INSTALL_PREFIX/%{name}
%{python} bin/bootstrap -Uc rpmpost.cfg
bin/buildout -Uc rpmpost.cfg \
   buildout:offline=true buildout:find-links= buildout:installed= \
   mercury:name=%{name} mercury:recipe=buildoutmercury
chmod -R -w .

%preun
cd $RPM_INSTALL_PREFIX/%{name}
chmod -R +w .
find . -name \*.pyc | xargs rm -f

%files
%attr(-, root, root) /opt/%{name}
%attr(744, root, root) /etc/init.d/%{name}

On spécifie un script de post-installation qui:

• Réamorçe le buildout en utilisant le script d'amorçage installé dans le RPM.
• Relance le buildout :
  • en utilisant une configuration de post-installation qui spécifiait les parts dont les chemins doivent être ajustés.
  • en mode hors-ligne car on ne veut pas d'accès réseau ni de nouveau programme installé qui ne soit pas dans le RPM.
  • en retirant les liens find-links. Ceci est principalement dû à un détail particulier de nos configurations.
  • en désactivant la création du fichier .installed.cfg
  • en spécifiant des informations sur l'installation d'un script spécial qui lit notre base de données centralisée de configuration pour pouvoir configurer l'application après que le RPM a été installé.

On a un script de pré-désinstallation qui nettoie les fichiers « .pyc ».

On spécifie les fichiers à installer. Il s'agit juste du répertoire de buildout et d'un script de configuration.

Répétabilité

On veut avoir la possibilité d'intégrer une certaine configuration dans le svn puis d'être capable de l'extraire et de la reproduire..

• On demande au buildout de dire quelles versions il a piochées pour les distributions

  • On le lance avec l'option -v

  • On recherche dans la sortie les lignes de la forme :

    Picked: foo = 1.2
    

• On inclut un section versions:

  [buildout]
  ...
  versions = myversions
  
  [myversions]
  foo = 1.2
  ...
  

Problèmes de déploiement

• Besoin d'un moyen d'enregistrer les versions des eggs utilisés.
• Besoin d'un moyen de générer des buildouts distribuables qui contiennent toutes les distributions sources nécessaires à la construction sur une machine cible (par ex les RPMS sources).
• Besoin d'un moyen de générer des distributions sources. Il faudrait pouvoir rassembler les sources utilisées par un buildout de façon qu'elles puissent être distribuées avec lui.

disponibilité de PyPI

Un problème particulièrement sensible est la disponibilité de PyPI. PyPI est parfois indisponible pendant quelques minutes ou même quelques heures. Ceci peut rendre buildout inutilisable.

Pour avoir plus d'informations

Consultez http://www.python.org/pypi/zc.buildout

Traduction basée sur la version SVN 82275 : Christophe Combelles <ccomb@free.fr>