ccomb

Fréquentation

On partait avec deux gros handicaps : la date, fin août, ne garantissait pas que tout le monde soit rentré de vacances. De plus la communication n'a pas été très bonne. Malgré tout, dès le samedi matin la salle (L'Agora du Carrefour numérique) était quasi pleine, et la fréquentation n'a pas baissé jusqu'au dimanche 18h, où les gens n'avaient manifestement pas envie de partir. Un petit sondage le dimanche matin a montré qu'une majorité de visiteurs s'était déplacé de province.

L'événement a été soutenu par 10 sponsors, qu'on remercie une nouvelle fois :

• 5 gold : Logilab, Fondation d'entreprise Free, Itaapy, Ubicast, Carrefour Numérique
• 5 bronze : Toonux, Alter Way, Makina Corpus, Net-ng, Ecréall

Tout a été enregistré par Ubicast et sera disponible en ligne. Le site web a été géré par Logilab, grâce à Cubicweb.

Tendances

Le Web : le développement web est comme toujours un sujet majeur en Python. Serveur WSGI haute performance, CMS orienté sémantique, CMS sur mesure, CMS qui stocke en Git, nombreux frameworks web, cloud computing, réseau social distribué, le sujet était vaste.

Calcul scientifique : deux conférences passionnantes sur le Machine Learning, le traitement des langues naturelles, l'analyse statistique, le calcul parallèle ou le multiprocessing, l'interfaçage avec C/C++.

Cloud et NoSQL : Une confirmation de la tendance de l'année dernière, avec des présentations parlant de MongoDB, itools.database (une DB versionnée), Google App Engine, SilverLining, MediaTemple, LibCloud, etc...

ERP : Une présentation de Tryton, un fork d'OpenERP, fait aussi par des belges, qui proposent également une version allégée minimale (Neso). La demande pour OpenERP est, paraît-il, monumentale.

On a regretté l'absence de Tarek Ziadé, obligé de rentrer d'urgence à Dijon, et qui aurait dû présenter son travail chez Mozilla : la réécriture de Mozilla Sync en Python. On a regretté aussi l'annulation de dernière minute d'une présentation sur Plone.

En parlant de Plone, je serai à OSDC Fr les 9 et 10 octobre pour parler de Plone 4 qui vient de sortir, ainsi que d'une application permettant de déployer des démos d'applications web (Drupal, Plone, OpenERP, etc...).

Comparatif Dedibox V1 / V2 / V3

Lecture

En lecture, la dedibox v3 est la plus rapide des trois, il n'y a aucun doute.

Écriture

En écriture, c'est un peu moins clair : la dedibox v3 est plus rapide dans 4 tests sur 6.

Comparatif Ubuntu / Debian

Voyons maintenant la différence entre Debian et Ubuntu. Ici les machines sont censées être les mêmes, sont toutes les deux vides et non utilisées, et sont installées avec les dernières versions de Debian 6.0 et Ubuntu 10.04. Les noyaux sont tous les deux des 2.6.32.

On note une très forte différence entre les deux : la machine sous Debian est beaucoup plus rapide.

Lecture

Écriture

Bizzare, mais même constat, la dedibox sous Debian est en moyenne une fois et demi plus rapide que celle avec Ubuntu.

Je me garderai de faire des commentaires, vu les conditions dans lesquelles ces tests ont été réalisés, mais ça mériterait de creuser un peu...

Script d'extraction

Si vous voulez reproduire les grahiques, voici comment faire.

Il faut récupérer la sortie de « iozone -a » en ne gardant que le tableau, puis changer l'en-tête du tableau pour qu'il tienne sur une seule ligne, et sauver ça dans un fichier texte. Ensuite il faut installer Matplotlib 1.0. La version 0.99 fournie avec Ubuntu 10.04 ne convient pas, il faut compiler la version 1.0. Je vous laisse le doux plaisir de découvrir les dépendances à installer

$ virtualenv sandbox
$ sandbox/bin/pip install  install http://sourceforge.net/projects/matplotlib/files/matplotlib/matplotlib-1.0/matplotlib-1.0.0.tar.gz/download

Ensuite voici le script qui a permis d'extraire et tracer les données, que j'appelle bench.py :

#!/usr/bin/env python
# coding: utf-8
import sys
import pylab, numpy as np
from numpy import log2
from mpl_toolkits.mplot3d import axes3d

tests = {}

files = sys.argv[1:]
pylab_colors = ('r', 'g', 'b', 'y', 'm', 'y', 'k')
assert len(files) <= len(pylab_colors)
colors = dict([(f, pylab_colors[i]) for i, f in enumerate(files)])

for k, filename in enumerate(files):
    with open(filename) as f:
        tests[filename] = {}
        tests[filename]['titles'] = f.readline().split()[2:]
    tests[filename]['raw'] = np.loadtxt(filename, dtype=int, skiprows=1)
    for i, testname in enumerate(tests[filename]['titles']):
        tests[filename][testname] = {}
        data = tests[filename][testname]['data'] = np.zeros((20, 15))
        data[:] = np.nan
        raw = tests[filename]['raw']
        data[log2(raw[:,0]).astype(int), log2(raw[:,1]).astype(int)] = raw[:, i+2]
        data /= 1024.0
        tests[filename][testname]['mean'] = data[-np.isnan(data)].mean()
        tests[filename][testname]['max'] = data[-np.isnan(data)].max()


axes = {}
X, Y = np.mgrid[0:20,0:15]
for testname in tests.values()[0]['titles']:
    ax = axes3d.Axes3D(pylab.figure())
    ax.w_xaxis.set_ticks(range(3,21,2))
    ax.w_yaxis.set_ticks(range(2,15,2))
    ax.w_xaxis.set_ticklabels(2**np.arange(3,21,2))
    ax.w_yaxis.set_ticklabels(2**np.arange(2,15,2))
    ax.set_xlabel('kB')
    ax.set_ylabel('reclen')
    ax.set_zlabel('MB/s')
    means = dict([(filename, tests[filename][testname]['mean']) for filename in files])
    maxs = max([tests[filename][testname]['max'] for filename in files])
    ax.text(X.min(), 15, maxs, 'test: ' + testname, color='k')
    for i, filename in enumerate(sorted(means, key=lambda x:-means[x])):
        i+=1
        Z = tests[filename][testname]['data']
        c = colors[filename]
        ax.plot_wireframe(X, Y, Z, color=c)
        ax.text(X.min(), 15, maxs*(1-0.07*i),
                str(int(means[filename])) + " MB/s : " + filename, color=c)
    #pylab.gcf().set_size_inches(6,4)
    pylab.savefig(testname + '.png')

pylab.show()

Pour le lancer avec la nouvelle version de matplotlib, il suffit d'utiliser le Python de la sandbox. Le script prend en paramètres les fichiers contenant les résultats iozone

$ ./sandbox/bin/python bench.py resultat1.txt resultat2.txt resultat3.txt

Il est possible d'écrire un script beaucoup plus propre, mais je voulais juste m'obliger à le faire avec Numpy et Matplotlib et sans y passer trop de temps non plus. Notez qu'une des lignes du script utilise une affectation grâce au Fancy Indexing de Numpy:

data[log2(raw[:,0]).astype(int), log2(raw[:,1]).astype(int)] = raw[:, i+2]