blog ntic de revolunet » developpement

Astuces Django

Juju — Fri, 11 Dec 2009 00:46:07 +0000

Suite à mon quickstart Django, me revoici avec quelques astuces pour continuer.

Pour tester/développer avec Django, je rappelle qu’il vaut mieux utiliser le serveur de dev intégré, puis passer à Apache, nginx ou autre pour la production par la suite.

Il est important de lire pour commencer les principes de la philosophie Django ainsi que le ‘django coding style’

Ne hardcodez pas vos paths

dans votre settings.py :
BASE_DIR = os.path.dirname(__file__)
utilisez ensuite os.path.join avec settings.BASE_DIR ailleurs si besoin
Pour importer les settings de votre projet, utilisez toujours
from django.conf import settings

Utilisez un fichier local_settings.py

Créez un fichier local_settings.py qui contiendra uniquement les settings relatifs au déploiment de votre application : settings de base de données, smtp, debug… Vous n’aurez plus que celui la à modifier pour un nouveau déploiement.

Mettre en production avec Apache

Pour une installation classique avec Apache, utilisez de préférence mod_wsgi. N’utilisez pas le serveur de dev intégré en production!

Debug AJAX plus pratique

Si vous faites de l’Ajax, utilisez Firebug et le middleware AJAXSimpleExceptionResponse

Queysets : filters et excludes dynamiques

Utilisez les dictionnaires pour filtrer dynamiquement vos querysets :

filtres = {}
filtres['date__gte'] = datetime.datetime.today() – datetime.timedelta(dasy=7)
filtres['titre__icontains'] = ‘python’
excludes={}
excludes['epuise'] = True
qs = model.Livres.objects.exclude(**excludes).filter(**filtres)

Créez des applications modulaires

Placez vos app dans un sous dossier ‘apps’
Utiliser des objets génériques : le ContentType framework

Utilisez un script pour mettre à jour vos modèles

Django ne gérant pas nativement les ALTER sur votre base de données, vous devez sauvegarder (manage.py dumpdata), reset votre base (manage.py reset) puis recréer votre base (manage.py syncdb) et recharger les données (manage.py loaddata).
Utilisez plutot un script qui automatisera cette tache

Utilisez des décorateurs dans vos vues

@login_required pour restreindre la vue aux utilisateurs loggés
@user_passes_test(lambda u: u.has_perm(’polls.can_vote’)) pour restreindre la vue selon un test particulier
créez vos propres décorateurs

Ne définissez qu’une fois vos urls

Utilisez les named-urls pour ne plus harcoder vos urls
- Dans urls.py :
  (r’^articles/list/(\d)+’, apps.main.list, name=”list-view”)
- Dans une vue :
  return HttpResponseRedirect(reverse(’list-view’, args=[2007]))
- Dans un template :
  ma vue
Utilisez get_absolute_url() sur vos modèles pour affecter une url à chacun de vos objets

Des questions que vous vous posez surement :

La différence entre null et blank dans vos modèles
Comment toujours passer des variables à mes templates : les template contexts

De bons examples de coding-styles :

Différents cas de figures sur les formulaires Django : http://uswaretech.com/blog/2010/01/doing-things-with-django-forms/

Bien démarrer avec django

Juju — Wed, 02 Dec 2009 11:21:53 +0000

Cela fait maintenant presque deux ans que j’utilise intensivement le framework Django pour toutes mes applications web, et j’ai enfin réuni assez d’éléments pour pouvoir vous livrer un petit ‘QuickStart’ qui vous permettra de démarrer rapidement.

Contrairement à d’autres frameworks web, Django n’est pas orienté CMS ou HTML. Vous pouvez tout autant créer un site HTML/Ajax, une API RESTFUL http ou une application en ligne de commande.

Django permet de coder toute la partie serveur de votre application, mais pour la partie ‘client’, c.a.d. le HTML par exemple, vous devrez vous débrouiller tout seul ou utiliser un autre framework, jQuery par exemple, ou ExtJs.

Pourquoi Django ?

Open Source
Portable
Langage Python
Prototypage rapide
Evolutivité
Abstration ORM
Supporté par Google AppEngine (avec restrictions)
Excellente documentation

Fonctionnalités principales :

ORM : permet une abstraction de la base de données et du SQL, ce qui fait que vos applications peuvent tourner sur : SQLlite, MySQL, SQLserver, Oracle, PostGres…
Admin automatique : une fois vos modèles définis, ils sont de suite accessible dans l’interface d’admin automatique, et vous pouvez toute de suite créer objets
Templates : une gestion des templates très poussée, avec gestion des héritages, des filtres et ‘customs tags’.
Shell intégré : Tout votre code est également accessible directement depuis un shell intégré
Gestion des utilisateurs : Toute la partie utilisateurs, comptes, login, sécurité et permissions est déjà disponible sans efforts

Inconvénients :

Peu d’hébergeurs mais cela évolue : http://code.djangoproject.com/wiki/DjangoFriendlyWebHosts
C’est surtout un avantage, mais le projet évoluant très vite, vous devrez coder avec et pour une version spécifique de Django. Et vous ne mettrez à jour django pour tel projet seulement après avoir consulté cette page : http://code.djangoproject.com/wiki/BackwardsIncompatibleChanges

A noter que Django est une librairie python, vous pouvez n’utiliser que les fonctions dont vous avez besoin, même en ’standalone’ (hors du web). Et vous pouvez tout modifier, étendre et améliorer à souhait.

La première chose à faire avant de se lancer dans Django est déjà de connaitre un minimum le langage python et sa ‘magie’. Le livre ‘Think like a computer scientist‘ est à lire, Instant Python pour les préssés, et “A byte of python” (en francais).

C’est parti

Installez python (2.5 ou 2.6) sur votre machine, et récupérez la dernière version de Django. Le repertoire ‘django’ de cette archive doit se trouver dans le dossier ‘lib/site-packages’ de votre installation de Python. Si vous souhaitez utiliser MySQL comme serveur, installez python-mysqldb. Sinon, SQLlite fera très bien l’affaire pour démarrer !

Pour tester si votre installation de python/django est correcte :

juju@devserver:/var/www/django$ python

Python 2.5.2 (r252:60911, Jul 31 2008, 17:28:52)

[GCC 4.2.3 (Ubuntu 4.2.3-2ubuntu7)] on linux2

Type “help”, “copyright”, “credits” or “license” for more information.

juju@xxxxxxx:/home/juju$ python
Python 2.5.2 (r252:60911, Jul 31 2008, 17:28:52)
[GCC 4.2.3 (Ubuntu 4.2.3-2ubuntu7)] on linux2
Type “help”, “copyright”, “credits” or “license” for more information.
>>>import django
>>>print django.VERSION
(1, 0, 2, ‘final’, 0)
>>>

Si vous avez une erreur lors de l’import, alors votre dossier ‘django’ n’est pas dans votre dossier python\lib\site-packages, vérifiez.

Si l’install est correcte, alors vous pouvez créer votre premier projet django.

Exemple sur windows :

Ouvrez un shell, et placez vous dans votre dossier de travail, puis lancez la commande django-admin.py startproject

cd c:\dev\django
c:\dev\django>c:\Python25\lib\site-packages\django\bin\django-admin.py startproject projet1

Un dossier ‘projet1′ a été crée et contient les fichier de base :

settings.py : configuration du projt, base de données, emails…
urls.py : la configuration des urls de votre projet
manage.py : la commande qui permet de lancer le serveur, mettre a jour les bases et effectuer des opérations de maintenance.
__init__.py : ce fichier permet simplement à Python d’interpréter le dossier en tant que ‘module’

Pour développer un projet Django, utilisez le ’serveur de dev’ intégré (commande manage.py runserver), mais pour la production, vous devrez mettre en place Apache+WSGI, Nginx ou un autre serveur.

Lancez le serveur pour vérifier que votre projet est bien crée :

cd c:\dev\django
c:\dev\django>manage.py runserver
Validating models…
0 errors found
Django version 1.0-alpha-SVN-8225, using settings ‘projet1.settings’
Development server is running at http://127.0.0.1:8000/
Quit the server with CTRL-BREAK.

Maintenant vous pouvez ouvrir votre browser à cette adresse : http://127.0.0.1:8000/

Modifiez le fichier settings.py, puis suivez le premier tutorial pour commencer à faire joujou.

Je reviens prochainement pour la suite.

rsync alternative for low cpus

Juju — Thu, 02 Apr 2009 12:11:54 +0000

I had to transfer some +500Gb of data from an NTFS drive, using my QNAP TS409 PRO Nas external USB connector.

Using the integrated “hot copy button” or a simple rsync between the two drives, i only reached 2.5mb/s which is a pitty. In fact its the Qnap Cpu which is a pitty. (yes rsync is cpu consuming)

So inspired from http://discuss.joelonsoftware.com/default.asp?design.4.528600.11 i wrote a simple bash script to recursively copy a directory tree, but using cp instead of rsync. I can now reach 6.5mb/s which is 3 times faster.

So here it is : http://www.revolunet.com/static/download/labo/mysync.sh

Fin de la passerelle MSN de jabber.fr

Juju — Fri, 27 Feb 2009 16:22:59 +0000

A mon grand regret, les admins de jabber.fr ont décidé de mettre fin aux services des passerelles propriétaires sur le serveur jabber.fr. Cela concerne bien sur MSN, mais aussi ICQ et AIM.

Cette décision, surtout politique, va obliger tous ceux qui ont migré sur jabber à changer de client (pour un client multi-protocoles) ou à s’inscrire sur une autre passerelle.

Si comme moi vous êtes un fan de PSI , vous pouvez tout de même utiliser d’autres passerelles, comme par exemple celle de jabber.gnubox.net tout en gardant votre compte jabber actuel.

La passerelle MSN aura en tous cas rendu de bons et loyaux services pendant plusieurs années, meme s’il fallait la relancer 1 à 2 fois par semaine, ce qui est tout de meme toujours mieux que de faire tourner Live Messenger.

AMEN

WPF MediaElement + ASX workaround

Juju — Fri, 13 Feb 2009 16:30:35 +0000

This i my first English post so sorry for the poor english, and feel free to correct me

I recently had to develop a multimedia XAML application that plays Asx playlists with customs overlays and i faced to differents annoying, unresolved problems related to the MediaElement ASX handling. I discovered that the MediaElement behaves very differently with medias played within an Asx and the same medias played direclty.

My four main problems were :

The MediaElement keeps the first Asx item aspect radio for the whole Asx. (cannot mix 4:3 and 16:9 medias)
If you add some still images in the Asx (jpeg), you cannot add animated overlays over it, because the animated items leave ugly black trails over the image…
The MediaElement doesnt play correctly WMV files inside an Asx. It stops before the end, and the Audio is a little bit desynchronised.
Maybe related to my last wmv playback problem, sometimes, even with tags in the Asx, the MediaElement stops during a video.

It took weeks to track and identify these problems…but if you test outside an Asx, all the problems go away, So its clearly related to MediaElement Asx handling. Problem is that MediaElement control is actually very limited.

So i finally decide to create a small AsxController class that simply parse an Asx file and control a specified MediaElement object. Its simple and it works like a charm. Supported Asx items are streams uri, files, but also still images with a specified duration.

Its written in VB.NET but you can easily translate it to C# or something else. It should be compatible with Silverlight.

Grab the source and example code here (rename to .vb) : AsxController.vb

Enjoy !

WordPress hacked & spam injections

Juju — Mon, 19 May 2008 19:52:52 +0000

Les spammers n’ont décidément plus de limite dans leur imagination C’est ce que j’ai découvert en éditant un de mes articles sur ce blog. En regardant de près le code d’un de mes posts, je me suis rendu compte qu’a la fin du post, il y avait du spam ajouté en toute discretion…

Le spammer comence par injecter quelques tags :

puis insère une div cachée, non visible dans un navigateur :

;

puis insère tout un tas de liens sur le vi4gr4 et compagnie… Ceci est possible grâce à l’exploitation d’une faille de sécurité dans WordPress, qui permet au hacker de se créer facilement un compte administrateur. Cette faille a depuis été corrigée d’ou l’importance de toujours bien mettre à jour wordpress et tout logiciel en général.

Si en plus le serveur est mal configuré, le hacker peut alors prendre le controle total de la machine en uploadant le parfait kit du pirate PHP. Un outil de crackage a apparemment été développé pour automatiser la tache, polluer à la chaine des milliers de blogs, certainement pour longtemps, et ainsi gonfler au maximum la popularité des sites cibles aux yeux des moteurs de recherche.

L’origine de l’attaque provient apparemment de Pologne et Russie. Le resultat de cette attaque a engendré un blacklistage de l’index de google et j’ai donc crée un script Python qui répare les dégats en supprimant les spams :

import re
import MySQLdb
#example spam tags to remove :
# …<!–1f195247aee1eba914f252716a78efba–><!–b845738c6a171d114ceaa35493a4f0dc–><div id=wp_internal style=position:absolute;left:-9112px><a href=http://www.eeeeee/zefzef/wp-content/themes/default/zefezff/eeeeee.html>…

db = MySQLdb.connect(host=“192.168.0.1″, user=“wp”, passwd=“passwp”, db=“wordpress_bdd”)
cursor=db.cursor()
cursor.execute(“SELECT ID, POST_CONTENT FROM wp_posts ORDER BY ID DESC”)
posts = cursor.fetchall()
log=[]
for post in posts:
    parts = re.split(r“<\!–\w{32}–>”, post[1])
    if len(parts)>1:
        clean_post = parts[0].replace(“‘”, “””)
        sql = “update wp_posts set POST_CONTENT=’%s’ where ID=%s;” % (clean_post, post[0])
        log.append(sql)
        cursor.execute(sql)
        print “updating post %s” % post[0]
db.close()
f=open(“wp_out.sql”, “w”)
f.write(“\n“.join(log))
f.close()

Attention à bien sauvegarder votre base de données avant d’executer ce script ! Si vous ne comprennez pas le script, ne l’executez pas !

J’attends impatiemment le retour du traffic si google veut bien me réindexer !

EDIT :Deux jours après application du script + demande de réexamen dans Google webmaster tools le traffic est revenu à la normale…

Mise à jour de VLCcontrols

Juju — Wed, 23 Apr 2008 10:43:58 +0000

VLCcontrols est une librairie Javascript qui vous permet d’intégrer le fameux lecteur VLC dans vos pages web et de profiter de toute sa puissance. De nouvelles fonctions ont été ajoutées : possibilité d’intégrer des sous titres (locaux ou distants), de transcoder/streamer ou enregistrer le flux en cours de lecture sur votre disque dur, tout cela depuis une page web.

VLCcontrols is javascript library that allows you to embed the powerful VLC plugin in any webpage; New features have beed added today : you can now embed subtitles (local or remote), transcode and save or stream your contents as if you were in VLC, but from your webpage.

VLCcontrols home : http://code.revolunet.com/VLCcontrols

VLCcontrols advanced features demo : http://code.revolunet.com/VLCcontrols/VLCcontrols/advanced.html

Google AppEngine revolutionne le développement web

Juju — Thu, 10 Apr 2008 09:35:18 +0000

Durant ces 10 dernières années, Google a révolutionné la recherche, le e-marketing, la cartographie et bien d’autres services à destination des usagers. Depuis quelques temps, Google s’est aussi investit dans l’open source, notamment grâce à code.google.com qui propose de nombreuses librairies open source pour les développeurs, ainsi que des espaces gratuits de gestion de projets a la sourceforge.

Aujourd’hui, Google lance Google AppEngine, un service à destination des développeurs web, qui va leur faciliter grandement le développement d’applications web, en leur permettant de se concentrer sur la partie la plus fun de leur metier : le code lui-même. Et tout cela gratuitement (pour l’instant).

Google AppEngine est en effet un framework qui permet d’écrire très facilement des applications en Python, sans se soucier ni de la base de données, ni de l’hebergement, ni de l’administration système, ni des sauvegardes. Pour ceux qui ne connaissent pas bien Python c’est un langage très haut niveau, très lisible, très logique, et très performant; Google l’utilise à de nombreux niveaux de son architecture et a d’ailleurs embauché son créateur le fameux Guido Von Rossum en 2005. Concrètement, vous définissez vos modèles de données, vos templates graphiques et votre code métier (facon MVC), puis publiez très simplement votre projet directement sur la plate forme Google. Vous avez alors la puissance de Google entre vos doigts, et disposez d’une extraordinaire flexibilité et extensibilité de votre application, le tout de facon 100% transparente. Votre application est hebergée chez Google, et vos données reparties sur de nombreux serveurs à travers le monde ce qui vous garantit une haute disponibilité et de hautes performances quel que soit le volume de vos données et le traffic que vous générez.

Techniquement, Google vous propose un SDK (dispo sur Windows, Mac, Linux) qui vous installe un environnement de développement similaire à la version en ligne de AppEngine . Ce framework est open source et basé sur le célèbre framework web en python Django (Templates, DataModels…), Webob (Modele objet request/response) et sur plusieurs API fournies par Google pour nous faciliter la vie : Datastore API pour la base de données (basé sur la technologie BigTable de Google), Users API pour la gestion des utilisateurs et autres joyeusetés… Bien sûr vous pouvez ajouter toutes les librairies Python que vous souhaitez à votre projet.

Ce service n’est pas destiné aux applications professionnelles car vous êtes trop dépendant de Google et n’avez aucun contrôle sur de nombreux points (notamment la base de données ou les librairies bas niveau disponibles) mais ce service va certainement faciliter le développement de nombreuses applications web, sociales (ou pas), web 2.0 (ou pas). Ma grand mere va peut etre enfin pouvoir coder l’application web de bridge dont elle rève depuis toujours et que je n’ai jamais eu le temps de faire pour son Noël ;)

Le service est encore en beta, pas encore ouvert au quidam pendant une phase de tests de plusieurs mois mais on peut d’ores et deja installer le SDK et tester la plateforme en local pour faire joujou. Et on s’amuse. A terme Google proposera surement à la maniere d’Amazon S3 de la location de ressources si vous avez besoin de plus de ressources que ce qui vous est offert.

Démonstrations videos : http://youtube.com/watch?v=tcbpTQXNwac

Le SDK : http://code.google.com/appengine/downloads.html

La Documentation : http://code.google.com/appengine/docs/

Le groupe de discussion : http://groups.google.com/group/google-appengine?lnk=sg

VLC 0.8.6e est sorti

Juju — Thu, 28 Feb 2008 11:02:57 +0000

Une nouvelle version de VLC est disponible sur le site de videolan.org.

Cette mise a jour corrige plusieurs failles de sécurité importantes, et corrige également des bugs dans l’encodage h264. Vous allez donc enfin pouvoir encoder en mpeg-4 sous windows pour, entre autre, votre iPhone

Le changelog complet ici : http://trac.videolan.org/vlc/browser/tags/0.8.6e/NEWS

Mettez vite a jour pour éviter tout probleme de sécurité. Merci à la team VLC !

VLCobject, VLC dans votre page web

Juju — Fri, 25 Jan 2008 11:44:10 +0000

Je viens de publier une petite librairie javascript largement inspirée de swfobject et qui vous permet d’intégrer facilement le plugin VLC dans vos pages WEB. Le plugin est chargé en pur javascript et si l’utilisateur n’a pas de plugin VLC installé, un message lui indiquant un lien de téléchargement lui est indiqué.

Ca s’appelle VLCobject et c’est dispo ici : http://code.revolunet.com/VLCobject/FR

Pour ajouter les boutons Play, Pause, Stop, Volume, Seekbar… regardez du coté de la librairie VLCcontrols