blog ntic de revolunet » shell

rsync alternative for low cpus

Juju — Thu, 02 Apr 2009 12:11:54 +0000

I had to transfer some +500Gb of data from an NTFS drive, using my QNAP TS409 PRO Nas external USB connector.

Using the integrated “hot copy button” or a simple rsync between the two drives, i only reached 2.5mb/s which is a pitty. In fact its the Qnap Cpu which is a pitty. (yes rsync is cpu consuming)

So inspired from http://discuss.joelonsoftware.com/default.asp?design.4.528600.11 i wrote a simple bash script to recursively copy a directory tree, but using cp instead of rsync. I can now reach 6.5mb/s which is 3 times faster.

So here it is : http://www.revolunet.com/static/download/labo/mysync.sh

Mini Freeplayer

Juju — Tue, 16 Oct 2007 08:40:39 +0000

J’ai crée un simple script batch qui permet de lire très facilement une video sur son televiseur, grace au systeme ‘Freeplayer’ de la Freebox. Il suffit de glisser une video sur ce script pour la lancer sur votre TV.

Le script s’occupe de lancer VLC avec les bons parametres, et de créer une page sur votre disque pour la Freebox. Cette page affiche simplement la vidéo en plein écran.

Pour que cela fonctionne, il faut :

Que dans la gestion de votre compte Free (free.fr), vous ayez configuré l’adresse IP de la machine ou sera installé ce script. (je vous conseille d’affecter à cette machine une IP fixe, en utilisant son adresse MAC, que vous pouvez trouver en tapant ipconfig /all dans une fenetre MSDOS)
Que l’éventuel firewall sur cette machine ai le port 8080 ouvert pour que la freebox puisse accéder à la page settings.html (générée par le script)
Que vous modifiez éventuellement le chemin de VLC sur votre PC (VLC_PATH) au début du fichier

Voila, c’ets du Quick & Dirty mais ca marche nickel Le seul souci est que les sous titre ne sont pas gérés, mais c’est pour bientot, des que l’un d’entre vous corrige le script De plus c’est un script uniquement pour Windows, désolé les gars mais vous pouvez l’adapter très facilement…

A télécharger ici et à mettre sur votre bureau par exemple : http://code.revolunet.com/MiniFreePlayer/MiniFreePlayer.bat

Commentaires / corrections bienvenues ici même

associer un protocole a un script sous windows

Juju — Mon, 26 Feb 2007 18:47:58 +0000

Dans une page web, il peut etre assez pratique d’associer un script ou un programme externe quand on clique sur un lien avec un protocole spécifique. Par exemple un lien href avec comme valeur callto:0102030405 pourrait me permettre d’executer le dialer de windows en lui demandant de composer un numéro. C’est très pratique en intranet par exemple.

appeller le 01 02 03 04 05

(Notez que dans le href il y a un zéro de plus en prefixe qui me permettra de composer un numéro externe)

Il nous suffit pour cela d’ajouter au registre une petite clé, qui associera le nom de notre ‘protocole’ à un programme (faites un fichier .reg puis executez le)

Windows Registry Editor Version 5.00
[HKEY_CLASSES_ROOTcallto]
@=”tst protocol handler”
“URL Protocol”=”"
[HKEY_CLASSES_ROOTcalltoshell]
[HKEY_CLASSES_ROOTcalltoshellopen]
[HKEY_CLASSES_ROOTcalltoshellopencommand]
@=”C:\WINDOWS\system32\wscript.exe “C:\dial.vbs” “%1″”

dial.vbs est un petit script qui permet de parser les arguments (ici le numéro) et de les envoyez à dial.exe, petit utilitaire permettant de composer un numéro envoyé en premier paramètre, technique inspirée de ce post sur le forum de SugarCRM.

Vous pouvez tout autant passer la main à un script Python ou autre qui fera ce que vous lui avez appris a faire avec les arguments. Attention toutefois, le programme sera éxécuté avec les droits de l’utilisateur actuel donc surement pas admin en entreprise…

Et voila, des qu’un utilisateur clique sur un lien callto, le numéro est composé sur le modem. Branchez donc l’entrée modem de votre telephone a votre PC et c’est parti pour une numérotation automatisée depuis votre page web !

Skype a son callto:0102030405, Wengo son wengo:usernick et maintenant nous avons aussi nos propres handlers… Enjoy

de EPS vers JPG en masse

Juju — Fri, 06 Oct 2006 11:17:34 +0000

Ayant eu à convertir plusieurs dizaines de EPS en JPEG, voici un petit exemple de ce qu’on peut faire grâce à Linux en 2 lignes de commandes.

1- Je mets mes EPS en vrac dans différents répertoire dans un dossier ./eps puis je convertis tous mes eps en jpg grace à ImageMagick et GhostScript :

find ./eps -iname *.eps -exec convert -density 300 “{}” “{}.jpg” ;

2- je récuperes tous les fichiers jpg crées et les mets dans un dossier ./jpg :

find ./eps -iname *.jpg -exec cp”{}” ./jpg/ ;
# j’efface les eps
rm -rf ./eps

Et voila, en quelques minutes, ma machine m’a converti toutes mes images

NB :

-density 300 permet d’avoir une résolution de 300dpi (mettre 72 pour le web)
vous pouvez ajouter -size 300 pour forcer un redimensionnement de toutes les images à 300px de large

> toutes les options de la ligne de commande ici : http://www.imagemagick.org/script/command-line-options.php

Serveur de Sauvegardes sous Linux

Juju — Wed, 22 Mar 2006 16:48:56 +0000

Voici quelques infos utiles pour mettre en place un serveur de sauvegardes de base sous Linux. Il ne gère pas le multi-version, mais permet de sauvegarder plusieurs disques réseau à intervalle régulier. Pour 50Go, le temps de chaque vérification et mise à jour n’est que de 20 minutes maximum. (plusieurs heures lors de la première sauvegarde)

Celui ci fonctionne avec rSync et un petit script shell.

J’ai utilisé le système de fichiers ReiserFS pour pouvoir gérer plus de 32000 fichiers par repertoire et la distribution Debian testing (à partir de la version netinst (8Mo à télécharger)). Le système est installé et fonctionnel en 15 minutes. Vous pouvez telecharger les ISO de cette version là : http://ftp.debian.org/debian/dists/testing/main/installer-i386/current/images/netboot/

Dans mon fichier fstab (qui regroupe les montages de disques), j’ai ajouté une ligne par répertoire réseau à enregistrer :

# pour monter le partage ‘public’ de la machine windows 192.168.5.10 dans /mnt/saves/public/ :
//192.168.5.10/public /mnt/saves/public smbfs ro,username=user,password=pass 0 0

Ensuite j’ai crée un script shell qui me synchronise tous les disques montés dans /mnt/saves sur le disque ReiserFS local. Pour cela, il faut utiliser rSync :

# ceci va synchroniser tout le contenu /mnt/saves/ vers /home/saves/data/ (en recursif)
rsync -avz /mnt/saves/ /home/saves/data/

On peut rajouter un fichier avec des exclusions pour éviter de sauvegarder des gigas de mp3, videos… à passer à la ligne de commande de rSync :

–exclude-from=exclusions.txt
dans lequel on trouve par exemple :
*.mp*
*.MP*
*.avi
*.AVI

Ensuite dans la crontab, j’ai automatisé l’execution de ce script en la planifiant tous les jours à 1h du matin :

0 1 * * * root /root/SaveAll.sh

Dans mon script SaveAll.sh, j’ai apporté des améliorations qui me permettent de tout logguer et de recevoir le compte-rendu de sauvegarde par email :

# date et heure d’exec
curDate=`date +%d%m%y_%H%M`
# nom du fichier log
logFileName=“/root/logs/log_saves_$curDate.log”
# redirige les sorties erreur et standard vers mon fichier de log
exec >$logFileName 2>&1
# montage des smbfs au cas ou pas montés au boot
mount -a
# execution de rSync
rsync -avz –exclude-from=exclusions.txt /mnt/saves/ /home/saves/data/
# envoi du mail
mpack -s “Compte rendu de sauvegarde” $logFileName admin@revolunet.com

Dans ce mail me sont également envoyés quelques infos : la taille de chaque repertoire de sauvegarde et le nombre de fichiers :

# Taille des repertoires sauvegardés
du -h –max-depth=1 /home/saves/data
# Nombre de fichiers dans chaque repertoire
for folder in `ls -d /home/saves/data/*/“; do
nbfiles=`find $folder -iname ‘*.*’ | wc -l`
echo “$folder : $nbfiles Fichiers”;
done

Ensuite, libre à vous de partager ce repertoire dans Samba pour qu’il soit accessible depuis le réseau.