J'ai eu l'idée de ce blog en finissant mon énième CDD et en rangeant mon bureau plein de post-its, de notes dans les coins de cahier, sur les feuilles de brouillon ...


Dommage de perdre toutes ces informations glanées au fur et à mesure des années et puis finalement pourquoi ne pas en faire profiter la sphère des heureux sigistes et fières de l'être?


J'ai travaillé sous GRASS, Arcview, ArcGis, MapInfo,QGIS et je suis devenue accroc à l'open source.


Alors voila, il était une fois ...

Affichage des articles dont le libellé est GDAL. Afficher tous les articles
Affichage des articles dont le libellé est GDAL. Afficher tous les articles

mercredi 2 septembre 2015

Bash, vous avez dit bash?

Dans un précédent article, je parlais de "bash", mais kezako et surtout comment le lance-t-on?

N'étant pas informaticienne, je vous dirais juste qu'un bash est un script qui permet d'automatiser certaines procédures fastidieuses en utilisant par exemple des commandes OGR/GDAL ou grass. C'est l'équivalent du batch sous windows, sauf que lui se lance dans un shell Unix/Linux.

Ouh la me direz-vous, je suis sous windows et je vous répondrais: aucun soucis, moi aussi :)

1. Utilité du bash


Vous recevez par exemple le nouveau cadastre, vous le recevez à peu près 2 fois par an. On vous livre des fichiers Mif/Mid répartis  par dossiers "commune" et contenant entre autres fichiers: parcelles.mif et bati.mif. 

Or vous travaillez sous Qgis, vous préféreriez donc des shapes et vous voudriez votre cadastre non pas par commune mais agrégé en un seul shape. Les Mifs sont en WGS 84 mais vous les voulez dans un système de coordonnées projetées tel que l'EPSG 2972 (Guyane).

Chaque année vous convertissez donc un à un les fichiers manuellement et vous assemblez votre shape puis le transformez dans le bon système de coordonnées.

Grâce au bash, vous n'avez qu'une ligne de commande à lancer et c'est parti!

Autre exemple que tout le monde connait: vous rentrez de vacances, vous avez pris 300 photos qui pèsent toutes 5 Mo et vous souhaitez les partager mais elles sont trop lourdes. Grâce à un bash, vous enregistrez vos photos au format JPG en choissisant votre rapport qualité/poids.

2. Ecrire un bash



  • Utilisez Notepad ++ ou le  blocnote, word, pour écrire vos bash.

  • Enregistrez le au format texte, puis renommer le manuellement en remplaçant le .txt par .sh

  • Exemple 1 : convertir vos photos


#!/bin/bash

# Compresse tous les JPG du répertoire courant 
# Les fichiers convertis sont placés dans le répertoire photos_compressees

for i in $i.JPEG
do
  echo "Processing "${i}""  
  gdal_translate -of JPEG -co QUALITY=40 "${i}" photos_compressees/${i}
  
done


  • Exemple 2 :convertir du MIF en shape puis assembler tous les shapes en un seul

#!/bin/sh
#Convertir les PARCELLES.MIF de chaque commune du cadastre en shape EPSG 2972 et les assembler en un seul shape
#Les shapes et le merge sont dans le répertoire 'PARCELLES' créé par le bash

DATA=`find . -name 'PARCELLE.MIF'`
mkdir 'PARCELLES'
j=1
for i in $DATA
do
ogr2ogr -s_srs "+proj=utm +zone=22 +ellps=GRS80 +towgs84=0,0,0,-0,-0,-0,0 +units=m +no_defs" -t_srs EPSG:2972 -f "ESRI Shapefile" 'PARCELLES\'$j.'PARCELLE.shp' $i
let "j += 1"
done
cd 'PARCELLES\'
a=`find . -name '*.shp'`
ogr2ogr -a_srs EPSG:2972 merge.shp
for z in $a
do
ogr2ogr -append -update merge.shp $z -f "Esri Shapefile"

done

3. Lancer un bash


  • Vous devez lancer votre bash dans un shell (invite de commandes) tel que Msys (installé automatiquement avec QGIS), FWtools ou encore le shell de GRASS. C'est ce dernier que j'utilise

  • Dans Qgis, créez un nouveau jeu de données dans GRASS, l'ouvrir puis cliquez sur la boite à outil GRASS

  • Lancez le shell GRASS

Déplacez vous jusqu'au répertoire ou est rangé votre bash. Perso je dépose mon bash à la racine du répertoire contenant les fichiers à convertir.

Pour vous déplacer, utilisez les commandes suivantes:

e: pour changer de disque
.. pour remonter dans l'arborescence
cd chemineversmonrepertoire pour aller dans le dossier de votre choix


  • Lancez le bash: bash nomdemonbash.sh

et c'est parti:)


lundi 10 août 2015

Se libérer du format propriétaire ECW et passer au Geotiff en gardant un super rapport qualité/poids

J'ai eu un soucis lorsque j'ai installé un serveur QGIS, associé au web client Lizmap : toutes mes orthophotos livrées par l'IGN étaient au format propriétaire ECW. Or mon serveur ne supporte pas ce format.

J'ai  voulu convertir mes ECWen un format libre tout en gardant l'avantage du poids de l'ECW.

Après avoir posté mon problème sur le forumSIG (http://www.forumsig.org/showthread.php/40755-Support-de-l-ECW),  en suivant les explications de Mdouchin, et en feintant un peu, je pense avoir trovué THE solution: passer en Geotiff !

Tout d'abord cela dépend :
- du nombre de de dalles à convertir
- de la taille des dalles à convertir
- de la présence ou non d'une bande de transparence dans vos orthos

Dans mon cas j'avais plus de 1000 dalles en ECW pour couvrir mon territoire qui étaient assemblées en une seule ortho.

1. ECW sans bande de transparence                                 

  • Conversion de l'ECW en Geotiff
gdal_translate -co COMPRESS=JPEG -co JPEG_QUALITY=90 -co PHOTOMETRIC=YCBCR -co TILED=YES -co BIGTIFF=YES -of GTiff C:/repertoire1/orthophoto.ecw C:/repertoire2/orthophoto.tiff
  • Construction des pyramides pour un affichage optimisé:
gdaladdo -r AVERAGE -ro --config JPEG_QUALITY_OVERVIEW 90 --config COMPRESS_OVERVIEW JPEG --config PHOTOMETRIC_OVERVIEW YCBCR --config INTERLEAVE_OVERVIEW PIXEL --config BIGTIFF_OVERVIEW YES -clean C:/repertoire2/orthophoto.tiff 2 4 8 16 32 64

Ajouter --config GDAL_CACHEMAX 1000 --config GDAL_MAX_DATASET_POOL_SIZE 1014 lors de la conversion et --config GDAL_CACHEMAX 1000 lors de la construction des pyramides.

Les options -co PHOTOMETRIC=YCBCR et --config PHOTOMETRIC_OVERVIEW YCBCR ne fonctionnent que sur des dalles sans bande transparente. 

Le résultat est surprenant, on peut descendre à une qualité JPEG de 40 en gardant un résultat tout à fait acceptable!

Exemple: Geotiff + pyramides = 10 Go (Dont 3.21 Go de pyramides) au lieu de 17 pour l'ecw.

    2. ECW avec bande de transparence


Ça se corse si on a une bande transparente que l'on voudrait bien garder. J'ai voulu convertir ma dalle unique mais le résultat, surtout des pyramides, était énorme en poids, donc pas acceptable dans mon cas.

Exemple: conversion d'un ECW de 10 Go en Geotiff, je me retrouve avec un fichier de 32 Go + 18 Go de pyramides.

J'ai tout testé et au final je me suis retrouvée avec des poids variables mais toujours supérieurs à l'ECW : de 8 à 40 Go pour un ECW de 2 Go au départ.

Je dispose donc de plusieurs dalles ortho, assemblées en un seul ECW de 2 Go.

J'ai tenté de convertir la dalle en entier en Geotiff puis de faire des pyramides: poids énorme!

J'ai tenté de convertir la dalle unique en VRT puis de faire les pyramides : énorme!

J'ai tenté de convertir chaque dalle en tiff puis de faire un VRT puis les pyramides: énorme!
et au final j'ai tenté de ...

  • Convertir chaque dalle ECW en Geotiff compressé à 75 (avec un bash pour la conversion en lot, cf. article sur les bash) :
gdal_translate -co COMPRESS=JPEG -co JPEG_QUALITY=75 -co  -co TILED=YES -co BIGTIFF=YES -of GTiff C:/repertoire/orthophoto.ecw C:/repertoire2/orthophoto.tiff
  • Créer pour chaque Geotiff les pyramides avec aussi un bash) :
gdaladdo -r AVERAGE -ro --config JPEG_QUALITY_OVERVIEW 75 --config COMPRESS_OVERVIEW JPEG   --config BIGTIFF_OVERVIEW YES -clean C:/repertoire2/orthophoto.tiff 2 4 8 16 32 64
  • assembler en VRT dans QGIS ou via GDAL (buildvrt)

J'obtiens en tout : pyramides + Geotiff + VRT 2.38 Go 

PS: configuration Windows 7 (je sais, je devrais être sous LINUX, c'est prévu :) )