J'ai eu l'idée de ce blog en finissant mon énième CDD et en rangeant mon bureau plein de post-its, de notes dans les coins de cahier, sur les feuilles de brouillon ...


Dommage de perdre toutes ces informations glanées au fur et à mesure des années et puis finalement pourquoi ne pas en faire profiter la sphère des heureux sigistes et fières de l'être?


J'ai travaillé sous GRASS, Arcview, ArcGis, MapInfo,QGIS et je suis devenue accroc à l'open source.


Alors voila, il était une fois ...

mardi 24 novembre 2015

Trouver des fonds cartographiques


  • Sur le net:


http://www.diva-gis.org/datadown pour les limites administratives du monde entier, les routes, population, landcover et SRTM 30

http://www.fao.org/geonetwork/srv/en/main.home pour télécharger des données par thèmes

http://earthexplorer.usgs.gov/ indispensable pour télécharger des images SRTM 30 de votre coin !


  • Afficher des fonds google, bing et openstreetmap depuis QGIS: le plugin openlayers



  • Sur DVD: les DVD fournis avec ESRI, mais seuls les rasters seront utilisables avec un autre logiciel que ArcGIS. Ceci dit très bons rasters "élévation" du monde entier!


A compléter, si vous avez des bons plans...

mardi 3 novembre 2015

Astuces pour avoir une carte la moins moche possible

La première astuce, j'ai bien envie de vous dire, serait de lire "Sémiologie graphique" de Jacques Bertin, oui c'est un gros pavé mais il faut l'avoir lu au moins uen fois dans sa vie! Pour le reste voici quelques astuces triviales pour avoir un rendu qui tient la route.

1. Se faire un répertoire "Belles cartes"


Manque d'inspiration? Peu sur de la palette de couleurs choisie? Difficulté à apprécier le rendu de la carte?

Faites vous un répertoire de cartes: dès qu'une carte sur le net, dans les infos vous plait, enregistrez-la. Vous aurez alors une cartothèque perso pour trouver l'inspiration.

Moi, c'est le blog du monde diplomatique http://www.monde-diplomatique.fr/cartes/


2. Inkscape


Pour avoir des effets intéressants tels que dégradés, ombrages...

Pour parfaire votre légende, surtout quand vous utilisez des symboles proportionnels.

Pour avoir des symboles plus aboutis, tels des ronds "3D".

Il suffit d'exporter votre carte depuis le composeur d'impression de QGIS au format svg puis de l'ouvrir dans Inskape. Vous pouvez dégrouper chaque couche et par exemple en utilisant la couche commune de métropole, obtenir un objet par commune, idem avec des couches ponctuelles Vous n'avez plus qu'à modifier les couleurs, les symboles.... Vous pouvez aussi grouper des objets et leur assigner le même style.

3. ColorPix 


Construisez vous une belle palette de couleurs dans QGIS en utilisant un outil tel que ColorPix qui permet de "piquer" les couleurs que vous trouvez sympas sur le net (cf. chapitre 1 :) )

jeudi 1 octobre 2015

Convertir des degrés minutes secondes en degrés décimaux

Parceque j'en ai eu besoin ce matin et que j'ai encore du chercher!

Dans Excel :

A1               A2                               A3                       A4                        A5 (nos DD)
41°44'23''  =GAUCHE(A1;2)      =STXT(A2;4;2)   =STXT(A2;7;6)   =B2+C2/60+D2/3600

Il doit y avoir plus simple...

Raccourci clavier pour le copyright


©alt + 0169 ou alt + 184

mercredi 30 septembre 2015

Voir plus de palettes de dégradés : cpt-city color ramp

Une astuce que je cherche et recherche à chaque fois tellement elle est planquée dans les menus de QGIS!
Pour avoir accès à plus de palettes de dégradés de couleurs: c'est ici https://docs.qgis.org/2.8/fr/docs/user_manual/working_with_vector/style_library.html

Palettes de couleur

Vous pouvez créer des palettes de couleur personnalisées en choisissant Nouvelle palette de couleur... depuis la liste déroulante Palette de couleur. Une fenêtre vous propose alors de choisir entre différents types de palette : Dégradé, Aléatoire, Mélangeur de couleur ou cpt-city. Les trois premiers permettent de choisir le nombre de couleurs et leurs positions dans la palette. Vous pouvez utiliser la case checkbox Inverser au moment de choisir les classes. Voir figure_symbology_3 pour un de ces exemples de palette et figure_symbology_3a pour les palettes de type cpt-city..
Le type cpt-city ouvre une fenêtre qui permet de choisir parmi des centaines de palettes prédéfinies.
Figure Symbology 3a:
../../../_images/cpt-cityColorRamps.png
Fenêtre cpt-city et ses centaines de palettes de couleur nix

vendredi 18 septembre 2015

Apprendre encore et encore .... à distance et gratuitement!

He oui cela existe, c'est génial et c'est ici: https://www.france-universite-numerique-mooc.fr

Par exemple les MOOCs de python et de R ont commencé ce lundi, très utiles couplés à QGIS, inscrivez-vous!



mercredi 2 septembre 2015

Bash, vous avez dit bash?

Dans un précédent article, je parlais de "bash", mais kezako et surtout comment le lance-t-on?

N'étant pas informaticienne, je vous dirais juste qu'un bash est un script qui permet d'automatiser certaines procédures fastidieuses en utilisant par exemple des commandes OGR/GDAL ou grass. C'est l'équivalent du batch sous windows, sauf que lui se lance dans un shell Unix/Linux.

Ouh la me direz-vous, je suis sous windows et je vous répondrais: aucun soucis, moi aussi :)

1. Utilité du bash


Vous recevez par exemple le nouveau cadastre, vous le recevez à peu près 2 fois par an. On vous livre des fichiers Mif/Mid répartis  par dossiers "commune" et contenant entre autres fichiers: parcelles.mif et bati.mif. 

Or vous travaillez sous Qgis, vous préféreriez donc des shapes et vous voudriez votre cadastre non pas par commune mais agrégé en un seul shape. Les Mifs sont en WGS 84 mais vous les voulez dans un système de coordonnées projetées tel que l'EPSG 2972 (Guyane).

Chaque année vous convertissez donc un à un les fichiers manuellement et vous assemblez votre shape puis le transformez dans le bon système de coordonnées.

Grâce au bash, vous n'avez qu'une ligne de commande à lancer et c'est parti!

Autre exemple que tout le monde connait: vous rentrez de vacances, vous avez pris 300 photos qui pèsent toutes 5 Mo et vous souhaitez les partager mais elles sont trop lourdes. Grâce à un bash, vous enregistrez vos photos au format JPG en choissisant votre rapport qualité/poids.

2. Ecrire un bash



  • Utilisez Notepad ++ ou le  blocnote, word, pour écrire vos bash.

  • Enregistrez le au format texte, puis renommer le manuellement en remplaçant le .txt par .sh

  • Exemple 1 : convertir vos photos


#!/bin/bash

# Compresse tous les JPG du répertoire courant 
# Les fichiers convertis sont placés dans le répertoire photos_compressees

for i in $i.JPEG
do
  echo "Processing "${i}""  
  gdal_translate -of JPEG -co QUALITY=40 "${i}" photos_compressees/${i}
  
done


  • Exemple 2 :convertir du MIF en shape puis assembler tous les shapes en un seul

#!/bin/sh
#Convertir les PARCELLES.MIF de chaque commune du cadastre en shape EPSG 2972 et les assembler en un seul shape
#Les shapes et le merge sont dans le répertoire 'PARCELLES' créé par le bash

DATA=`find . -name 'PARCELLE.MIF'`
mkdir 'PARCELLES'
j=1
for i in $DATA
do
ogr2ogr -s_srs "+proj=utm +zone=22 +ellps=GRS80 +towgs84=0,0,0,-0,-0,-0,0 +units=m +no_defs" -t_srs EPSG:2972 -f "ESRI Shapefile" 'PARCELLES\'$j.'PARCELLE.shp' $i
let "j += 1"
done
cd 'PARCELLES\'
a=`find . -name '*.shp'`
ogr2ogr -a_srs EPSG:2972 merge.shp
for z in $a
do
ogr2ogr -append -update merge.shp $z -f "Esri Shapefile"

done

3. Lancer un bash


  • Vous devez lancer votre bash dans un shell (invite de commandes) tel que Msys (installé automatiquement avec QGIS), FWtools ou encore le shell de GRASS. C'est ce dernier que j'utilise

  • Dans Qgis, créez un nouveau jeu de données dans GRASS, l'ouvrir puis cliquez sur la boite à outil GRASS

  • Lancez le shell GRASS

Déplacez vous jusqu'au répertoire ou est rangé votre bash. Perso je dépose mon bash à la racine du répertoire contenant les fichiers à convertir.

Pour vous déplacer, utilisez les commandes suivantes:

e: pour changer de disque
.. pour remonter dans l'arborescence
cd chemineversmonrepertoire pour aller dans le dossier de votre choix


  • Lancez le bash: bash nomdemonbash.sh

et c'est parti:)


jeudi 20 août 2015

Le Méridien de Greenwich ne se trouve pas là où nous le croyons... il est 102 mètres trop à l'ouest

Source: http://www.atlantico.fr/decryptage/meridien-greenwich-ne-se-trouve-pas-ou-croyons-est-102-metres-trop-ouest-2289658.html

Le Méridien de Greenwich ne se trouve pas là où nous le croyons... il est 102 mètres trop à l'ouest

Le décalage entre le point de marquage du méridien et l'endroit où il se trouve vraiment a été découvert dans les années 1960.
En cherchant le célèbre méridien de Greenwich (ou premier méridien) avec un GPS, il est possible d'observer que cette ligne nord-sud se trouvant à une longitude zéro est marquée de manière inexacte. Le GPS ne conduit pas l'utilisateur sur le monument qui est censé marquer le premier méridien, mais indique un autre point qui se situe 102 mètres plus loin, à l'est. 
Le décalage entre le point de marquage du méridien et l'endroit où il se trouve vraiment a été découvert dans les années 1960 lorsque les satellites ont commencés à être utilisés pour la localisation précise. Il y a plusieurs décennies, la position du méridien a été déterminée avec du mercure. La surface de ce liquide était connue pour être parallèle à la Terre, avec un niveau de précision alors considéré comme très satisfaisant. Mais les GPS dont nous nous servons massivement aujourd'hui s'avèrent bien plus précis que ce procédé, et cette faille conséquente n'a pu être expliquée que très récemment. 
Des scientifiques de l'Université de Virginie ont découvert que l'aplatissement de la Terre au niveau des pôles est la cause de ce décalage de coordonnées.
Le GPS prend en considération la légère bosse présente à la surface de la Terre, ainsi que sa gravité irrégulière, et les lignes de longitude ne s'étendent pas sur notre planète aussi harmonieusement que ne l'indiquent les données exactes de l'astronomie. Les résultats de ces travaux ont été publiés dans la revue Geodesy. 
Sur ce cliché satellite, se trouve le monument censé marquer le méridien, et sa localisation réelle, 102 mètres plus à l'est.
image: http://www.atlantico.fr/sites/atlantico.fr/files/u61243/2015/08/greenwich_2.jpg


"Je pense qu'il serait opportun de placer un marqueur sur la position réelle du méridien, cela pourrait apporter une explication précise aux personnes qui utilisent un GPS et ne comprennent pas cette anomalie. Cela indiquerait où se trouve le 'GPS zéro', une sorte de nouvelle attraction pour les touristes" commente Ken Seidelmann, chercheur à l'Université de Virginie, pour le site IFLScience. 
Selon le docteur Marek Kukula, les personnels présents sur le site demande régulièrement des explications sur cette anomalie. Mais la situation du méridien de Greenwich n'est pas une exception. Les scientifiques ont découvert que les marqueurs de nombreuses autres lignes de longitude à travers le monde ne sont pas exacts. Les travaux des chercheurs révèlent également que ces décalages ne sont pas identiques selon les méridiens, et varient d'un endroit à l'autre du globe, ce qui confirme les théories des scientifiques sur la gravité. Le plus gros écart relevé a été observé en Amérique du Sud, au Chili, où les équipements astronomique se situent à haute altitude dans les montagnes. Si cette récente étude n' pas provoqué de chamboulement dans le monde scientifique, ces nouvelles découvertes constituent un nouveau défi aux allures de puzzle, que les puristes et les spécialistes se réjouiront de reconstituer. 

Read more at http://www.atlantico.fr/decryptage/meridien-greenwich-ne-se-trouve-pas-ou-croyons-est-102-metres-trop-ouest-2289658.html#UtbvxKIYa3ktsX7u.99

lundi 10 août 2015

Se libérer du format propriétaire ECW et passer au Geotiff en gardant un super rapport qualité/poids

J'ai eu un soucis lorsque j'ai installé un serveur QGIS, associé au web client Lizmap : toutes mes orthophotos livrées par l'IGN étaient au format propriétaire ECW. Or mon serveur ne supporte pas ce format.

J'ai  voulu convertir mes ECWen un format libre tout en gardant l'avantage du poids de l'ECW.

Après avoir posté mon problème sur le forumSIG (http://www.forumsig.org/showthread.php/40755-Support-de-l-ECW),  en suivant les explications de Mdouchin, et en feintant un peu, je pense avoir trovué THE solution: passer en Geotiff !

Tout d'abord cela dépend :
- du nombre de de dalles à convertir
- de la taille des dalles à convertir
- de la présence ou non d'une bande de transparence dans vos orthos

Dans mon cas j'avais plus de 1000 dalles en ECW pour couvrir mon territoire qui étaient assemblées en une seule ortho.

1. ECW sans bande de transparence                                 

  • Conversion de l'ECW en Geotiff
gdal_translate -co COMPRESS=JPEG -co JPEG_QUALITY=90 -co PHOTOMETRIC=YCBCR -co TILED=YES -co BIGTIFF=YES -of GTiff C:/repertoire1/orthophoto.ecw C:/repertoire2/orthophoto.tiff
  • Construction des pyramides pour un affichage optimisé:
gdaladdo -r AVERAGE -ro --config JPEG_QUALITY_OVERVIEW 90 --config COMPRESS_OVERVIEW JPEG --config PHOTOMETRIC_OVERVIEW YCBCR --config INTERLEAVE_OVERVIEW PIXEL --config BIGTIFF_OVERVIEW YES -clean C:/repertoire2/orthophoto.tiff 2 4 8 16 32 64

Ajouter --config GDAL_CACHEMAX 1000 --config GDAL_MAX_DATASET_POOL_SIZE 1014 lors de la conversion et --config GDAL_CACHEMAX 1000 lors de la construction des pyramides.

Les options -co PHOTOMETRIC=YCBCR et --config PHOTOMETRIC_OVERVIEW YCBCR ne fonctionnent que sur des dalles sans bande transparente. 

Le résultat est surprenant, on peut descendre à une qualité JPEG de 40 en gardant un résultat tout à fait acceptable!

Exemple: Geotiff + pyramides = 10 Go (Dont 3.21 Go de pyramides) au lieu de 17 pour l'ecw.

    2. ECW avec bande de transparence


Ça se corse si on a une bande transparente que l'on voudrait bien garder. J'ai voulu convertir ma dalle unique mais le résultat, surtout des pyramides, était énorme en poids, donc pas acceptable dans mon cas.

Exemple: conversion d'un ECW de 10 Go en Geotiff, je me retrouve avec un fichier de 32 Go + 18 Go de pyramides.

J'ai tout testé et au final je me suis retrouvée avec des poids variables mais toujours supérieurs à l'ECW : de 8 à 40 Go pour un ECW de 2 Go au départ.

Je dispose donc de plusieurs dalles ortho, assemblées en un seul ECW de 2 Go.

J'ai tenté de convertir la dalle en entier en Geotiff puis de faire des pyramides: poids énorme!

J'ai tenté de convertir la dalle unique en VRT puis de faire les pyramides : énorme!

J'ai tenté de convertir chaque dalle en tiff puis de faire un VRT puis les pyramides: énorme!
et au final j'ai tenté de ...

  • Convertir chaque dalle ECW en Geotiff compressé à 75 (avec un bash pour la conversion en lot, cf. article sur les bash) :
gdal_translate -co COMPRESS=JPEG -co JPEG_QUALITY=75 -co  -co TILED=YES -co BIGTIFF=YES -of GTiff C:/repertoire/orthophoto.ecw C:/repertoire2/orthophoto.tiff
  • Créer pour chaque Geotiff les pyramides avec aussi un bash) :
gdaladdo -r AVERAGE -ro --config JPEG_QUALITY_OVERVIEW 75 --config COMPRESS_OVERVIEW JPEG   --config BIGTIFF_OVERVIEW YES -clean C:/repertoire2/orthophoto.tiff 2 4 8 16 32 64
  • assembler en VRT dans QGIS ou via GDAL (buildvrt)

J'obtiens en tout : pyramides + Geotiff + VRT 2.38 Go 

PS: configuration Windows 7 (je sais, je devrais être sous LINUX, c'est prévu :) )













mercredi 5 août 2015

Paramétrer les couleurs d'un symbole svg créé sous Inkscape:

C'est sympa de créer ce fameux rond dégradé sous Inkscape, ce dégradé qui crée l'illusion de la 3D et de l'utiliser comme symbole dans Qgis, mais recréer et ré-importer ce symbole chaque fois que l'on veut changer sa couleur, ça devient vite lourd, heureusement il y a ce tuto sur le super site du "portail SIG" :

http://www.portailsig.org/content/ajouter-et-personnaliser-des-symboles-svg-depuis-qgis

Il suffit donc d'éditer, via notepad ++, par exemple, le fichier SVG et de remplacer certains paramètres:


  • fill="param(fill)#010101 que l'on remplace par fill="param(fill)#FFF pour modifier le remplissage
  • stroke="param(outline)"#000" modifie la couleur de bordure
  • sroke-width="param(outline-width) 1" modifie l'épaisseur du contour
  • etc,

Pour aller plus loin aller visiter la page citée ci-dessus :)

Quelle est cette projection

Parceque cela nous arrive à tous .... On nous file, on récupère des données sans système de coordonnées et maintenant ô miracle, on va voir sur ce site génial:

http://dogeo.fr/_apps/projection/

vendredi 24 juillet 2015

Mes plugins QGIS de rêve


  • L'indispensable Group Stats
  • Le merveilleux sextante pour les nuls en GRASS
  • Profile tool pour un profil de rêve
  • Openlayer plugin
  • MMQGIS
  • Spit
  • Lizmap
  • Zoomtocoordinate
  • ...

La panoplie du parfait Sigiste

Forcément il a QGIS installé sur son PC mais aussi:

  • Pour stocker ses données
    • PostgreSQL (et donc pgadmin)

    • Pour faire de jolies cartes
      • Inkscape
      • ColorPix
      • Paint.net
    • Pour se faciliter la vie
      • Talend ETL
      • FWTools
      • OGR/GDAL
      • Notepad ++
    • Pour avoir un beau serveur cartographique
      • Apache
      • WinSCP
      • LizMap
      • Putty

    et j'en oublie ... J'actualiserais cette liste au fur et à mesure de mes découvertes.

    Le SRTM 30 en accès libre ou comment avoir de jolies courbes de niveaux et un beau MNT grâce à QGIS

    Le SRTM 30 (Shuttle Radar Topography Mission, topographie avec un pas de 30 m, pour mémoire nous n'avions jusqu'ici que le 90 m) est enfin téléchargeable gratuitement depuis la plateforme Earth Explorer de l'USGS depuis le 23 septembre 2014.
    Il suffit de se rendre à cette adresse: http://earthexplorer.usgs.gov/ et commencer par créer un compte si vous n'en avez pas (une authentification est indispensable pour pouvoir télécharger les données). Vous devez ensuite remplir le formulaire comme suit pour pouvoir télécharger les dalles au format tif. :
    • Rentrez Guyane française dans le champ "Adress place", cliquez sur "Show", puis sélectionnez la première et unique entrée du tableau proposé :
      1Guyane française3.9339-53.1258
    • Un marqueur se place sur la carte. Zoomez sur la carte pour avoir l'emprise de la Guyane, puis cliquez sur "use map". En de-zoomant, vous aurez l'emprise sélectionnée que vous pouvez modifier sur laquelle vous allez chercher vos dalle
    • vous pouvez alors cliquer sur Data set :  les résultats s'affichent
    • dans la barre de recherche commencez à saisir "SRTM" et choissisez SRTM 1 Arc-second Global
    • téléchargez toutes les dalles
    Que faire avec ces dalles?
    • Les assembler : créer un raster virtuel dans QGIS (Raster/Divers/Construire un raster virtuel (catalogue vrt)
    MNT
    • Créer un ombrage, des pentes :  passer soit directement en ligne de commande avec la commande "gdaldem hillshade" (cette méthode m'a permis d'obtenir un tif qui s'ouvre dans MapInfo, alors qu'en passant par QGIS, impossible de l'ouvrir) soit  par QGIS Raster / Analyse de terrain ou Raster/ Analyse/ MNT DEM (attention à l'azimut, 315 et 75 degrés semblent un bon compromis)
    ombrage
    • Créer des courbes de niveau : Raster/Extraction/Création des contours (je suis d'ailleurs impressionnée par la vitesse d'affichage de cette couche dans QGIS 2.6). Attention il reste des "trous" (nodata) dans les images SRTM qui induisent des biais lors de la création des courbes. Il faut corriger ce problème en passant le MNT dans Grass et en utilisant la commande r.fillnulls (qui va interpoler les nodata).
    CN

    • Créer un profil avec Profile tool
    Et au final voici le résultat  :
    SRTM30