3Liz

Sortie de Lizmap Web Client 3.8

2024-10-17T12:00:00+02:00

Lizmap Web Client 3.8

Nous sommes heureux d'annoncer la sortie de Lizmap Web Client 3.8, la nouvelle version majeure de l'application.

Financeurs

Pré-requis et installation

Il est désormais requis d'avoir un QGIS serveur minimum 3.28. Cependant, nous recommandons fortement d'utiliser une version LTR plus récente, comme la version 3.34. Consultez la feuille de route QGIS.

Pour utiliser pleinement cette version 3.8, n'oubliez pas de mettre à jour votre extension Lizmap dans QGIS bureautique. Nous avons écrit un article dédié sur cette version.

Fonctionnalités

Demande de tuile unique pour toutes les couches

Jusqu'à la version 3.7, Lizmap Web Client effectuait une requête HTTP au serveur QGIS par couche visible.

Désormais, grâce à Faunalia qui a contribué au code source, Lizmap Web Client peut effectuer une seule requête HTTP GetMap à QGIS Serveur pour toutes les couches visibles (sauf pour les couches ayant un cache actif).

Les deux méthodes ont des avantages et des inconvénients. Cette nouvelle option de l'extension peut être très utile pour les projets lourds.

Petite astuce également disponible sur la dernière version 3.7, il est désormais possible de désactiver le permalien automatique avec la case à cocher.

Cette nouveauté a été financée par Etra.

Accrochage

Lorsque l'accrochage est activé sur une couche, l'utilisateur peut désormais sélectionner dans l'interface Web sur quelle couche s'accrocher.

Cette nouvelle fonctionnalité a été développée par Faunalia et financée par Etra.

Infobulle

La fonctionnalité d'Infobulle de Lizmap Web Client a été grandement améliorée dans cette dernière version. Avant, côté gauche de la capture d'écran, vous ne pouviez sélectionner qu'un champ à afficher lorsque vous survoliez une entité dans le navigateur Web. Maintenant, comme nous pouvons voir sur le côté droit, nous pouvons écrire un modèle HTML. Comme cela peut prendre en charge des expressions QGIS, nous vous encourageons à migrer votre "ancienne" configuration pour ajouter du HTML.

Cette nouveauté a été financée par le PNR Ballons des Vosges.

Navigation sur la carte

En raison de la transition, sous le capot, d'OpenLayers 2 vers OpenLayers 10, la transition entre les différents le niveau de zoom est désormais plus fluide que dans la version 3.7.

Dans 3.7, le choix dans Lizmap concernant la légende était de suivre exactement ce que faisait QGIS Bureautique lors d'un clic dans la légende sur les groupes, sous-groupes et couches.

Après quelques retours d'utilisateurs, nous avons introduit le double clic dans la légende pour basculer tous les éléments enfants.

Filtrage par attribut

Lorsqu'une couche dispose d'un filtrage attributaire sur les utilisateurs ou les groupes, il est désormais possible d'avoir une liste de valeurs séparées par des virgules dans le champ :

id	name	filter_field
1	one	group_a,group_b
2	two	group_b
3	three	group_b,all
4	four	all

Cette nouvelle fonctionnalité a été financée par le département du Calvados.

Numérisation et relations au sein du projet

Pour les relations 1:n et n:m, lorsqu'elles sont dans une popup, les éléments enfants sont correctement placés à l'intérieur de la popup parent selon la configuration QGIS Glisser&Déposer.

Le même comportement existe lors de la modification d'une entité.

De nouveaux boutons pour ajouter des entités liées ont été ajoutés, par exemple dans la table attributaire ci-dessous :

Cette nouvelle fonctionnalité a été développée par Faunalia et financée par Etra.

Lors de la numérisation, il y a un bouton Effacer tout.

Popup

Nous avons introduit un nouveau composant HTML lizmap-features-table pour avoir une liste compacte d'entités et les étiquettes d'une couche vecteur. Le Nom d'affichage (Display name) de QGIS est utilisé comme étiquette de l'entité : une expression peut être utilisée pour modifier son contenu, configuré dans l'onglet Info-bulle des propriétés de la couche vecteur de QGIS. Par exemple :

CONCAT("quartiers_libquart", ' - ', "libsquart", ' (', to_int(area(@geometry)/10000), ' ha)')

produira un texte comme MONTPELLIER CENTRE - Les Aubes (85 ha)

Vous pouvez trouver plus d'informations sur la page dédiée sur GitHub sur la syntaxe de ce composant HTML.

Cette nouveauté a été financée par la ville d'Avignon.

Administration

Dans le panneau d'administration, sur la page Information serveur, similaire à la liste des extensions QGIS Serveur installées, on peut désormais retrouver la liste des modules Lizmap installés, avec sa version correspondante.

Concernant les extensions, nous avons ajouté un lien HTML vers la page d'accueil de l'extension, afin de vous guider vers quelques informations complémentaires. Cette dernière fonctionnalité viendra également sur les modules plus tard.

Chargement du JavaScript

Si un JavaScript génère une erreur lors du chargement de la carte, il existe désormais un bouton pour ouvrir temporairement la carte sans JavaScript complémentaire grâce au paramètre no_user_defined_js=1 dans l'URL. Cela vous permet de charger la carte et vérifiez si l'erreur provient d'un script complémentaire.

En passant, nous avons également travaillé sur XSS. Ce travail a commencé il y a quelques versions (en 3.6), mais maintenant en 3.8, il n'est plus possible d'intégrer directement du code JavaScript dans l'info-bulle HTML de QGIS. Vous devez utiliser un fichier *.js dédié.

Sous le capot

La carte OpenLayers 10 est maintenant par-dessus la carte "historique" OpenLayers 2. Certains outils ont été migrés d'OpenLayers 2 vers OpenLayers 10, comme les popups et la localisation par surbrillance d'une couche. Par conséquent, cette version supprime à nouveau certaines dépendances d'OpenLayers 2.

Vous devrez peut-être adapter des scripts JavaScript complémentaires définis par l'utilisateur pour dessiner vos couches OpenLayers par-dessus la carte OpenLayers 10, par exemple.

Documentation sur le code

Depuis la version 3.7, de nombreuses refactorisations de code ont été effectuées du côté JavaScript et PHP. Nous pouvons désormais fournir une documentation HTML sur ces deux langages. Elles sont disponibles sur docs.3liz.org par exemple pour PHP ou pour JavaScript.

Nous vous recommandons fortement d'utiliser la nouvelle API JavaScript lors de l'écriture d'un script JavaScript complémentaire personnalisé.

Téléchargement

Vous pouvez télécharger le dernier zip sur notre page des sorties.

Pensez à installer la dernière version 3.8.X (et non pas 3.8.0 par exemple)

Vous pouvez également consulter la liste des modifications complètes ("changelog") de la version 3.8.0, en anglais.

Modules

À la date du 15 octobre 2024, voici la liste des modules qui ont été mis à jour pour 3.8 :

Les autres modules sont en cours.

Nous espérons que vous allez apprécier cette nouvelle version 🦎

L'équipe 3Liz

Release of Lizmap Web Client 3.8

2024-10-17T12:00:00+02:00

Lizmap Web Client 3.8

3Liz is pleased to announce the release of Lizmap Web Client 3.8, the new major version of the application.

Funders

Pre-requirements and installation

It is now required to have a minimum QGIS server 3.28. However, we highly recommend using the latest LTR version, i.e. version 3.34. Check the QGIS roadmap.

To take full advantage of this version 3.8, don't forget to update your Lizmap plugin in QGIS desktop. We've written an article dedicated to this version.

Features

Single tile request for all layers

Until version 3.7, Lizmap Web Client was doing one HTTP request to QGIS server per visible layer.

Now, thanks to Faunalia which contributed to the source code, Lizmap Web Client can make a single HTTP request GetMap to QGIS Server for all visible layers (except for layers having a cache enabled).

Both methods have strengths and weaknesses. This new option in the plugin, can be very useful for heavy projects.

Quick tip which is available on latest 3.7 as well, it's now possible to disable the automatic permalink with the checkbox.

This new feature have been funded by Etra.

Snapping

When snapping is enabled on a layer, the user can now select from the web interface on which layer to snap on.

This new feature have been developed by Faunalia and funded by Etra.

Tooltip

The "Tooltip" feature in Lizmap Web Client got a great improvement in this latest version. Before, on the left side of the screenshot, you could only select one field to display while hovering a feature in the web browser. Now, as we can see on the right side, we can write an HTML template. We can support QGIS expression, se we encourage you to migrate your "old" configuration to add some nice HTML.

This new feature have been funded by PNR Ballons des Vosges.

Map viewer

Due to the transition, under the hood, from OpenLayers 2 to OpenLayers 10, the map transition between different zoom level is now smoother than in the 3.7 release.

In 3.7, the choice in Lizmap about the legend was to follow exactly what QGIS Desktop is doing when clicking in the legend about groups, subgroups and layers.

After some user feedbacks, we could introduce the double click in the legend to toggle all child items.

Attribute filter

When a layer has an attribute filtering about user or groupes, it's now possible to have a comma separated list of values in the field :

id	name	filter_field
1	one	group_a,group_b
2	two	group_b
3	three	group_b,all
4	four	all

This new feature have been funded by Calvados province.

Digitizing and relations within the project

For both 1:n and n:m relations, when displayed in a popup, the child items are correctly placed inside the parent popup according to the QGIS Drag&Drop configuration relations have been improved.

The same behavior exists when editing a feature.

New buttons to add linked features have been added, for instance in the attribute table below :

This new feature have been developed by Faunalia and funded by Etra.

When digitizing, there is a button Erase all.

Popup

We have introduced a new HTML component lizmap-features-table to have a nice compact list of vector layer features and labels.

The QGIS Display name is used as the feature label: an expression can be used to tweak its content, configured in the Tooltip tab of the QGIS vector layer properties. For example:

CONCAT("quartiers_libquart", ' - ', "libsquart", ' (', to_int(area(@geometry)/10000), ' ha)')

will produce a text like MONTPELLIER CENTRE - Les Aubes (85 ha)

You can find more information on the dedicated page on GitHub about the syntax of this HTML component.

This new feature have been funded by Avignon city.

Administration

In the administration panel, on the Server information page, similar to the list of QGIS Server plugins installed, we can now find the list of Lizmap modules installed with its own version.

About the plugins, we have added an HTML link to the plugin home page, we can lead you to some information about the plugin itself. This latest feature will come as well on modules later.

JavaScript loading

If a JavaScript raises an error while loading the map, there is now a button to temporarily open the map without additional user JavaScript script thanks to the flag in the no_user_defined_js=1. This allows you to ty the map and check if the error come from an additional script.

Side note, we have also worked on XSS. This work started a few version ago (in 3.6), but now in 3.8, it's not possible to embed JavaScript code into QGIS HTML maptip directly. You must use a dedicated *.js file.

Under the hood

The OpenLayers 10 map is now on top on the legacy OpenLayers 2 map. Some tools were migrated from OpenLayers 2 to OpenLayers 10, like popup and locate by layer highlight. Therefore, this version removes again some OpenLayers 2 dependencies.

You might need to adapt some additional user defined JavaScript to draw your OpenLayers layers on top of the OpenLayers 10 map for instance.

Documentation about the code

Since version 3.7, a lot of code refactoring was done on the JavaScript and PHP side. Therefore, we can now provide an HTML documentation about these two languages. Both are available on docs.3liz.org for instance for PHP or for JavaScript.

We strongly recommend you to use the new JavaScript API when writing custom additional JavaScript script.

Javascript

Due to the work which have been done during the legend or other features in Lizmap, some previous Javascript script might not work anymore and need to be adapted.

Download

You can download the latest zip on our releases page.

Do not forget to install the latest 3.8.X (and not 3.8.0 for instance).

You can also check the full changelog of version 3.8.0.

Modules

As of October 15th 2024, this is the list of modules which have been released for 3.8 :

Other modules are work-in-progress.

We hope you will enjoy this new version 🦎

The 3Liz team

Sortie de Lizmap Web Client 3.7

2024-01-29T12:00:00+01:00

Lizmap Web Client 3.7

Nous sommes heureux d'annoncer la sortie de Lizmap Web Client 3.7, la nouvelle version majeure de l'application.

Financeurs

Pré-requis et installation

Il est désormais requis d'avoir un QGIS serveur minimum 3.22. Cependant, nous recommandons fortement d'utiliser une version LTR plus récente, comme la version 3.28 ou bien même la prochaine version LTR 3.34. Consultez la feuille de route QGIS.

Pour utiliser pleinement de cette version 3.7, n'oubliez pas de mettre à jour votre extension Lizmap dans QGIS bureautique. Nous avons écrit un article dédié sur cette nouvelle version.

Fonctionnalités

Refonte du thème par défaut

Un nouveau thème est disponible, apportant une interface utilisateur plus à jour. Il est désormais également plus facile de mettre à jour ces couleurs, car cela a été centralisé en utilisant seulement quelques variables CSS.

Dataviz

Dans l'extension, vous pouvez trouver de nouveaux paramètres pour chaque graphique. Par exemple, il est possible de définir deux titres différents, selon l'endroit où le graphique est affiché : soit dans le panneau principal de visualisation de données, soit dans une popup.

La principale nouvelle fonctionnalité est la mise en page par Glisser&Déposer. Nous nous sommes inspirés de la fonctionnalité native de QGIS concernant la Mise en page du formulaire Glisser-Déposer. Dans Lizmap, lorsque vous avez de nombreux graphiques à afficher, vous pouvez les organiser en onglets ou conteneurs.

Dans QGIS, voici un exemple de mise en page des graphiques :

et voici le résultat dans Lizmap Web Client :

Ces nouvelles fonctionnalités ont été financées par DDTM 34.

Légende

C'est l'une des fonctionnalités les plus visibles et attendues de Lizmap, il est possible de cocher/décocher les éléments de la légende individuellement.

Nous avons également revu la façon dont Lizmap gérait les couches de base dans le projet (fonds de carte). Les utilisateurs sont désormais invités à utiliser le groupe baselayers dans la légende pour définir les couches de base. À l'aide d'une version à jour de l'extension, vous pouvez utiliser l'onglet "Fonds" pour vous aider.

Nous avons également décidé d'utiliser le même comportement que dans QGIS Bureautique concernant la manière dont les utilisateurs manipulent la légende. Désormais, lors de l'activation d'un groupe, toutes les couches incluses dans ce groupe ne seront pas activées automatiquement.

Pour inclure ces nouvelles fonctionnalités, beaucoup de re-factorisation du code Javascript ont été réalisées sous le capot, financées par le département du Calvados et Le Grand Narbonne.

Mise en page

Dans l'extension, un nouveau panneau sur les mises en page a été ajouté. Vous êtes invités à jeter un œil à ces nouveaux paramètres. Il est possible de :

définir par mise en page si nous l'activons ou non sur l'interface Web. Avant, il était seulement possible de choisir d'activer ou non l'impression à l'échelle des propriétés du projet
définir les groupes Lizmap qui sont autorisés à accéder à chaque mise en page
définir une icône personnalisée lorsque la mise en page est basée sur un atlas.
réduire le nombre de formats disponibles. Plus besoin de Javascript pour avoir une interface simplifiée
...

Ces nouvelles fonctionnalités ont été financées par DDTM 34.

Edition

WebDAV

Faunalia a contribué directement au code source de Lizmap en ajoutant le support WebDAV dans le formulaire d'édition lorsque l'outil d'édition a été défini sur stockage WebDAV. Vous pouvez consulter la documentation en ligne. Cela fonctionne également lors de l'affichage de la popup.

Relations entre les tables

Le support des relations 1-n entre tables a été amélioré lors de l'édition de ces couches :

Ajout d'une nouvelle entité "enfant" depuis la popup d'un parent
Affichage du tableau des entités "enfants" depuis le formulaire d'édition d'un parent

Ces améliorations des relations 1-n ont été financées à la fois par la ville d'Avignon et Valabre.

Dessin

Texte et mesure

Il est possible d'annoter la carte avec du texte dans l'outil de dessin. Les mesures ont également été améliorées.

Ces fonctionnalités ont été financées par le Territoire de Belfort et Lons-le-Saunier.

Contraintes

Lors du dessin de certaines géométries sur Lizmap, vous pouvez désormais définir une contrainte de longueur et/ou d'angle.

Action

De nouveaux "contextes" ont été ajoutés à la fonctionnalité Actions. Avant, les actions n'étaient disponibles que pour le contexte d'entité. Avec la version 3.7, les actions peuvent être définies dans le contexte couche (similaire à la fonctionnalité native de QGIS) ou même au niveau duprojet.

Ces nouveautés ont été financées par Porte du Soleil.

Javascript

En raison du travail qui a été effectué lors de la légende ou d'autres fonctionnalités de Lizmap, certains scripts Javascript précédents pourraient ne plus fonctionner et devront être adaptés.

Bonne nouvelle, certains de ces anciens scripts pourraient ne plus être nécessaires. Par exemple, à propos de la légende, vous êtes invités à passer au thème QGIS natif.

Téléchargement

Vous pouvez télécharger le dernier zip sur notre page des sorties.

Vous pouvez également consulter la liste des modifications complètes ("changelog") de la version 3.7.0, en anglais.

Modules

À la date du 29 janvier 2024, voici la liste des modules qui ont été mis à jour pour 3.7 :

Les autres modules sont en cours.

Nous espérons que vous allez apprécier cette nouvelle version 🦎

L'équipe 3Liz

Release of Lizmap Web Client 3.7

2024-01-29T12:00:00+01:00

Lizmap Web Client 3.7

3Liz is pleased to announce the release of Lizmap Web Client 3.7, the new major version of the application.

Funders

Pre-requirements and installation

It is now required to have a minimum QGIS server 3.22. However, we highly recommend using the latest LTR version, i.e. version 3.28 or even soon the next LTR version 3.34. Check the QGIS roadmap.

To take full advantage of this version 3.7, don't forget to update your Lizmap plugin in QGIS desktop. We've written an article dedicated to this new version.

Features

Overhaul of the default theme

A new theme is available, bringing a more up-to-date UI. It's now also easier to update these colors, because it has been centralized using just a few CSS variables.

Dataviz

In the plugin, you can find new settings about each plot. For instance, it's possible to set two different titles, depending on where the plot is displayed : either in the main dataviz panel or within a popup.

The main new feature is the Drag&Drop layout. We have been inspired by the native feature in QGIS about the Drag&Drop form layout. In Lizmap, when you have many plots to display, you can organize them in tabs or containers.

In QGIS, this is an example of the layout :

and the result in Lizmap Web Client :

These new features have been funded by DDTM 34.

Legend

This is one of the most visible and expected feature in Lizmap, it's possible to check/uncheck the legend items individually.

We also reviewed the way Lizmap was managing base layers in the project. Users are now invited to use the baselayers group in the legend to define your base layers. With an updated version of the plugin, use the "Baselayers" tab to help you.

We also decided to stick to the same behavior as in QGIS Desktop on how users are manipulating the legend. Now, when enabling a group, it will not toggle "ON" all layers included within this group.

To include these new features, a lot of Javascript refactoring has been done under the hood, funded by both Calvados province and Le Grand Narbonne.

Layouts

In the plugin, a new panel about layouts landed. You are invited to have a look to these new settings. It's possible to :

set per layout if we enable it or not on the web interface. Before, it was only possible to choose to enable or not printing capabilities at the project level.
define Lizmap groups which are allowed to access this layout
define a custom icon when the layout is based on an atlas.
reduce the number of formats available. No more Javascript needed to have a simplified interface
...

These new features have been funded by DDTM 34.

Editing

WebDAV

Faunalia contributed directly on the Lizmap source code by adding WebDAV support in form when the editing widget has been set to WebDAV storage, check the online documentation. It works as well when displaying the popup.

Relations between tables

The support of relations 1-n between tables has been improved when editing these layers :

Adding new "child" features from the popup of a parent
Displaying the table of "child" features from the editing form of a parent

These improvements about relations 1-n were funded by both Avignon city and Valabre.

Drawing

Text and measures

It's possible to annotate the map with some text in the drawing tool. Measures have been improved as well.

These features were funded by Territoire de Belfort and Lons-le-Saunier.

Constraints

When digitizing some geometries on Lizmap, you can now set some length and/or angle constraints.

Actions

Some new scopes have been added the Actions feature. Before, it was only the feature scope. With 3.7, Actions can be defined in the layer scope or (similar to QGIS native actions feature) or even in the project scope.

These new features have been funded by Porte du Soleil.

Javascript

Due to the work which have been done during the legend or other features in Lizmap, some previous Javascript script might not work anymore and need to be adapted.

Good news, some of these legacy scripts might not be needed anymore. For instance, about the legend, you are invited to switch to the native QGIS theme feature.

Download

You can download the latest zip on our releases page.

You can also check the full changelog of version 3.7.0.

Modules

As of January 29rd 2024, this is the list of modules which have been released for 3.7 :

Other modules are work-in-progress.

We hope you will enjoy this new version 🦎

The 3Liz team

Sortie extension Lizmap 4.0.0 pour QGIS

2023-12-15T17:00:00+01:00

Nouvelles fonctionnalités sur la validation des projets

Lors de la publication d'un projet avec le serveur QGIS, il existe quelques problèmes connus lorsque le serveur doit charger le projet :

Une couche est visible dans QGIS bureautique, mais malheureusement absente dans QGIS serveur.
Le temps de chargement par QGIS serveur du projet est trop long.

Ces problèmes peuvent avoir différentes sources :

Une couche invisible dans QGIS serveur :
- Est-ce que le service PostgreSQL est bien configuré côté serveur ?
- Est-ce que le fichier utilisé pour la couche (FlatGeobuf, Geotiff…) est bien accessible par le serveur avec le même chemin ?
Concernant le temps de chargement d'un projet, les sources sont vraiment multiples et peuvent être complexes. Certaines peuvent être simples, comme dire à QGIS d'utiliser les "métadonnées estimées" pour les couches PostgreSQL ou alors de forcer la simplification des géométries côté fournisseur de données.

Ces problèmes sont très courants, c'est pourquoi nous avons décidé d'inclure des règles dans l'extension.

Avec la dernière version de l'extension, vous pouvez commencer à avoir de nouvelles vérifications lors de l'enregistrement de votre fichier de configuration Lizmap. Vous pouvez également remarquer quelques mesures de protection, qui sont conçus pour vous aider à publier votre projet (en évitant certaines erreurs possibles du côté du serveur plus tard).

Jetons un coup d'œil rapide à ces deux nouvelles fonctionnalités.

Vérifications

Avec la dernière version de l'extension Lizmap, vous pouvez remarquer un nouveau tableau lors de l'enregistrement de votre fichier de configuration.

Ce tableau présente les contrôles qui ont échoué lors de la sauvegarde de la configuration.

Toutes les vérifications sont documentées : source de l'erreur, son nom, comment corriger l'erreur et sa gravité.
Certaines vérifications sont bloquantes. À l'heure actuelle, seules les vérifications qui prennent au maximum une minute à corriger sont bloquantes. Aujourd'hui, la plupart des règles bloquantes ont des outils pour auto-corriger l'ensemble du projet.

Vous devriez quand même vous pencher sur les autres problèmes non bloquants, car certains d'entre eux réduisent les performances du serveur QGIS. Mais comme ce n'est pas une correction "clé en main", nous n'avons pas rendu ces règles bloquantes.

Pour savoir comment résoudre le problème, passez votre souris sur la dernière colonne du tableau, une description complète apparaîtra. Ou visitez l'onglet suivant qui récapitule l'ensemble des erreurs avec les moyens pour corriger.

Nous ajouterons également de nouvelles vérifications dans les semaines à venir.

Mesure de protection

Par défaut, lors de l'installation de l'extension Lizmap sur un ordinateur, vous serez considéré comme "Débutant". Ce mode est très strict sur ce que vous pouvez faire dans votre projet QGIS. Il a été principalement conçu pour une formation à Lizmap.

Nous pensons que les utilisateurs passeront rapidement en mode "Normal", mais vous pouvez toujours modifier des paramètres dans le dernier panneau.

Ces protections sont conçues pour vous aider. Elles permettent d'éviter que certaines couches ne puissent pas s'afficher sur Lizmap Web Client.

Par exemple, si vous savez que votre serveur ne supporte pas le raster ECW, vous pouvez laisser cette case cochée.

Notez que si vous êtes hébergé sur notre solution Lizmap Cloud, certaines protections sont configurées avec des valeurs par défaut. Par exemple, sur notre solution d'hébergement, le nombre maximum de dossiers parents autorisés lorsque vous ajoutez une couche basée sur un fichier est de deux dossiers.

Lorsque vous êtes en mode "normal", décochez avec précaution ces cases. Certaines d'entre elles nécessitent des étapes de configuration du côté du serveur.

Bonne mise à jour 🦎

Etienne Trimaille

Lizmap plugin 4.0.0 for QGIS Desktop

2023-12-15T17:00:00+01:00

New features about project validation

When publishing a project with QGIS server, there are some known issues when the server needs to load the projet :

A layer can be visible in QGIS desktop, but unfortunately not visible in QGIS server.
The loading time of the project can be too long.

These issues can have different sources :

A layer invisible in QGIS server :
- Is the PostgreSQL service well configured on the server side ?
- Does the file used for the layer (FlatGeobuf, Geotiff…) is readable by QGIS server with the same path ?
About project loading time, the source of the problem can be very different and complex. In some situations, it can be easy, like asking QGIS to use "estimated metadata" for PostgreSQL layers or also to force geometry simplification on the data provider side.

These issues are very common, so we decided to include some rules in the plugin.

With the latest release of the plugin, you could start seeing some new checks when saving your Lizmap configuration file. You could also notice some safeguards, which are designed to help you to publish your project (prevent some possible errors on the server side).

Let's have a quick look to these two new features.

Checks

With the latest version of the QGIS Lizmap plugin, you could notice a new table when saving your configuration file.

This table is a list of checks which have failed when saving the configuration.

All checks are documented : source of error, how to fix the error and its severity
Some checks are blocking. For now, only checks which take one minute maximum are blocking. Today, most of the blocking rules have a button to auto-fix the whole project.

You should still have a look to other non-blocking issues, as some of them might decrease QGIS server performance. But as it's not straightforward to fix, we didn't make these rules blocking.

To know how to fix, either put your mouse over the last column, a complete description will appear. Or visit the next tab "Help about checks", it's presenting all rules with some explanations how to fix them.

We will add new checks in the coming weeks.

Safeguards

By default, when installing the Lizmap plugin on a computer, you will be considered as "Beginner". This mode is very strict about what you can do in your QGIS project. It was mainly designed for a Lizmap training.

We guess users will quickly switch to "Normal", but you can still tweak these settings in the last panel.

These safeguards are designed to help you. It will prevent some layers to maybe not be visible on Lizmap Web Client.

If you know your server doesn't support ECW raster, you can keep this checkbox ticked.

Note, if you are hosted on our Lizmap Cloud infrastructure, some safeguards are configured with some default values. For instance, on our hosting solution, the maximum of parent folder allowed when you add a file based layer is two folders.

When you are in "normal" mode, please uncheck these checkbox carefully. Some of them requires some configuration steps on the server side.

We hope you will enjoy this new version 🦎

Etienne Trimaille

Sortie de Lizmap Web Client 3.6

2023-03-07T12:00:00+01:00

Lizmap Web Client 3.6 est arrivé, 3.5 continue, 3.4 s'en va

Nous sommes heureux d'annoncer la sortie de Lizmap Web Client 3.6, la nouvelle version majeure.

Cette version met principalement l'accent sur l'interface d'administration et les outils pour les géomaticiens afin de faciliter la gestion des projets et applications web cartographiques publiés avec Lizmap.

La publication de cette nouvelle version signifie la fin du support de la version 3.4, mais nous continuons à maintenir la version 3.5.

Financeurs

Pré-requis et installation

Il est désormais requis d'avoir un QGIS serveur minimum 3.10. Nous recommandons cependant d'utiliser une version LTR plus récente, comme la version 3.22 ou bien même la dernière version LTR 3.28.

Depuis Lizmap Web Client 3.4, l'installation de l'extension QGIS serveur Lizmap server était fortement recommandée afin de débloquer toutes les fonctionnalités.

Désormais, l'installation de l'extension sur QGIS serveur est obligatoire. Pensez à vérifier votre installation dans la page "Information serveur" et à finaliser votre installation, notamment sur la variable environment. Suivez les instructions dans votre panneau d'administration, page "Information serveur".

Même si vous continuez à utiliser Lizmap Web Client 3.5, pensez à installer l'extension Lizmap server sur QGIS serveur !

Dorénavant, à chaque nouvelle sortie de Lizmap Web Client, la version minimum de l'extension sera incrémentée. Il faudra donc mettre à jour de votre côté à chaque version.

Ces contraintes concernent le serveur Lizmap et sont donc à la charge de celui qui gère le serveur.

Interface d'administration

L'interface d'administration intègre les nouveautés suivantes :

De nouveaux droits ont été ajoutés pour pouvoir définir un groupe d'éditeurs. Ce groupe concerne les personnes qui publient des cartes QGIS vers l'application Lizmap Web Client. Cela permet de mieux distinguer les administrateurs des éditeurs. Dans QGIS bureautique, vous devez fournir un nom d'utilisateur qui soit au minimum un éditeur.
nouvelle page montrant la liste des projets publiés dans un tableau dynamique Projets QGIS. On retrouve dans ce nouveau tableau des métadonnées sur votre projet tel que la date de dernière modification du projet QGIS, la version de QGIS bureautique utilisée, de l'extension Lizmap, etc.

Plus de propriétés de projet sont affichées si l'outil qgis-project-validator (disponible sur notre offre d'hébergement lizmap.com) a été utilisé :

Nombre de couches invalides et liste des noms de couches
Mémoire utilisée pour charger le projet (en Mo)
Temps de chargement du projet (en secondes)
Fichier de LOG QGIS écrit lors du chargement du projet

Cette page a pour but de vous aider à identifier les "anciens" projets sur votre serveur Lizmap et afin de les mettre à jour. Pour cela, nous vous recommandons d'utiliser la même version QGIS bureautique que votre QGIS serveur et d'installer la dernière version de l'extension Lizmap disponible.

Note très importante, les projets QGIS dont le fichier de configuration Lizmap a pour version cible Lizmap Web Client 3.2 ou inférieure ne seront plus consultables. Pensez-donc à regarder les avertissements dans cette nouvelle page. Pour débloquer de tels projets, il faut les rouvrir dans QGIS bureautique avec la dernière version de l'extension Lizmap bureautique que QGIS vous propose, puis ré-enregistrer la configuration.

La création de nouveau répertoire Lizmap est simplifiée. Le formulaire est désormais plus intuitif et des droits sont cochés par défaut.
La page de gestion des droits des groupes et des utilisateurs a été revue afin de faciliter leur gestion.
La page de configuration des répertoires permet de configurer les entête CORS (Présentation CORS sur MDN). Elles permettent de pouvoir réutiliser les flux OGC (WMS, WFS) de Lizmap Web Client dans d'autres applications sur d'autres domaines. Il est ainsi possible d'intégrer des flux WMS en provenance de Lizmap Web Client dans une application construite avec mviewer.

Dans QGIS bureautique

Dans l'extension Lizmap pour QGIS bureautique, on trouve de nouvelles fonctionnalités de configuration :

Activer l'affichage automatique de l'image de légende pour une couche au démarrage de la carte lizmap. Attention à la charge sur votre serveur avec cette option (au démarrage, ces images de légende visibles seront chargées).
Activer le téléchargement d'un objet géographique depuis la popup
Activer OpenTopoMap comme couche de fond

Il est désormais possible de prévisualiser les graphiques dans l'onglet Dataviz.

Il pourra aussi bénéficier de la liste des groupes configurés dans l'interface d'administration de Lizmap Web Client pour gérer correctement les restrictions au niveau du projet, ou la visibilité d'une couche, ou encore pour définir l'édition d'une couche.

Interface utilisateur

Message d'erreur au chargement d'une application Lizmap

Dans les versions précédentes, lorsque Lizmap Web Client rencontrait des erreurs lors du chargement d'une application Lizmap, le message Service non disponible apparaissait en arrière-plan de la fenêtre de chargement.

Ce message ne s'affiche désormais plus. Si une erreur survient au chargement, un message explicite est affiché afin de faciliter les retours des utilisateurs.

Si un script JavaScript additionnel contient une erreur, alors un message d'erreur est, lui aussi, affiché.

Affichage des libellés des valeurs pour une entité

Dans les interfaces du formulaire de filtrage et de la table attributaire, les valeurs sont remplacées par leur libellé, comme dans QGIS.

Les valeurs des champs sont remplacées par leur libellé dans le cas où l'outil d'édition du champ est Valeur relationnelle, Référence de la relation et Liste de valeurs. Cette configuration se fait dans la fenêtre de Propriétés de la couche, onglet Formulaire d'attributs de QGIS. Dans le cas des outils d'édition Valeur relationnelle et Référence de la relation, il faut que la couche source (contenant les libellés) soit publiée en WFS.

Édition: recommencer le dessin

Lors de l'édition d'un objet, une fois la géométrie dessinée il est maintenant possible de l'effacer pour recommencer le dessin.

Il est toujours possible de modifier un dessin dans le contexte de l'édition.

Zoom sur un objet à l'ouverture de la carte

De nouveaux paramètres d'URLs sont disponibles pour pouvoir zoomer sur un ou plusieurs objets et afficher leur popup :

layer : Nom de la couche dans les services WFS et WMS
filter : Filtre de la couche pour initier le zoom
popup=true: pour afficher la ou les popups des objets du filtre

Les paramètres layer et filter seront utilisés pour des requêtes de types WFS et WMS, il faut donc s'assurer que ceux-ci sont bien compatibles avec les 2 types de services.

Par exemple, on souhaite réutiliser cette carte de Montpellier montrant le cadastre au format FlatGeobuf en fournissant un lien personnalisé qui ouvre la fiche de la place du Peyrou.

Ce parc a pour identifiant unique 340172000BX0079 dont le champ est geo_parcelle. Il faut donc ajouter à l'URL ci-dessus :

layer=parcelle
filter=%22geo_parcelle%22%20%3D%20%27340172000BX0079%27
popup=true

Ce qui donne

https://demo.lizmap.com/lizmap/index.php/view/map?repository=miscellaneous&project=flatgeobuf&layer=parcelle&filter=%22geo_parcelle%22%20%3D%20%27340172000BX0079%27&popup=true

Pour information, la valeur du filtre a été obtenue à l'aide du code JS suivant :

encodeURIComponent("\"geo_parcelle\" = '340172000BX0079'")`

Téléchargement

Vous pouvez télécharger le dernier zip sur notre page des sorties.

Vous pouvez également consulter la liste des modifications ("changelog") de la version 3.6.0, 3.6.1 et 3.6.2.

Nous espérons que vous allez apprécier cette nouvelle version 🦎

L'équipe 3Liz

Release of Lizmap Web Client 3.6

2023-03-07T12:00:00+01:00

Lizmap Web Client 3.6 has landed, 3.5 still alive, 3.4 is retired

3Liz is pleased to announce the release of Lizmap Web Client 3.6, the new major version of the application.

This new version is mainly focused on the administration panel and tools for GIS technicians to help to manage their QGIS projects published on Lizmap.

This new major version means that the Lizmap Web Client 3.4 is no more maintained. However, we are still maintaining the 3.5 version.

Funders

Pre-requirements and installation

It is now required to have a minimum QGIS server 3.10. However, we recommend using the latest LTR version , i.e. version 3.22 or even the latest LTR version 3.28.

Since Lizmap Web Client 3.4, the installation of the QGIS server plugin Lizmap server was strongly recommended in order to unlock all features.

Now, installing the plugin Lizmap server on QGIS server is mandatory. Do not forget to check your installation on the "Server Information" page in the administration pages and finalize it, mainly the environment variable. Follow the instructions in your administration panel, "Server Information" page.

Even if you continue to use Lizmap Web Client 3.5, remember to install the plugin Lizmap server on QGIS server!

From now, on each new release of Lizmap Web Client, the minimum version of the plugin will be incremented. Therefore, it will be necessary for you to update it on each version.

These constraints concern the Lizmap server and are therefore the responsibility of whoever manages the server.

Administration panel

The administration interface includes the following new features:

New rights have been added to be able to define a group of editors. This makes it easier to distinguish administrators and publishers. Publishers are the users allowed to configure and send QGIS projects to the Lizmap server. In QGIS desktop, you must provide a username that is at least an editor.
new page showing the list of all projects in a dynamic table. In this new table you will find metadata about your projects such as the date of the last modification of the QGIS project, the version of QGIS desktop, the Lizmap plugin, etc.

More project properties are shown if the tool qgis-project-validator (available on our hosting offer lizmap.com) is used:

Number of invalid layers with the list of the layer names
Memory used to load the project (in MB)
Loading time of the project (in seconds)
QGIS LOG file written when loading the project

This page aims to help you identify "old" projects on your Lizmap server and update them. For this, we recommend using the same QGIS desktop version as your QGIS server and installing the latest version of the Lizmap plugin available.

Very important note: QGIS projects which were designed for Lizmap Web Client 3.2 or lower will no longer be available. Remember to look at the warnings in this new page. To unlock such projects, they must be reopened in QGIS desktop with the latest version of the Lizmap plugin available in your QGIS plugin manager.

The creation of a new Lizmap repository has been simplified. The form is now more intuitive and some rights are checked by default.
The rights management page for groups and users has been redesigned to facilitate their management.
The repository management page allows you to configure the CORS header (CORS presentation on MDN). They allow OGC streams (WMS, WFS) from Lizmap Web Client in other applications on other domains. It is thus possible to integrate WMS flows coming from Lizmap Web Client in an application built with mviewer.

In QGIS desktop

In QGIS Desktop, there are new configuration features:

Enable automatic display of legend image for a layer when Lizmap starts. Pay attention to the load on your server with this option at startup.
Activate the download of a geographic object from the popup
Activate OpenTopoMap as a background layer

It is now possible to preview charts in the Dataviz tab.

It is also possible to get the list of the groups configured in Lizmap Web Client administration pages to correctly manage the restrictions at the project level, or the visibility for a layer, or to define the editing capabilities of a layer.

User interface

Error message when loading a Lizmap application

Before, when Lizmap Web Client encountered errors while loading a Lizmap project, the message Service not available appeared in the background of the loading window.

This message no longer appears. If an error occurs during the map loading, an explicit message is displayed to explain the encountered issue.

If an additional JavaScript script contains an error, then an error message is also displayed.

Displaying value labels for a feature

When opening an editing form or displaying the attribute table of a layer, the values (codes) are now replaced by their labels, like in QGIS desktop.

The field values are replaced by their labels if the field editing tool is Value relation, Relation reference and Value map. This configuration is done in the QGIS Layer properties window, Attributes form tab. In the case of the Value relation and Relation reference widgets, the source layer must be published in WFS.

Editing: start drawing again

When editing an object, once the geometry has been drawn, it is now possible to erase it to start drawing a new geometry from scratch.

It is always possible to modify a drawing in the context of editing.

Zoom on an object when opening the map

New URL parameters are available to be able to zoom in on one or more objects and display their popup:

layer: Layer name in WFS and WMS services
filter: Layer filter to initiate the zoom
popup=true: to display the popup(s) of the filter objects

The layer and filter parameters will be used for WFS and WMS type queries, so make sure that these are well compatible with the 2 types of services.

For instance, we would like to reuse this map of Montpellier showing cadastral data with the FlatGeobuf format by providing a customized link opening the popup from Park of Peyrou.

This park has 340172000BX0079 for its unique ID in the field geo_parcelle. Therefore, we need to add in the URL above :

layer=parcelle
filter=%22geo_parcelle%22%20%3D%20%27340172000BX0079%27
popup=true

It gives this final result :

https://demo.lizmap.com/lizmap/index.php/view/map?repository=miscellaneous&project=flatgeobuf&layer=parcelle&filter=%22geo_parcelle%22%20%3D%20%27340172000BX0079%27&popup=true

For your information, we can have the value of the filter with this Javascript code :

encodeURIComponent("\"geo_parcelle\" = '340172000BX0079'")`

Download

You can download the latest zip on our releases page.

You can also check the changelog of version 3.6.0, 3.6.1 and 3.6.2.

We hope you will enjoy this new version 🦎

The 3Liz team

Lizmap sur le Socle interministériel de logiciels libres

2022-06-16T11:00:00+02:00

Lizmap sur le Socle Interministériel de Logiciels Libres

Lizmap est maintenant référencé sur le Socle interministériel de logiciels libres (SILL). Vous pouvez consulter la fiche du logiciel Lizmap. Elle a été créée par un référent SILL : un agent public utilisant Lizmap.

Pour qu'elle puisse être créée, une autre fiche Lizmap sur le Comptoir du libre et également une fiche Lizmap sur Wikidata ont été créées.

Le Socle interministériel de Logiciels Libres

Le Socle interministériel de logiciels libres (SILL) est le catalogue de référence des logiciels libres recommandés par l'État pour toute l'administration.

Il est publié par le pôle logiciels libres d'Etalab (DINUM) sur le site code.gouv.fr. Son interface de gestion est accessible sur le site sill.etalab.gouv.fr.

Il est construit de façon collaborative par une communauté d'agents publics, les référents SILL. En tant qu'agents publics utilisateur de Lizmap, vous pouvez devenir référents Lizmap.

Pour en savoir plus sur le SILL, vous pouvez vous rendre sur cette définition par SourceHut.

Vous trouverez aussi les fiches de :

QGIS
PostGIS

Le comptoir du libre

Le Comptoir du Libre recense les logiciels libres métiers utiles aux services publics ainsi que leurs utilisateurs et prestataires.

Il s'agit d'une place de marché du logiciel libre métier. Elle a vocation à partager les informations relatives à ces logiciels, et à mettre en contact les parties intéressées. Les collectivités naviguant sur cette plate-forme trouveront :

leurs homologues utilisant ces logiciels libres, avec leurs témoignages,
les entreprises fournissant des services (maintenance, formation, support...),
des indicateurs chiffrés permettant de comparer les solutions.

C'est un service de l'Adullact. En tant qu'utilisateur de Lizmap, vous pouvez :

vous déclarer utilisateur
y laisser un témoignage
ajouter des copies d'écran
lister les logiciels fonctionnant avec Lizmap

Vous trouverez aussi les fiches de :

QGIS
PostGIS

Wikidata

Wikidata [w] est une base de connaissances, libre, collaborative et multilingue, qui collecte des données structurées afin de fournir un support à Wikipédia, à Wikimedia Commons, aux autres wikis du mouvement Wikimedia, et à toute personne dans le monde.

Wikidata est un dépôt de stockage centralisé auquel tout le monde peut y accéder, comme les wikis gérés par la Wikimedia Foundation. Le contenu chargé dynamiquement à partir de Wikidata n'a pas besoin d'être maintenu dans chaque projet wiki individuel. Par exemple, les statistiques, les dates, les lieux et d'autres données courantes peuvent être centralisées dans Wikidata.

La fiche Lizmap de Wikidata contient les données principales, une description en anglais et français. Cette fiche peut-être complétée et la description traduite dans d'autres langues.

Vous trouverez aussi les fiches de :

René-Luc D'Hont

Lizmap on the French interministerial open source software database

2022-06-16T11:00:00+02:00

Lizmap on the French interministerial open source software database

Lizmap is now referenced on the French interministerial open source software base (Socle interministériel de logiciels libres, SILL). You can consult the Lizmap software sheet. This file was created by a SILL referent: a public agent using Lizmap.

As an initial step to have this link, two articles must have been created beforehand : Lizmap on the Comptoir du libre and Lizmap on Wikidata.

French interministerial open source software database

The French interministerial open source software database (Socle interministériel de logiciels libres, SILL) is the reference catalog of free software recommended by the French State for the whole administration.

It is published by Etalab's open source software division (DINUM) on the code.gouv.fr website. Its management interface is accessible on the website sill.etalab.gouv.fr.

It is built in a collaborative way by a community of public agents, the SILL referents. As a public agent using Lizmap, you can become a Lizmap referent.

You will also find the sheets:

QGIS
PostGIS

The comptoir du libre

The Comptoir du Libre lists the free softwares useful to the public services as well as their users and providers.

It's a free software marketplace. Its purpose is to share information about these softwares, and to put in contact the interested parties. The authorities browsing this platform will find :

their counterparts using these free software, with their testimonies,
companies providing services (maintenance, training, support...),
numerical indicators allowing to compare the solutions.

The Comptoir du Libre is a service of Adullact. As a Lizmap user, you can:

declare yourself a user
leave a testimony
add screenshots
list software working with lizmap

You will also find the sheets:

QGIS
PostGIS

Wikidata

Wikidata [w] is a free, collaborative, multilingual, secondary database, collecting structured data to provide support for Wikipedia, Wikimedia Commons, the other wikis of the Wikimedia movement, and to anyone in the world.

Wikidata is a central storage repository that can be accessed by others, such as the wikis maintained by the Wikimedia Foundation. Content loaded dynamically from Wikidata does not need to be maintained in each individual wiki project. For example, statistics, dates, locations, and other common data can be centralized in Wikidata.

The Wikidata Lizmap sheet contains the main data, a description in English and French. This sheet can be completed and the description translated into other languages.

You will also find the sheets:

René-Luc D'Hont

Contributions à QGIS LTR 3.22

2022-05-16T09:00:00+02:00

Contributions à QGIS LTR 3.22

La dernière version maintenue à long terme (LTR) de QGIS est la version 3.22. La première version corrective de 3.22 ayant ce statut est la version 3.22.4 publiée fin février 2022.

Cette version est importante pour les utilisateurs et la communauté de développeurs, car elle sera maintenue jusqu'en février 2023. Elle a aussi été testée pendant 3 mois avant d'obtenir le statut LTR qui est un gage de stabilité et de qualité.

Voici la liste des contributions de 3Liz pour cette version 3.22 de QGIS (incluant 3.18 et 3.20)

Améliorations du module Traitements de QGIS

Ajout d'une option multipartite pour les paramètres de géométrie de traitements: permettre des multi-géométries
Ajout d'un paramètre POST dans l'algorithme de traitement téléchargeur de fichier disponible dans un modèle

Améliorations de QGIS Serveur

option --version pour tous les outils en ligne de commande comme qgis_process et qgis_mapserver
Permettre plusieurs MetadataUrl dans la description des capacités de services. Dans les propriétés de la couche, il est possible de définir plusieurs URL de métadonnées.
Accélérer la génération du document de la requête WMS GetCapabilities en supprimant l'appel à featureCount

Performance dans l'API

Amélioration de l'option Projet de confiance

Corrections dans QGIS Serveur

Nouvelles fonctionnalités globales

Ajout du paramètre maxImageCacheSize dans qgis_global_settings.ini : permet de définir la taille du cache des images

API : nouvelles classes

Tests

Ce ne sont pas des fonctionnalités, mais cela assure qu'il n'y aura pas de régression à l'avenir.

Tests pour la méthode getParameterFromString du module Traitements de QGIS #43070, #43075, #43126, #43062
Test QGIS Serveur de la requête WMS GetLegendGraphic au format JSON pour une couche avec plusieurs symboles
Ajout de tests de la lecture de données WKB issue de la méthode ST_Binary de PostGIS
Extension des tests QGIS Serveur pour les dimensions WMS

Dépôt GitHub

Modèle pour les tickets des utilisateurs
Notifications d'une nouvelle version de QGIS

La plupart des fonctionnalités ont été financées par l'Ifremer, ou par certains clients utilisant notre solution d'hébergement Lizmap et ayant un problème avec QGIS Serveur, ou sur notre temps Open Source à 3Liz.

René-Luc D'HONT

Contributions to QGIS LTR 3.22

2022-05-16T09:00:00+02:00

Contributions to QGIS LTR 3.22

The latest long-term released (LTR) version of QGIS is 3.22. The first bugfix release of 3.22 with this status is version 3.22.4 released in late February 2022.

This version is important for users and the developer community as it will be maintained until February 2023. It was also tested for 3 months before obtaining the LTR status which is a guarantee of stability and quality.

Here is the list of 3Liz contributions for this QGIS 3.22 release (including 3.18 and 3.20)

QGIS Processing enhancements

Added multi-part option for processing geometry input : allow multi-geometries
Adding a POST input to the FileDownloader processing algorithm

QGIS Server enhancements

option --version for all command line tools like qgis_process and qgis_mapserver.
Allow multiple MetadataUrl in the description of service capabilities. In the layer properties, it is possible to define several metadata URLs.
Speed up the generation of the WMS GetCapabilities request document by removing the call to featureCount

Improvement in the API

Improve the Trust Project option

QGIS Server fixes

New global features

Add maxImageCacheSize parameter in qgis_global_settings.ini: allow to define the size of the image cache

API: new classes

Tests

Not features but only to be sure there will be no regression in the future.

Tests for the method getParameterFromString of QGIS Processing #43070, #43075, #43126, #43062
QGIS Server test of the WMS GetLegendGraphic query in JSON format for a layer with several symbols
Added tests for reading WKB data from the ST_Binary method of PostGIS
Extension of QGIS Server tests for WMS dimensions

GitHub repository

Template for user tickets
GitHub release notifications

Most of the features were funded by Ifremer, or by some customers using our Lizmap Cloud solution and having a problem with QGIS Server, or on our Open Source time at 3Liz.

René-Luc D'HONT

Sortie Lizmap Web Client 3.4.10 et 3.5.2

2022-04-11T14:30:00+02:00

3Liz est heureux d'annoncer la sortie de Lizmap Web Client 3.4.10 et 3.5.2 ainsi que de plusieurs extensions QGIS et modules.

Lizmap Web Client

Ces versions ne font que corriger des régressions ou des bugs. Concernant la version 3.5.2, on peut citer en autre :

Amélioration de l'interface utilisateur pour l'envoie d'image depuis un mobile
Amélioration des messages d'erreur concernant le nouveau panneau "Information serveur"

Les deux versions comportent les mises à jour suivantes :

Correction des formulaires ayant des menus déroulants avec un élément vide
Amélioration des performances pour la récupération des données de QGIS Serveur

Les paquets et la liste complete des modifications se trouvent sur la page des sorties :

3.4.10
3.5.2

Pour information, nous ne faisons que des mises à critiques désormais sur la branche 3.4.

Les clients qui ont souscrit une offre d'hébergement chez nous ont bénéficié des mises à jour automatiquement.

Extensions QGIS Serveur

Durant le mois de Mars, nous avons également sorti des versions des extensions QGIS Serveur :

WfsOutputExtension 1.7.0 avec la correction de la détection des types de champs, financé par la région Hauts-de-France.
Lizmap QGIS Serveur 3.7.5, amélioration de l'API Lizmap, filtrage par polygone etc
AtlasPrint 3.3.1 pour afficher l'utilisateur connecté dans le navigateur web au sein du PDF

Modules Lizmap

Pour rajouter des fonctionnalités en plus dans Lizmap :

AltiProfil 0.2.3
openADS 1.0.0
Adresse 1.0.0
Cadastre 1.8.1, mise à jour obligatoire si vous utilisez les dernières versions Lizmap Web Client

Bonnes mises à jour 🦎

L'équipe 3Liz

Release Lizmap Web Client 3.4.10 and 3.5.2

2022-04-11T14:30:00+02:00

3Liz is pleased to announce the release of Lizmap Web Client 3.4.10 and 3.5.2 and also modules and QGIS plugins.

Lizmap Web Client

These versions are fixing regressions or issues. About the 3.5.2, we can notice :

Improve the user experience when uploading a picture from a mobile in an input form
Improve error message about the new panel "Server information"

These two versions includes :

Fixing forms having drop down menu with an empty item
Improve performance when fetching data from QGIS Server

Packages and the full list of modifications are available on the release page

3.4.10
3.5.2

For your information, we are now only doing critical bug-fixing on the 3.4 branch.

Customers who have subscribed to a hosting package with us have received all updates automatically.

QGIS Server plugins

During this month, we have also released new versions about QGIS Server plugins :

WfsOutputExtension 1.7.0, fixing the field type detection when exporting layers, funded by the Hauts-de-France province.
Lizmap QGIS Server 3.7.5, improve the Lizmap API, filter by polygon etc
AtlasPrint 3.3.1 to display the current logged Lizmap user in a PDF

Lizmap modules

To add additional features on top of Lizmap :

AltiProfil 0.2.3
openADS 1.0.0, French use case only
Adresse 1.0.0, French use case only
Cadastre 1.8.1, French use case only

Happy upgrading 🦎

The 3Liz team

Sortie de Lizmap Web Client 3.5

2022-02-09T12:00:00+01:00

Sortie de Lizmap Web Client 3.5

Nous sommes heureux d'annoncer la sortie de Lizmap Web CLient 3.5, la nouvelle version majeure.

Cette nouvelle version a été testée avec QGIS 3.16 et la nouvelle version LTR 3.22.

Elle nécessite une mise à jour de l'extension Lizmap bureautique et serveur minimum 3.7.2. Nous recommandons l'usage de QGIS-Plugin-Manager pour la gestion des extensions QGIS sur un serveur.

Financeurs

Interface graphique

Cette version apporte des nouvelles fonctionnalités :

lors de l'envoi d'une image depuis un formulaire, vous pouvez redimensionner ou pivoter l'image.

un nouveau bouton "inverser la géométrie" a été ajouté dans l'onglet "Digitalisation" pour les lignes, une fois l'édition activée pour un objet.

Ces deux nouvelles fonctionnalités ont été financées par la ville d'Avignon.

filtrage spatial pour un utilisateur donné. Dans l'extension Lizmap, puis dans l'onglet "Filtrage par utilisateur", avant, nous ne pouvions que rendre des entités visibles ou non selon la valeur d'un champ (filtre attributaire). Désormais, il est possible de cacher ou non des entités selon son intersection spatiale avec une couche de polygone. Cette couche polygonale agit comme un pochoir. Ce filtre peut-être actif sur l'affichage ou alors sur l'édition uniquement.

Cette fonctionnalité a été financée par Valabre.

Si vous utilisez la popup type QGIS avec le bouton Copier la disposition du formulaire glisser/déplacer, vous serez content d'utiliser la nouvelle popup type formulaire. Elle prend automatiquement la disposition du formulaire glisser/déplacer pour la popup, sans écraser l'infobulle QGIS. Ceci est pratique parce que vous ne devez plus mettre à jour l'infobulle dans QGIS et vous pouvez garder l'infobulle QGIS pour votre usage dans QGIS Bureautique. Cette fonctionnalité a été financée par le Conseil Départemental des Pyrénées-Atlantiques.
Si vous utilisez la carte de localisation, cette carte peut suivre le déplacement, zoom avant/arrière qui sont fait dans la carte principale. Cette fonctionnalité a été financée par la DEAL Mayotte.
Quelques contributions ont été faites par la communauté opensource sur GitHub, comme le support du type "geography" dans PostgreSQL par Florian. Nous remercions également les contributeurs dans les traductions. Nous avons deux nouvelles langues comme le Japonais et l'Ukrainien.
Afin de faciliter la gestion de son instance Lizmap pour les utilisateurs de QGIS, nous avons ajouté un nouveau panneau dans l'extension QGIS bureautique pour afficher les informations du serveur, comme la version de QGIS Serveur ainsi que les extensions QGIS Serveur. Ceci est disponible uniquement si vous renseignez un nom d'utilisateur et mot de passe d'un administrateur de l'instance Lizmap.

Module Lizmap

Dans QGIS bureautique, les utilisateurs peuvent installer des extensions. Dans Lizmap, nous avons l'équivalent, il s'agit des modules. Pour un de nos clients, le CRIGE-PACA, nous avons développé le module PgRouting, qui permet aux utilisateurs de faire un itinéraire à l'aide des données qui sont dans une base de données PostGIS. Ce développement nous a demandé de faire des améliorations dans le cœur de Lizmap Web Client concernant l'affichage de la carte principale avec la librairie OpenLayers.

Sous le capot

Sous le capot, nous avons aussi apporté plusieurs améliorations. Dans le cadre de son stage de 6 mois, Adrien, de l'École 42 à Paris, a pu faire beaucoup de refactorisation du code afin que cela soit plus simple pour les développeurs Lizmap de faire des tests unitaires.

À 3Liz, nous avons aussi amélioré notre protocole de sortie des nouvelles versions. Cette version nous permet d'utiliser davantage Docker, Cypress et PHPunit pour les tests automatisés et manuels. Nous avons écrit un autre article de blog à propos de l'assurance qualité.

Téléchargement

Vous pouvez télécharger le dernier zip sur notre page des sorties : https://github.com/3liz/lizmap-web-client/releases/tag/3.5.1

Nous espérons que vous allez apprécier cette nouvelle version 🦎

L'équipe 3Liz

Release of Lizmap Web Client 3.5

2022-02-09T12:00:00+01:00

Release of Lizmap Web Client 3.5

We are pleased to announce the release of Lizmap Web Client 3.5, the new major version.

This version has been tested with QGIS 3.16 and the new QGIS LTR version 3.22.

This version needs you to upgrade your Lizmap plugin on both Desktop and Server to 3.7.2. We recommend QGIS-Plugin-Manager to help you to upgrade Lizmap QGIS Server plugin.

Funders

User interface

This version brings some new features such as :

when uploading an image from a form, you can resize and/or rotate the uploaded picture.

new button reverse geometry for lines. These last 2 new features are funded by city of Avignon.

spatial filtering for a given user. In the Lizmap plugin, in the "Filter by user" tab, previously, we could only make features visible or hidden based on a field. Now, it's possible to hide or show a feature based on its spatial intersection with a polygon layer. It's acting like a mask layer. This filter can be active on display or editing only. This feature has been funded by Valabre.

If you are used to the QGIS popup with the Copy the drag & drop form layout, you will be happy to use the new form popup type. It automatically takes the drag and drop form layout for the popup, without overriding the QGIS maptip. This is convenient because you don't need to update the maptip on a regular basis, and you can keep the QGIS maptip for local QGIS use. This feature has been funded by Province of Pyrénées-Atlantiques.
If you use the overview map, this map can follow pan, zoom in and out made in the main map. This feature has been funded DEAL in Mayotte.
Some contributions have been made from the opensource community on GitHub, such as allowing PostgreSQL geography type made by Florian. We also thank some contributors in the translation process, new languages (Japanese, Ukrainian, etc.) have been added.
To make the life slightly easier for GIS users, we added a new panel in the Lizmap Desktop plugin to show the server information, such as the installed QGIS Server version. This is only available if you give an administrator login and password.

Lizmap modules

In QGIS Desktop, users can install plugins. In Lizmap, we have the equivalent, we call them modules.

For one of our customer, CRIGE-PACA, we have developed the PgRouting module, which allows users to make routing from data in a PostGIS database.

The development implied us to make some improvements in the core of Lizmap Web Client on the display of the main map canvas managed by the library OpenLayers.

Under the hood

Under the hood, we made a lot of other improvements. We got an intern for 6 months, Adrien from École 42 in Paris. He did a lot of code refactoring, to make it easier for Lizmap developers to write unit tests.

At 3Liz, we also made a lot of improvements in our release process. This version allows us to use more Docker, Cypress and PHPUnit for manual and automated tests. We wrote another blogpost dedicated to quality assurance.

Download

You can download the latest zip on our release page

Tip, on GitHub, register to the release notification 😎

We hope you will enjoy this new version 🦎

The 3Liz team

QGIS-Plugin-Manager

2022-01-12T13:00:00+01:00

Les extensions QGIS Serveur et comment les gérer

Extensions QGIS

Que serait QGIS sans ses extensions ? C'est surement la première chose que l'on fait une fois que l'on vient d'installer QGIS sur un nouvel ordinateur. On ouvre le gestionnaire des extensions et on installe nos extensions favorites.

QGIS Bureautique fournit une interface graphique intuitive pour gérer ses extensions. Vous pouvez facilement les lister, les installer ou les mettre à jour.

Astuce rapide, dans votre gestionnaire, onglet "Paramètres", n'oubliez pas de cocher la case Chercher des mises à jour au démarrage au moins une fois par mois. Cela serait triste de ne pas profiter des dernières fonctionnalités ou alors de continuer à voir le même bug alors qu'il est déjà corrigé dans une version récente.

Extension QGIS Serveur

Peut-être que vous ne le savez pas, mais vous pouvez ajouter des extensions sur QGIS Serveur également. Vous pouvez trouver la liste des extensions compatibles pour le serveur sur plugins.qgis.org. Une extension sur QGIS Serveur peut-être utile pour ajouter des nouvelles fonctionnalités ou alors modifier le fonctionnement par défaut. Regardons l'exemple concret de l'extension ci-dessous.

Un cas pratique, le cas de WfsOutputExtension

Le WFS est un standard défini par l'Open Geospatial Consortium afin de permettre aux utilisateurs de télécharger des données vectorielles de QGIS Serveur dans un client OGC tel que QGIS Bureautique, ArcGIS ou tout autre application Web-SIG (disonsLizmap Web Client par hasard). Par défaut, ce standard permet le téléchargement des données au format GML uniquement. Cependant, nos clients souhaitent pour la plupart télécharger dans des formats plus communs comme un shapefile compressé, un geopackage, un fichier ODS ou CSV.

C'est pourquoi à 3Liz, nous avons développé l'extension serveur WfsOutputExtension.

Cette extension ajoute des formats d'exports additionnels à la volée. En arrière-plan, il intercepte la requête GetCapabilities WFS et ajoute les formats supplémentaires dans la réponse.

Du côté du client OGC, l'utilisateur peut choisir un de ces formats lors de la demande des données vectorielles. C'est visible par exemple dans l'interface du client web Lizmap :

QGIS-Plugin-Manager

Comme dit plus haut, QGIS Bureautique permet, à l'aide d'une interface graphique intuitive, de gérer les extensions du dépôt principal QGIS. Mais quand vous êtes sur un serveur, il n'y a pas d'outil pour installer ou mettre à jour les extensions. À 3Liz, pour gérer notre infrastructure, nous utilisons des outils de déploiement comme Ansible pour installer les extensions.

Mais nous déployons aussi QGIS Serveur et Lizmap Web CLient sur les serveurs de nos clients, en dehors de notre infrastructure. Cela signifie qu'ils hébergent leur propre serveur et qu'ils nous demandent de faire l'installation et la maintenance de ce dernier. Dans ce contexte, nous installions au début les extensions QGIS Serveur à l'aide des commandes wget, unzip etc. Ceci n'est pas très pratique ni robuste sur long terme.

C'est pourquoi, j'ai commencé un petit outil Python en ligne de commande pour lister, installer et mettre à jour les extensions dans un environnement sans interface graphique (comme un serveur Linux).

Cet outil peut être installé avec PIP sur un serveur via la commande suivante :

pip3 install qgis-plugin-manager

Ensuite, vous pouvez utiliser la commande qgis-plugin-manager, par exemple pour avoir la liste des extensions depuis une console bash :

$ qgis-plugin-manager list
QGIS server version 3.19.0
List all plugins in /home/etienne/dev/qgis/server_plugin

----------------------------------------------------------------------------------------
|  Name            |  Version  |  QGIS min  |  QGIS max  |  Author         |  Action ⚠       |
----------------------------------------------------------------------------------------
|Lizmap            |master     |3.4         |3.99        |3Liz             |Unkown version   |
|wfsOutputExtension|1.5.3      |3.0         |            |3Liz             |                 |
|QuickOSM          |1.14.0     |3.4         |3.99        |Etienne Trimaille|Upgrade to 1.16.0|
|cadastre          |1.6.2      |3.0         |3.99        |3liz             |                 |
|atlasprint        |3.2.2      |3.10        |            |3Liz             |                 |
----------------------------------------------------------------------------------------

En arrière-plan, cet outil utilise les concepts d'APT et de PIP. Il est connecté par défaut au dépôt principal de QGIS, mais vous pouvez également utiliser votre propre dépôt d'extensions comme celui de 3liz : https://docs.3liz.org/plugins.xml.

Je vous suggère de lire la documentation dans le fichier readme. Ce projet est hébergé sur GitHub donc n'hésitez pas à faire des tickets ou encore mieux un "pull request" si vous voulez contribuer 😉.

Note, si vous avez déjà installé QGIS-Plugin-Manager, n'oubliez pas de faire la mise à jour de temps en temps : pip install --upgrade qgis-plugin-manager. Nous sommes actifs !

Etienne Trimaille

QGIS-Plugin-Manager

2022-01-12T13:00:00+01:00

QGIS Server plugins and how to manage them all

QGIS plugins

What would be QGIS without plugins ? It might be the first thing we do when we install QGIS on a new computer. We open the QGIS plugin manager, and we install our favorite plugins.

QGIS Desktop is providing a nice interface to manage plugins. You can easily list, install or upgrade them.

Quick important tip, in your plugin manager, in the Settings tab, do not forget to enable the Check for updates on startup at least every month. QGIS Plugin developers are releasing new versions of their plugins very often, it would be sad to miss new features or to keep having the same bug while it's already fixed !

QGIS Server plugins

Maybe you don't know, but you can install plugins on QGIS Server. You can find the list of plugins compatible for QGIS Server on plugins.qgis.org. Plugins on QGIS Server can be useful to add new features or to alter the default behavior of QGIS Server. Let's have a look to a specific plugin below.

A use case, the WfsOutputExtension plugin

WFS is a standard made by the Open Geospatial Consortium to allow users to download vector data from QGIS Server in a OGC client such as QGIS Desktop, ArcGIS or any Web-GIS application (let's say randomly Lizmap Web Client). By default, this standard allows only the data to be downloaded as GML format. However, our customers wanted to download vector format with a more friendly vector format such as zipped shapefile, geopackage, ODS or CSV. Therefore, at 3Liz, we have developed the WfsOutputExtension server plugin.

This plugin adds additional export formats on the fly. In the background, the plugin intercepts the WFS GetCapabilities request and adds additional formats in the XML response. From the OGC client side, the user can use these formats when requesting vector data. It's visible from Lizmap Web Client in the dropdown menu:

QGIS-Plugin-Manager

As I mentioned, QGIS Desktop provides a nice way to manage plugins which are listed on the main QGIS repository. But when you are on a server, there isn't such tool to install and upgrade plugins. At 3Liz, we are managing our own server infrastructure. Deploying and upgrading plugins is done using some deployments tools such as Ansible.

We also deploy QGIS Server and Lizmap Web Client on our customers servers, outside of our hosting infrastructure. It means they host their own server and they ask us to do some maintenance on it. In this context, we previously installed QGIS Server plugins manually with the help of some wget and unzip commands. Not very convenient in the long term…

Therefore, I started a small Command Line Interface with Python to list and upgrade plugins when you are on a headless environment.

This tool can be installed with PIP on a server:

pip3 install qgis-plugin-manager

Then, you can list and install plugins from the bash prompt:

$ qgis-plugin-manager list
QGIS server version 3.19.0
List all plugins in /home/etienne/dev/qgis/server_plugin

----------------------------------------------------------------------------------------
|  Name            |  Version  |  QGIS min  |  QGIS max  |  Author         |  Action ⚠       |
----------------------------------------------------------------------------------------
|Lizmap            |master     |3.4         |3.99        |3Liz             |Unkown version   |
|wfsOutputExtension|1.5.3      |3.0         |            |3Liz             |                 |
|QuickOSM          |1.14.0     |3.4         |3.99        |Etienne Trimaille|Upgrade to 1.16.0|
|cadastre          |1.6.2      |3.0         |3.99        |3liz             |                 |
|atlasprint        |3.2.2      |3.10        |            |3Liz             |                 |
----------------------------------------------------------------------------------------

In the background, this tool is using ideas from APT and PIP. It's connected to the main QGIS plugin repository, but you can also add our own plugin repository like https://docs.3liz.org/plugins.xml

I suggest you to read the full documentation in the readme file. This project is hosted on GitHub so feel free to raise issues and even better, to make some pull requests 😉

Note, if you have already installed QGIS-Plugin-Manager, do not forget to upgrade from time to time : pip install --upgrade qgis-plugin-manager. We are active !

Etienne Trimaille

Statut de la faille Log4j concernant le projet Lizmap

2021-12-20T09:00:00+01:00

Statut de la faille Log4j concernant le projet Lizmap

Le 10 décembre dernier, une faille de sécurité a été découverte dans le logiciel Apache Log4j, utilisé majoritairement dans des applications développées en JAVA. Ce trou de sécurité a été déclaré très critique. Beaucoup de logiciels open source sont affectés.

Lizmap, les modules Lizmap et les extensions QGIS n'utilisent pas Java ni Log4J, car ils utilisent le framework Jelix[1] en PHP. QGIS[2] et PostgreSQL[3], les deux autres composants de la pile logiciel de Lizmap Web Client, ne sont pas plus affecté car écrit en C/C++.

Le projet Lizmap n'est donc pas impacté par cette faille.

Pour information, nous avions communiqué sur le sujet la semaine dernière en français sur la mailing liste Lizmap.

L'équipe 3Liz

State of the Log4j security issue and the Lizmap project

2021-12-20T09:00:00+01:00

State of the Log4j security issue and the Lizmap project

Last Friday 10th December, a security issue has been discovered in Apache Log4j. It has been quickly declared as critical. Many software programs suffered from this issue.

Lizmap is unaffected by the Log4j security issue. It is built with PHP and Javascript using the Jelix framework[1]. Our backend is based on PostgreSQL[2] and QGIS[3]. Both of these projects are build in C/C++ and are unaffected by Log4j's exploit.

Log4j is a JAVA based library that is not used in any of our products (Lizmap modules, QGIS plugins and of course Lizmap or any side projects).

So the security issue is not affecting the Lizmap project.

For information, we have published on this topic last week on the Lizmap mailing list.

The 3Liz team

QuickOSM 2.0

2021-09-09T17:00:00+02:00

QuickOSM 2.0.0

Introduction

Je suis Maxime Charzat et je suis étudiant à l’ENSG, École Nationale des Sciences Géographiques.

3Liz m’a engagé pour donner un coup de jeune à l'extension. Outre quelques bugfix et mises à jour, cela faisait des années que le plugin n’avait pas été agrémenté de nouvelles fonctionnalités. C’est tout l’objet de ma venue à 3Liz pour ce stage.

Nouveautés

Requête rapide

Ce panneau a bien évolué dans cette nouvelle version. En effet, l’idée était de permettre autant des utilisations simples que plus avancées, et bien sûr d’améliorer ces utilisations.

Du côté des utilisations plus basiques, on a voulu simplifier les connaissances par rapport aux clés/valeurs d’OSM. Dans le contexte de l’utilisation du plugin par une personne novice, on a ajouté un champ contenant des pré-réglages de manière similaire aux autres outils qui utilise OSM tel que Vespucci, JOSM… Ce champ est traduit dans la langue définie dans QGIS et permet donc d’abaisser la barrière que peuvent être les clés/valeurs. En tapant Boulangerie en français, la requête OSM shop=bakery est automatique.

Concernant les utilisations avancées, il y avait une fonctionnalité qui était demandée depuis longtemps. Il s’agit de pouvoir créer des requêtes avec plusieurs clés/valeurs. C’est maintenant possible. L’interface permet de jouer avec un tableau pour choisir les clés/valeurs, en ajouter, en supprimer, choisir les liens entre eux. On peut désormais construire une requête qui demande les boulangeries qui font aussi patisserie (shop=bakery AND pastry=yes) ou alors qui demande et les bars et les refuges animaliers (amenity=bar OR amenity=animal_shelter).

Pour les férus de données OSM, les métadonnées peuvent être demandées en cochant la case à cocher dans le groupe Avancé. Cela permet entre autres d’avoir accès à la version de l’objet et à la dernière personne qui a mis à jour cet objet.

Dernier ajout sur ce panneau : un historique des requêtes. L’extension enregistre maintenant temporairement les dix dernières requêtes effectuées. Cela permet de relancer une requête récente sans avoir à s’embêter à devoir derechef tout remplir.

Fichier OSM

Ce panneau permet de charger un fichier OSM ou PBF dans QGIS, stocké en local sur votre ordinateur. Le problème, c’était que l’on était obligé de charger tout le fichier (qui peut être assez volumineux). Il est désormais possible de ne charger que les données qui répondent à une requête de clés/valeurs.

À partir d’un fichier téléchargé par exemple sur https://download.geofabrik.de, sans utiliser internet, on peut faire des requêtes sur un gros volume de données. Volume pas forcément supporté par l’API Overpass utilisé par le plugin pour télécharger les données OSM.

Boîte à outil Traitement

En réfléchissant à tous les usages du plugin, on a décidé de compléter la gamme d’algorithmes dans la boîte à outil Traitement. En effet, jusqu’alors seuls les algorithmes de construction de requêtes étaient implémentés dans le modeleur graphique de QGIS.

Si vous ne connaissez pas le modeleur de QGIS, c'est le moment de jeter un œil.

On en a donc ajouté équivalent du panneau Requête rapide dans la boîte à outil Processing.

Thème de carte

Voici une grosse nouveauté pour la version 2.0.0 et qui peut-être assez puissante. Sur les bases du panneau Mes requêtes qui existait dans la version QGIS 2, on a implémenté l’option de sauvegarder ses requêtes.

Mais, cela va même au-delà de juste enregistrer, on offre la possibilité de les transformer en un thème de carte. Ainsi, en deux clics, en précisant juste l’étendue ou le lieu voulu, il est possible de télécharger toutes les données, d’effectuer toutes les requêtes qui permettent d’afficher une carte prête à l'emploi. On peut même associer un style aux couches directement.

Concrètement, en lançant le thème Urban ci-dessus, vous téléchargez automatiquement les bâtiments et les routes. De plus un style accompagne les données pour la mise en forme.

Configuration

Les requêtes sauvegardées ont donc un mode d’édition pensé pour être exhaustif. On veut laisser à l’utilisateur le pouvoir de fabriquer son thème en ayant la main sur la majorité des options possibles. Ainsi, dans le thème on peut gérer plusieurs requêtes (qui se lancent les unes à la suite des autres lors du processus), gérer la plupart des paramètres pour chaque requête, définir les champs en sortie.

On a aussi le choix entre deux types de thème : soit basique, soit avancé. La différence se fait dans la requête. En type basique, le processus va construire les requêtes avec les clés/valeurs données. En type avancé, le processus va utiliser la requête écrite par l’utilisateur.

Le plugin ne contient qu'un seul thème par défaut pour le moment. On va avoir besoin de vous pour étoffer cette liste. Si vous vous sentez l’âme d’un contributeur, que vous pensez qu'un thème est manquant, que vous voulez participer à ce plugin, alors n’hésitez pas à nous proposer vos thèmes sur https://github.com/3liz/QuickOSM en prévoyant le fichier JSON et les fichiers QML.

On peut très bien imaginer un thème carte randonnée, carte cadastre, carte occupation du sol…

Conclusion

Je suis heureux de pouvoir vous présenter cette nouvelle version de QuickOSM. Cela ouvre et approfondi un champ des possibles que j’ai hâte que vous découvriez. N’hésitez pas à nous faire des retours (Twitter, LinkedIn, GitHub…) et à nous proposer vos thèmes.

Amusez-vous !!!

Maxime Charzat

QuickOSM 2.0

2021-09-09T17:00:00+02:00

QuickOSM 2.0.0

Introduction

Hi everyone, I'm Maxime Charzat, student at ENSG, French Engineering school about GIS. I've been interning at 3Liz with the goal to clean up, update and add new features to the QGIS QuickOSM plugin.

What's new

Quick query

We had two goals with this panel. Make it simpler for newcomers to download OSM data and our other goal was to make it better for advanced users, so they could get more out of the OSM data.

The first goal was to simplify the way to find OSM keys and values. So we've used prepopulated data as in other OSM tools such as Vespucci, JOSM… These data are available in the language defined in QGIS, so people can easily find keys like bench/highway. By typing Boulangerie in French, the query will be automatically transformed with shop=bakery.

For advanced user, we add the support for multiple key/value. There is now a table to add one or more keys. These different rows are linked by a AND and OR.

For instance, it's now possible to query bakeries that have pastries (shop=bakery AND pastry=yes).

For people familiar with OSM data, metadata can be requested by clicking the checkbox in the advanced settings. This will give you the object version and who contributed to the last version of the said object.

Last but not least, we added the history of queries. The plugin now remembers temporarily the last ten queries, so they can be easily be relaunched.

OSM File

This lets you load a PBF or OSM file in QGIS, stored on your hard drive. Before 2.0, you had to load the full dataset from the file. In 2.0 you can now filter using key/values.

This means that you can now process huge quantities of OSM data offline, without using the Overpass API. Files can be generated by services like https://download.geofabrik.de. It means people working on large dataset won't affect the Overpass API.

Processing toolbox

Until now only construction query algorithm were supported in the QGIS Processing Modeler.

If you don't know yet about QGIS Modeler, it's time to have a look.

We decided to add more QGIS Processing algorithm.

You can now find the equivalent of the Quick query in the Processing toolbox.

Map presets

This is the biggest new feature in this release.

Map presets are a nice way to save queries, like it was possible before in QGIS 2. But we added more features. It's possible to save a set of queries within a single map preset, to have a map out-of-the-box.

You can define one or more queries and associate a QGIS Style file for each layer.

For instance, by clicking on the Urban map preset showed above, you will download automatically buildings and roads with a style.

The plugin comes with a single map preset for now. But we need you to contribute to this list. If you feel like a map maker and contributor and if you think a map preset is missing, feel free to come and share it on https://github.com/3liz/quickosm. We would like to see a hiking map preset, bicycle map preset…

Conclusion

I'm happy that I could make this newer version of QuickOSM available to you. I can't wait to see some feedbacks (Twitter, LinkedIn, GitHub…) and to see more map presets coming in the plugin.

Also we'd love to have more people translating QuickOSM, see https://docs.3liz.org/QuickOSM/translation-stats/

Have fun Maxime Charzat

QGIS Processing R 3

2021-06-22T09:00:00+02:00

Le plugin QGIS Processing R version 3.0

Le plugin QGIS Processing R permet de développer des scripts avec le langage R pour le module traitement de QGIS.

Le plugin QGIS Processing R a été développé suite au travail de réorganisation du code du module traitement de QGIS 3. North Road a extrait et adapté le code du module traitement de QGIS 2 pour QGIS 3.

Une nouvelle version majeure a été publiée. Cette version intègre des améliorations développées par 3Liz sur commande de l'Ifremer pour la plateforme Sextant.

Depuis la version 2.0.0 du plugin QGIS processing R, nous avons réalisé de nombreux correctifs qui concernaient principalement le support des sorties d'algorithme :

[Bugfix] CSV Output Table destination was not in results
[BUGFIX] Processing R algorithms do not have enough outputs
[Bugfix] Support file destination and output
Folder destination path added in input commands
Fix return output file destination value

Les améliorations importantes de la version 3.0.0 concernent les possibilités de description des algorithmes :

Utilisation de la documentation des paramètres depuis le fichier d'aide
Définition d'une nouvelle ligne de métadonnées display_name pour le libellé de l'algorithme
Utilisation de la chaîne de caractère de description pour les paramètres des algorithmes

Amélioration de la documentation des scripts

Depuis la version 3.16 de QGIS, il est possible de définir une aide pour les paramètres d'un algorithme. Cette possibilité est disponible pour les plugins ajoutant un fournisseur d'algorithme, les scripts Python et les modèles de traitements.

Avec la version 3.0.0 du plugin QGIS processing R, l'aide pour les paramètres peut-être défini dans le fichier d'aide du script. Ce fichier d'aide est un fichier JSON. Le nom du paramètre sert de clé pour définir l'aide de celui-ci.

Par exemple pour un algorithme dont les paramètres polyg et RPLOTS, le document d'aide contiendra ces clés

{
  "ALG_DESC": "Test help.",  // Description de l'algorithme
  "ALG_CREATOR": "Me",  // Créateur de l'algorithme
  "polyg": "A polygon layer", // Aide du paramètre polyg
  "RPLOTS": "Plot output", // Aide du paramètre RPLOTS
  "ALG_HELP_CREATOR": "Me2" // Créateur de l'aide
}

L'aide des paramètres apparaitra sous forme de Tooltip des champs de saisie de la fenêtre de l'algorithme. Il sera utilisé comme description des paramètres dans la description des algorithmes publiés en OGC Web Processing Service (wps) avec py-qgis-wps.

Définition du titre de l'algorithme

Le titre d'un algorithme basé sur un script R est défini par le plugin de la façon suivante : 1. Le premier nom possible est déduit du nom du fichier du script R, les _ sont remplacés par des espaces. Le nom du fichier sert d'identifiant pour l'algorithme. 2. Le second nom possible est déduit de la ligne de métadonnées (ligne commençant par ##) name, les _ sont remplacés par des espaces. La valeur de la ligne de métadonnées name sert d'identifiant à l'algorithme. 3. Le troisième nom possible est la valeur de la ligne de métadonnées display_name. L'identifiant de l'algorithme sera la valeur de la ligne de métadonnées name ou le nom du fichier.

Avec la version 3.0.0 du plugin QGIS processing R, il est possible de dissocié clairement le titre de l'algorithme de son identifiant.

Description avancée des paramètres

La description des paramètres d'un algorithme basé sur un script R repose sur les lignes de métadonnées. Ces lignes commencent par ##.

Par défaut la description des paramètres se fait selon la structure imaginée par Victor Olaya pour les scripts Python dans la version pour QGIS 2 du module Traitement. Un paramètre se décrit de la façon suivante param_name=[optional] param_type [default_value/values/from_variable]. Cette structure s'appuie sur la définition des méthodes asScritCode / fromScriptcode des classes de paramètres de Processing (toutes les classes filles de QgsProcessingParameterDefinition).

Les entrées peuvent donc ressembler à ceci :

##Layer=vector spécifie qu'il y aura une variable Layer qui sera une couche vectorielle
##Size=number 10 spécifie qu'il y aura une variable Size qui sera numérique, et que la valeur par défaut de Size sera 10
##X=Field Layer spécifie qu'il y aura une variable X sera le nom du champ pris dans la couche vectorielle du paramètre Layer

Le script R test_algorithm_2.rsx qui permet de tester que le plugin analyse correctement la description des paramètres, présente d'autres exemples de paramètres.

Le défaut de cette description compacte des paramètres est qu'elle ne permet pas de les configurer complètement. Par exemple, il n'est pas possible d'ajouter une description ou une aide.

Pour remédier à cela, nous avons décidé de réutiliser une autre façon de décrire les paramètres déjà disponible dans le module Traitement de QGIS. Cette description avancée des paramètres a été conçu pour les fournisseurs d'algorithmes que sont GDAL, GRASS7, SAGA et Orpheo Toolbox.

Les paramètres sont décrits de la façon suivante QgsProcessingParameter|name|description|other_parameters_separated_by_pipe. other_parameter_separated_by_pipe contient les autres paramètres d'initialisation du paramètre d'entré de l'algorithme.

Les entrées peuvent donc ressembler à ceci :

##QgsProcessingParameterFeatureSource|INPUT|Vector layer spécifie qu'il y aura une variable INPUT qui sera une couche vectorielle dont la description est Vector layer
##QgsProcessingParameterNumber|SIZE|Aggregation Size|QgsProcessingParameterNumber.Integer|10 spécifie qu'il y aura une variable Size qui sera numérique de type entier, que sa description est Aggregation Size, et que la valeur par défaut de Size sera 10
##QgsProcessingParameterField|FIELDS|Attributes|None|INPUT|-1|False|False spécifie qu'il y aura une variable FIELDS sera le nom du champ pris dans la couche vectorielle du paramètre INPUT et que sa description est Attributes

Le seul défaut de cette façon de décrire les entrées de l'algorithme est qu'elle nécessite de connaître les classes de paramètres de Processing (toutes les classes filles de QgsProcessingParameterDefinition).

Conclusion

L'ensemble de ces améliorations permettent de construire des algorithmes dont l'interface quelle soit graphique dans QGIS bureautique, en ligne de commande avec qgis_process, ou en mode Web avec la norme WPS et py-qgis-wps, est plus conviviale pour les différents utilisateurs.

D'ailleurs les procédés mise en œuvre au sein du plugin QGIS Processing R pourrait très bien être adapté à d'autres langages de programmation comme Julia.

René-Luc D'Hont et Ludovic Hirlimann

QGIS Processing R 3

2021-06-22T09:00:00+02:00

QGIS Processing R plugin version 3.0

The QGIS-processing-R plugin, let's you write R scripts to be processed by/in QGIS

The QGIS-processing-R plugin was developed after some refactoring of teh qgis processing in QGIS 3. North Road adapted and reused some of the QGIS 2 code to make this happen in QGIS 3.

A new major version was released. This version contains fixes developed by 3liz for Ifremer's Sextant platform.

Since version 2.0.0 of QGIS-processing-R, we've fixed mostly output related bugs :

[Bugfix] CSV Output Table destination was not in results
[BUGFIX] Processing R algorithms do not have enough outputs
[Bugfix] Support file destination and output
Folder destination path added in input commands
Fix return output file destination value

The major addenda to version 3.0.0 are based around description of the algorithms:

Documentation of the parameters from the help file
New metadata entry display_name for the name of the algorithm
Usage of the description string as a parameter of the algorithms.

Better Scripts documentation

Since version 3.16 of qgis, it is possible to define help for the parameter of an algorithm. This feature is available for plugins providing algorithm, python scripts and processing models.

Version 3.0.0 of the R processing qgis plugin, parameter help can be defined in the help file for said scripts. The help file is a json file. The name of the parameter is the key to define its help.

Let's look at an example for an algorithm whose parameters and polyg and RPLOTS, the help file would contain the following keys:

{
  "ALG_DESC": "Test help.",  // Algorithm's description
  "ALG_CREATOR": "Me",  // Algorithm's creator
  "polyg": "A polygon layer", // polyg parameter help
  "RPLOTS": "Plot output", // RPLOTS parameter help
  "ALG_HELP_CREATOR": "Me2" // Algorithm help's creator
}

The help for parameter will appear in the form of a tooltip on the input field in the window of the algorithm. It will be used as a description for the parameters in the algorithm published as an OGC Web Processing Service WPS with py-qgis-wps.

Defining the algorithm title

The title of a R script algorithm is defined like so by the plugin:

The first possible title is based on the name of the R script file _ are replaced by spaces. The file name also serves as an ID for the algorithm.
The second possible title is read from the metadata (lines starting with ## ) name, as above the _ are replaced by spaces. The name metadata serves as an ID for the algorithm.
THe third and last possibility is the display_name metadata entry. The ID will either be deducted from the file name or the name metadata.

With version 3.0.0 of the R processing qgis plugin, you can clearly identify the algorithm tile and its ID.

Advanced parameter description

Parameter description in a R based algorithm rely on metadata. These lines start with ##.

Parameter description use the structure developed by Victor Olaya in the QGIS 2 of the processing module. A parameter is explained with the following metadata sequence param_name=[optional] param_type [default_value/values/from_variable]. This structure relies on the asScritCode / fromScriptcode from the processing class parameters (all the children classes of QgsProcessingParameterDefinition).

Entries can look like this

##Layer=vector there will be a Layer parameter and it will be a vector layer
##Size=number 10 there will be a Size parameter, it will be a numeric value and it's default value will be 10
##X=Field Layer There will be a variable named X whose field name will be taken from the Layer parameter

The R script test_algorithm_2.rsx let you test the plugin and will properly analyse parameter descriptions. It also contains other parameter examples.

There is one issue with this compact description of parameters : it's incomplete. For instance, you can't add a description, or an help entry.

To fix this, we decided to follow what other processing modules for QGIS were particularly : GDAL, GRASS7, SAGA and Orpheo Toolbox.

Parameters are described as such QgsProcessingParameter|name|description|other_parameters_separated_by_pipe. other_parameter_separated_by_pipe contains the other initialization parameter for the algorithm.

Entries can look like this:

##QgsProcessingParameterFeatureSource|INPUT|Vector layer There will be an INPUT variable. INPUT is a vector layer and it's description is Vector Layer.
##QgsProcessingParameterNumber|SIZE|Aggregation Size|QgsProcessingParameterNumber.Integer|10 A numeric variable named Size, whose description will be Aggregation Size a and default value will be 10.
##QgsProcessingParameterField|FIELDS|Attributes|None|INPUT|-1|False|False Specifies that there is a FIELDS variable whose name will be taken from the INPUT vector parameter, and it's description is Attribute.

The only issue with this technique is that you eed now all the classes for Processing parameters (all the children classes of QgsProcessingParameterDefinition)

To conclude

All these features will let you build algorithms, that will be way easier to use either on the desktop, command line with qgis_process or using the web with WPS and py-qgis-wps.

What we did to have R scripts in QGIS-processing-R could be adapted to other programming languages like Julia.

René-Luc D'Hont and Ludovic Hirlimann

De la documentation

2021-05-07T09:00:00+02:00

La qualité, c'est un tout

Il y a peu nous expliquions les actions prises et envisagées pour améliorer la qualité de Lizmap. Il en va de même pour la documentation des logiciels ou des extensions que nous produisons. La documentation fait partie de la qualité.

Lizmap

La documentation utilisateurs concernant Lizmap Web CLient souffre un peu de notre manque de temps. Néanmoins, nous avons décidé de l'améliorer.

Nous avons par exemple décidé de ne plus accepter de nouvelles fonctionnalités dans Lizmap si celles-ci ne viennent pas avec un brin de documentation (du texte et des captures d'écran).

La documentation Lizmap, disponible sur GitHub 3liz/lizmap-documentation, utilise Sphinx, et est traduisible sur Transifex dans plusieurs langues. La documentation format HTML est disponible sur https://docs.lizmap.com

Concernant la documentation du code, nous avons également un pull request en cours pour la génération avec PhpDoc et nous sommes aussi en train d'améliorer les annotations et docstrings au sein du code PHP. Cela nous permettra d'accentuer le travail sur les DocStrings, c'est-à-dire la documentation du code, des classes et des fonctions.

Autres produits

Parallèlement à Lizmap Web Client, nous misons aussi sur la documentation des extensions et des modules que nous développons. Nous publions l'ensemble de la documentation de nos projets open-source sur https://docs.3liz.org.

Pour cela, nous utilisons MkDocs avec le thème Material. Pour chaque extension QGIS ou pour chaque module Lizmap, nous ajoutons un site dédié grâce à MkDocs et nous le référençons sur https://docs.3liz.org.

MkDocs nous permet de rédiger le manuel utilisateur de manière simple et ergonomique au format Markdown. L'utilisation de ce format Markdown reste très accessible à tous, sans avoir à apprendre une syntaxe particulièrement difficile.

Additionnellement, il existe de nombreuses extensions au Markdown, comme Mermaid qui permet de faire des diagrammes (classes, cas d'utilisations, scénario, etc.), Admonitions pour insérer des boîtes de texte graphique, etc.

Pour la documentation d'une base de données PostgreSQL, nous utilisons SchemaSpy qui permet la génération d'un site HTML avec l'ensemble des tables, des champs, des fonctions SQL. Il peut même présenter quelques anomalies possibles. L'ensemble de cette génération de documentation est automatisé sur la CI GitLab et/ou GitHub.

Si le projet en question, n'utilise pas une base de données PostgreSQL, mais un GeoPackage avec des tables et des relations, nous utilisons une solution maison qui lit les fichiers CSV de définition des tables ainsi que les relations du projet QGIS et génère un Markdown contenant le diagramme des classes selon la nomenclature Mermaid. Nous obtenons ainsi une représentation graphique du diagramme de classe pour les tables du fichier Geopackage.

Concernant les extensions QGIS, nous utilisons dans la plupart des cas le framework Processing qui permet de fournir des algorithmes de traitements dans nos extensions. Avec l'aide d'un script Python, nous générons automatiquement une page en Markdown de chaque algorithme avec la capture d'écran associé (grâce à l'API Qt). Dans QGIS 2, dans le framework Processing, nous pouvions définir des infobulles pour les paramètres d'un algorithme. Malheureusement, suite au refactoring QGIS 3, cette possibilité avait été perdue. Nous avons rajouté cette possibilité depuis QGIS 3.14 pour améliorer la documentation de nos algorithmes. Ces infobulles sont également présentes dans l'export Markdown.

Exemples

Pour illustrer l'ensemble de ces éléments, prenons exemple sur l'extension PgMetadata, extension QGIS pour avoir des métadonnées sur des couches PostgreSQL :

La documentation se situe sur https://docs.3liz.org/qgis-pgmetadata-plugin/ On y trouve la présentation du projet, le manuel utilisateur, les références…
La documentation Processing est automatiquement générée à partir du code Python (tableau et capture d'écran).
La documentation de la base de données est engendrée automatiquement à partir des fichiers SQL dans le code source.

Concernant la génération des diagrammes avec Mermaid, présentons le cas de l'extension QGIS Mercicor avec son diagramme cliquable ou alors son modèle de données générés à partir du code CSV (ainsi que les tableaux).

Pour la mise à disposition des extensions QGIS, nous utilisons QGIS-Plugin-CI. Cela permet de mettre à disposition un dépôt d'extension QGIS pour une extension, protégé ou non par login/mot de passe. MkDocs nous permet encore de mettre à disposition le tutoriel pour l'installation du dépôt dans QGIS.

En cours

Concernant la documentation, nous avons d'autres pistes que nous allons commencer à explorer :

génération automatique d'un fichier Markdown concernant les Actions QGIS dans une extension QGIS afin de décrire les interactions possibles avec l'utilisateur.
Améliorer le respect de la norme Python PEP 257 pour l'écriture des DocStrings
Améliorer le respect de la norme Python PEP 3107 pour l'écriture des Annotations Python
Générer la documentation du code avec l'aide de ces deux PEP précédentes

Notre effort est récent, nous n'avons pas encore adapté les documentations de tous nos projets à cette nouvelle manière de travailler, mais nous le faisons au fur et à mesure du temps que nous pouvons dédier au projet.

De même nous avons de la dette documentaire. C’est-à-dire de la documentation qui n'est pas à jour, de la documentation incomplète, de la documentation sans illustration. Nous allons petit à petit combler ces lacunes. En tant qu'utilisateurs de nos logiciels, vous pouvez nous aider de deux manières :

la première, c'est en ajoutant des copies d'écran (en anglais de préférence), de prendre en main l'outil MkDocs et de nous proposer un patch de mise à jour de la documentation
la deuxième est de contacter notre gérant et lui demander un devis pour que nous puissions consacrer du temps à écrire et mettre à jour de la documentation.

Etienne Trimaille et Ludovic Hirlimann

About documentation

2021-05-07T09:00:00+02:00

Quality everywhere

We recently explained that our plan of actions was to upgrade the quality with Lizmap releases. We are having a similar effort for the documentation of all the software and plugins that we are writing. Documentation is part of the quality process.

Lizmap

User documentation for Lizmap Web Client suffers from our lack of time. Realizing that, we decided to work on making it better.

First step is to refuse new features in Lizmap, if they are not bundled with some documentation (some text and some screenshots).

Lizmap's documentation is built with sphinx and is pushed to transifex for translations. We host an HTML version of it at https://docs.lizmap.com, and it's available in several languages.

We are also working on documenting our code source in better ways. There's a pull request to use PhpDoc. We are slowly adding more comments and docstrings to our PHP code. This effort will let us document our code, classes, and functions using DocStrings.

Other products

Our effort is global, it will touch everything we produce. We host all the documentation for all our open-source projects at https://docs.3liz.org.

For these, we use MkDocs with the Material Theme. For every QGIS plugins and for each Lizmap module, we create a specific website with MkDocs and link to it from https://docs.3liz.org.

We've chosen MkDocs , because it's easy to create a user manual in Markdown, with that tool. Markdown is very easy to grasp and makes it easy to write the documentation. In addition, Markdown is extensible with tools like Mermaid to make diagrams or Admonitions to insert graphics and text.

When documenting things related to PostgreSQL, we use SchemaSpy. It generates a website with tables, fields, and SQL functions. This is automated in either GitLab or GitHub depending on the status of the project (public).

If a project doesn't use PostgreSQL, but for instance a Geopackage with tables and relations, we are using a home brew solution. The given solution reads CSV files and relations from the QGIS project file. Then it generates a Markdown containing: class diagrams, relations, tables which will be parsed by Mermaid.

For QGIS plugins, we use the Processing framework to provide algorithms to QGIS. With the help of a python script, we generate the Markdown for each algorithm and associated screenshots (using the Qt API). When using a version of QGIS > 3.14, tooltips present in the UI are also present in the generated markdown documentation.

Examples

Let's see how it works with our PgMetadata QGIS plugin, that lets you see PostgreSQL metadata from QGIS:

Documentation is at https://docs.3liz.org/qgis-pgmetadata-plugin/. We present the project and you'll find the user manual, references…
The processing documentation is completely generated through some python scripts (tables and screenshots).
The database documentation is built using the SQL source code.

For diagrams made with Mermaid, we can use the Mercicor QGIS plugin example with its clickable workflow diagram and its data model generated from the CSV code (and tables below).

For delivering QGIS plugins, we use QGIS-Plugin-CI. This allows us to make a QGIS Plugin repository per plugin, protected or not by login/password. MkDocs allows us to have the tutorial how to install a custom QGIS repository.

Work in Progress

On top of what we already do, we are exploring the following ideas :

Markdown generation for QGIS Actions so interactions with users can be documented.
Stricter use of Python PEP 257 for writing DocStrings.
Stricter use of Python PEP 3107 for Python annotations.
Generate code documentation based on the PEP above.

We've only recently started working on making our documentation top-class. All our projects haven't switch yet to this new process, we do it one at a time depending on the time we can dedicate to the project.

We are aware that we have a documentation debt: some are obsolete, some are incomplete, some lacks screenshots. We are slowly working on fixing all of these. As a user you can help in some ways:

You can make a missing screenshot (in English please), learn how to use MkDocs, and propose documentation patches.
Contact our manager and ask to fund some documentation work.

Etienne Trimaille and Ludovic Hirlimann