Meta-Press.es

Is Google making search worse to sell more ads?

2025-11-06T00:00:00+01:00

As Google faces the prospect of a court-ordered breakup following a recent monopoly ruling, new research suggests the tech giant’s declining search quality may be a deliberate strategy to boost advertising revenue at the expense of consumer experience.

https://journalrecord.com/2025/02/20/is-google-making-search-worse-to-sell-more-ads/

https://www.justice.gov/d9/2023-11/417557.pdf

Google dégrade-t-il ses recherches pour vendre plus de pubs ?

2025-11-06T00:00:00+01:00

Vous avez l’impression que la qualité des résultats de Google est de pire en pire ? Vous n’êtes pas le/la seul(e).

Et il se pourrait que ça soit une volonté de Google : Des documents internes montrent que la dégradation de la qualité n’a pas d’impact sur le business de Google. C’est même le contraire: les gens passant plus de temps à parcourir les pages de résultats voient plus de publicité, ce qui est bénéfique à Google. Et Google peut se permettre cela car il a de fait un monopole de la recherche : Tout le monde utilise Google, est tout le monde est convaincu qu’il a les meilleurs résultats. Mais ce n’est plus le cas ! Il est temps d’aller faire nos recherches ailleurs.

L’origine de ce bordel date de juin 2020 où la division "moteur de recherche" a été fusionnée avec la division "publicité" (auparavant strictement séparées). C’est bien une merdification.

Texte emprunté (avec l’accord de l’auteur) : https://sebsauvage.net/links/?ivYaNw
Source presse américaine : https://journalrecord.com/2025/02/20/is-google-making-search-worse-to-sell-more-ads/
Source justice américaine : https://www.justice.gov/d9/2023-11/417557.pdf

Version 1.9 : Big speed improvement, command-line interface and book search

2025-10-22T00:00:00+02:00

Index

1. Speed improvements
2. Meta-Press.es command line interface
3. Contributions

Even being quite, Meta-Press.es was an active project this year. Let’s announce some exciting features, such as the new command-line interface, considerable speed improvements a new result type : book, a rework of the design and the availability of a contributed Tamil translation !

1. Speed improvements

This new release of Meta-Press.es bring many speed improvements. First, the source definitions are now kept in the browser storage, this allows to avoid reading the 25 000 lines of the definitions at each new Meta-Press.es tab. Loading sources from the browser storage is 3x faster than reading them from my NVME drive (using Firefox Nightly ASAN, a slow version).

Then Meta-Press.es improved the way it performs the searches. The previous method was to query a source, wait for its answer and start over with the next source. The new method is to launch all queries at once (but no more than 500 per second to respect Quad9 recommandations) and only after that starting to study the responses. This allows to start waiting for the slowest sources right from the beginning, giving it more time to answer before actually delaying the request. On a french LTE connexion its 3x faster, with measured 620 sources fetched in 9s. This query scheduling improvement was achieve thanks to the microTask JavaScript API.

The last speed improvement is the multi-thread approach (thanks to the Wau Holland Foundation). You can turn it on from the settings, clicking the corresponding box. This allows to divide a search in batches, approximatively one by CPU core (minus a small percentage of spared cores), to get more CPU working on the search as JavaScript is otherwise single-threaded. This is done using different search tabs, automatically opened and closed. Results are gathered in the original tab. It might help in scenarios where the task is CPU-bound like on an old smartphones with good WiFi or an old computer with an optic fiber connexion. But usually, and with my LTE connexion for instance, the CPU is just waiting for the data to come from the network (so the option is not activated by default).

2. Meta-Press.es command line interface

As per NLnet and NGI0 support, Meta-Press.es searches can now be run out of web browser, from the command-line, via a Deno script.

This is the final stage of the code architecture rework initiated on NLnet impulse to introduce a clean separation between the core functions and the interface. This way, most of the Meta-Press.es core code is reused in this new command line interface.

This should allow to embed Meta-Press.es in more situations, even server-side.

Currently, this implementation is not faster than the regular in-browser web-interface. It’s due to the fact that all web page analysis (aka as DOM operations) are emulated via the jsdom ^[1] library, while the DOM is native on web-browsers. Deno, nor NodeJS are giving access to a compiled DOM. So searches are CPU-bound when started from the command-line and run for minutes when single-threaded. Fortunately, the multi-threaded searches (done via the WebWorker API here ^[2]) are improving things a lot, getting searches on par with the web-interface on a big (16 threads) machine.

For instructions about the Meta-Press.es command-line interface, please check the corresponding project README section.

3. Contributions

3.1. Book result type

Meta-Press.es v1.9 welcomes a new type of results : books. This have been made possible thanks to the work of Alexiane Senechaud, whom added a lot of new sources and electronic book libraries among them.

To keep things clear, the previous "text" result type covering press articles have been renamed "article", so we now have two text result types : books and articles.

You’re welcome to point us to more online libraries.

3.2. Better design

Alexiane also contributed a wide redesign of the Meta-Press.es WebExtension interface. Most of her ideas have been implemented in this new version :

new font
a popup menu instead of the previous header-bar
a better setup presentation
a redesign of the footer with direct donation links…

It was a great work from her and I did not implement all of her ideas yet.

3.3. Tamil from Weblate

A great (but currently anonymous to me) contributor did translate entirely Meta-Press.es into Tamil language via Weblate.org. This new version get it available. This have been possible thanks to Weblate a wonderful online translation management plateform, with high quality service and professional support.

3.4. Review by Korben.info

To finish, this release log comes a bit late after some hurry releases this summer. It’s because the french tech-blog Korben.info published an unexpected (but welcome) review of Meta-Press.es. It lead to an urgent release of the state of the art development version, to showcase improvements.

This review lead to 100+ downloads in a few days and raised our average daily users to nearly 900. This website was visited more than 11 000 times during the corresponding month.

1. jsdom is the only NodeJS / Deno DOM library supporting XPathEvaluator. Don’t hesitate to prove me wrong when something better will be available.

2. Regular in-browser WebWorkers are DOM-less also.

Version 1.9 : Accélérations, interface en ligne de commande et recherche de livres

2025-10-22T00:00:00+02:00

Index

1. Accélérations
2. Meta-Press.es en ligne de commande
3. Contributions

Bien que l’année fut calme en apparence, le projet Meta-Press.es a été très actif. Voici les principales fonctionnalités ajoutées cette année : une interface en ligne de commande, de grosses accélérations dans les traitements, un nouveau type de résultats (les livres), une refonte progressive de l’interface web et la contribution d’une traduction en tamoul de l’outil.

1. Accélérations

Cette nouvelle version de Meta-Press.es introduit plusieurs améliorations dans les délais de traitement. Tout d’abord, les définitions de source sont désormais gardées dans le stockage du navigateur, pour éviter d’avoir à relire les 25 000 lignes de définition à chaque ouverture d’un onglet Meta-Press.es. Lire la définition des sources depuis le stockage du navigateur s’avère 3x plus rapide que de lire cette information depuis le stockage NVME de ma machine (tests effectués avec Firefox Nightly ASAN, une version lente).

Ensuite c’est la façon dont les recherches sont effectuées qui a été améliorée. La précédente méthode consistait à interroger une source, attendre puis traiter sa réponse, et recommencer avec la source suivante. La nouvelle méthode consiste à lancer toutes les requêtes en même temps dès le début (en respectant le nombre maximum de requêtes DNS recommandé par Quad9, soit 500 par seconde) et de ne commencer à analyser les réponses qu’après. Ceci permet de masquer partiellement les temps d’attente des sources les plus lentes. Sur une connexion 4G en France c’est 3x plus rapide et 620 sources peuvent être interrogées en 9s. Cette amélioration de l’ordonnancement des requêtes s’appuie sur l’API JavaScript microTask.

La dernière amélioration concerne l’introduction d’une approche multi-tâches des recherches (grâces à la Wau Holland Foundation). Cette fonctionnalité est activable d’un clic dans les réglages. Cela permet de répartir les requêtes sur plusieurs tâches, environ une par noyau de CPU (moins quelques tâches conservées libres pour le système et rassembler les résultats), afin de mobiliser plus de ressources du micro-processeur alors que le JavaScript est lui mono-tâche. Pour ce faire, une recherche multi-tâches ouvre (puis referme automatiquement) plusieurs onglets dans le navigateur. Les résultats sont ensuite rassemblés dans l’onglet ayant lancé la recherche. Ce fonctionnement devrait permettre de gagner du temps dans les environnements d’exécution où c’est le CPU qui ralenti le traitement (comme avec un vieux smartphone sur une bonne connexion WiFi ou un vieil ordinateur connecté en fibre optique). Mais sur une connexion 4G, le CPU passe le plus clair de son temps à attendre les réponses, donc l’option n’est pas activée par défaut.

2. Meta-Press.es en ligne de commande

Grâce au soutien de la NLnet et du programme européen NGI0, il est désormais possible de réaliser des recherches Meta-Press.es hors d’un navigateur web, depuis la ligne de commande via un script Deno.

Cette nouvelle manière d’utiliser Meta-Press.es représente la dernière étape de la restructuration de code impulsée par la NLnet pour introduire une séparation claire entre moteur et interface, alors que ce dernier s’est considérablement compliqué ces dernières années. Aujourd’hui, la majeure partie du code de Meta-Press.es a pu être réutilisée pour le fonctionnement en ligne de commande, prouvant que tout a bien été rangé.

Cette nouvelle interface devrait permettre d’utiliser Meta-Press.es dans de nouvelles situations, par exemple sur un serveur.

Toutefois ce n’est pour l’instant pas plus rapide que d’utiliser Meta-Press.es dans un navigateur web. Ceci est dû au fait que l’analyse des pages web téléchargées par Meta-Press.es est lente dans ce contexte car elle passe par la bibliothèque de fonction jsdom ^[1] qui simule les parties manquantes du navigateur web. Un navigateur web propose ces fonctionnalités à partir de code compilé 100x plus rapide qu’une version singée en JavaScript. Une recherche Meta-Press.es en ligne de commande est donc limitée par le CPU de la machine et s’étalait sur plusieurs minutes dans la première version mono-tâche. Heureusement, il a été possible de proposer une exécution multi-tâches (en s’appuyant sur l’API WebWorker ^[2] cette fois), qui ramène le temps d’exécution à quelque chose de comparable au Meta-Press.es classique, du moins sur une machine avec 16 fils d’exécution.

Pour plus d’information sur comment utiliser Meta-Press.es en ligne de commande, reportez vous à la section correspondante du README du projet.

3. Contributions

3.1. Le type de résultat : livre

Meta-Press.es v1.9 se voit doté d’un nouveau type de résultat : les livres. Cela a été rendu possible grâce au travail d’Alexiane Sénéchaud, qui a ajouté plein de sources dont de nombreuses librairies électroniques en ligne.

Pour clarifier la situation, le précédent type de résultat "texte" (qui correspondait aux articles de presse) a été renommé : "article". Il y a donc désormais deux types de résultats majoritairement textuels : les articles et les livres numériques.

N’hésitez pas à nous indiquer d’autres bonne librairies en ligne.

3.2. Refonte de l’interface graphique

Alexiane a aussi travaillé à la conception des pages de Meta-Press.es en version WebExtension. La plupart de ses idées ont été implémentées dans cette nouvelle version :

nouvelle police de caractère
menu unique et simplifié à la place de la barre d’entête
meilleure présentation des réglages
refonte du pieds de page avec des liens directs pour faire des dons…

Elle a fait un travail formidable et je n’ai pas encore tout intégré de ses idées.

3.3. Traduction tamoul via Weblate

Un incroyable contributeur (encore anonyme à ce stade) a traduit toute l’interface de Meta-Press.es en tamoul. Cette nouvelle version de Meta-Press.es embarque son travail. Cette contribution a été rendue possible par Weblate.org, une très bonne plateforme de gestion en ligne des traductions d’un logiciel (avec un support professionnel et de nombreuses fonctionnalités de travail en équipe).

3.4. Revue par Korben.info

Pour finir, ces notes de version arrivent un peu tard après plusieurs versions intermédiaires sorties un peu précipitamment cet été. C’est parce que le blog technique français Korben.info a publié une revue inattendue (mais bienvenue) de Meta-Press.es. Cet évènement étant de nature à faire découvrir l’outil à plein de monde en peu de temps, il a semblé préférable de fournir une version à jour (notamment de la liste des sources) pour présenter l’outil sous son meilleur jour.

Cette revue a entrainé un peu plus de 100 téléchargements en quelques jours et remonté le nombre moyen d’utilisateurs quotidien à presque 900. Ce site a de son côté été visité plus de 11 000 fois en juillet cette année.

1. jsdom est la seule bibliothèque NodeJS / Deno qui propose la fonction XPathEvaluator. N’hésitez pas à me contredire dès que quelque chose de plus rapide sera disponible.

2. Il est à noter que l’API DOM est absente des WebWorker, même s’ils sont lancés depuis un navigateur web.

[Korben.info] Meta-Press.es - the press search engine that doesn't spy on you

2025-07-25T00:00:00+02:00

Tired of Google News, its bubbles, its filters and its shitty articles written by AI ? Know that there is a guy in France developing Meta-Press.es, a decentralized press search engine, running directly from your Firefox. No tracking, no ad and it searches through 900 newspapers at once.

[…]

So if you monitor some subjects, do press reviews, or just get informed without giving your data to GAFAM, Meta-Press.es is a real choice. And it’s cool to support french based projects with ethical values.

Meta-Press.es - le moteur de recherche de presse qui ne vous espionne pas (fr)

[Korben.info] Meta-Press.es - le moteur de recherche de presse qui ne vous espionne pas

2025-07-25T00:00:00+02:00

Vous en avez marre de Google News, de ses bulles de filtre et de ses articles de merde écrit par IA ? Et bien sachez qu’il y a un mec en France qui a développé Meta-Press.es , un moteur de recherche de presse décentralisé qui tourne directement dans votre Firefox. Zéro tracking, zéro pub, et ça cherche dans 900 journaux d’un coup.

[…]

Voilà, donc si vous faites de la veille, des revues de presse, ou si vous voulez juste vous informer sans alimenter la machine à données des GAFAM, Meta-Press.es est vraiment une alternative crédible. En plus, ça fait plaisir de soutenir un projet français qui défend des valeurs éthiques.

Meta-Press.es - le moteur de recherche de presse qui ne vous espionne pas (fr)

Version 1.8.17.4 : Mozilla quality enforcement, manifest v3 and Scrutari

2024-10-16T00:00:00+02:00

Index

1. Mozilla automated add-ons code quality checks
2. Switch to manifest version 3
- 2.1. Embrace, extend and extinguish
- 2.2. Manifest v2 vs Manifest v3
3. No dates on results ?
4. 20 new Scrutari-based sources
5. When asking for too much results
6. JavaScript code linting : quick-lint-js
7. #FixTheWorld : FranceTVInfo

Things have been rushed a little bit for Meta-Press.es in mid-septembre with a series of releases in close proximity responding to the urgency that represented the disabling of Meta-Press.es by Mozilla’s due to automatic enforcement of new code quality rules.

1. Mozilla automated add-ons code quality checks

Everything began with an email received the 17th of September 2024 warning me that Meta-Press.es would soon be disabled from Addons.Mozilla.org (aka AMO). Apparently I did miss a previous email allegedly sent two weeks before (but I rarely miss an email).

1.1. Missing sources or instructions

The reason invoked for this radical measure was that the Meta-Press.es WebExtension was missing « sources or instructions » on how to get the original sources of embedded dependencies.

When using embedded minified third party libraries the rule was to provide also the link to the source of this library. So, for each release since 5 years, I provided (copy/pasted from the README file) the list of official websites for every dependencies of Meta-Press.es.

The review history were the message appeared is presented like a chat. I got this message :

Sources, specifically Sources or instructions missing: Your add-on contains minified, concatenated or otherwise machine-generated code. You need to provide the original sources, together with instructions on how to generate the exact same code used in the add-on. Source code must be provided as an archive and uploaded using the source code upload field, which can be done during submission or on the version page in the developer hub. Instructions can be provided in a top-level README file inside the source code package or in the "Notes to Reviewers" field on the version page in the developer hub.

— Initial message from the Add-ons review Team

And answered by :

Hi, I provided links to non-minified code in the Reviewer’s notes. Did I missed one ?

— Answer from a developer by Siltaar
2024-09-19 15:09

Well, I never got any answer and the add-on were disabled 48h later. All of the previous version, since 5 years. Suddenly you don’t appear anymore in the add-ons search results and the URL of the add-on at AMO is 404.

1.2. Please provide the origin of the exact library version

I issued a new version with no minimized code, replacing 14 minimized CSS or JavaScript files by their original (and updated for the occasion) versions. After all, a libre JavaScript is not minimized. But this new release got refused, with the same previous message, plus another one.

Sources, specifically Third party library information: Your add-on includes a third-party library. Please provide the origin of the exact library version you were using and make sure you are using an exact copy of the original maintainer’s release version.

— Message from the Add-ons review Team

Ok, this makes sense also : I imagine that they built an automated verification of embedded third party libraries and they need us to provide exact links (while a human could have manage to deal with official landing page of each dependency before). And this time I got a link toward an online documentation about how to deal with third party libraries.

For more information, refer to https://extensionworkshop.com/documentation/publish/third-party-library-usage/

— Message from the Add-ons review Team

So I issued a new version with exact link of official versions of each libraries. If a library does not provide an online version of its release code, you can’t use it. Again, this is what it takes to setup an automated verification of third party libraries, and it’s a good point to know that there is no mysterious code in Mozilla’s Add-ons.

But CodeMirror v5 for instance, uses hundreds of files to store its development code, and compiles minified one-file releases (package in .zip files), which are simpler to load in your web pages. As it still uses plugins, with eventual dependencies (to highlight JSON and JSON errors for instance), it turned out to be a too big maintenance burden for Meta-Press.es. Now sources are added as raw text in a standard textarea. CodeMirror v6 might fit here one day.

1.3. No more one letter variables

It took a lot of work, out of schedules to address this priority. But this new release was rejected with the following message.

[…]

Your extension contains multiple parts of code with one letter variables, making the code difficult to reviews. As our policies state, that you can read at https://extensionworkshop.com/documentation/publish/add-on-policies/#submission-guidelines, code must be provided in a way that is reviewable

— Message from the Add-ons review Team

The top cut part is the copy of the previous message, repeated as a preamble each time. But then comes a new problem about a new rule with a new link to online documentation.

Well, I’ve been taught at my engineering school to use « i » as the iterator variable in for loops for instance. It looks like a common practice… To be true, I was using some other one letter variables, by convention, with the same letters everywhere in the code (for source definitions, for source keys and so on…). What was a small usage in a single place grown with the code and was spread everywhere.

With no other feedback and still in a hurry to fix things, I decided to replace all my one letter variables by trigrams or trigrams groups (src for source definition, src_key for source key…). I was not in the mood of searching by dichotomy the exact threshold of tolerance of the automated reviewing script regarding one letter variables using.

I sent 3 messages trying to get more details on the problems and explaining my moves. But the next release was rejected.

1.4. UTF-16 ranges in RegEx are considered obfuscation

At least I got a new error message :

Other, specifically Issue not covered by other reasons: As per our Source Code Submission guidelines, the source code code provided must be human readable.

A file subbmitted as part of the source code (js/core/source_fetching.js) is not readable. Please ensure that all files submitted as part of the source code submission are readable.

For more information, please refer to https://extensionworkshop.com/documentation/publish/source-code-submission/

— Message from the Add-ons review team

This one was easy, I was using a big regular expression with lots of unicode (UTF-16) defined ranges (to cut words in strings, for potentially all the languages supported by unicode). Searching to fix this new issue, I discovered a way to get rid of this previous big definition work, using RegEx general category property (\p{Letter}\p{Number}) instead of my previous ranges of word-wild punctuation.

I submitted this new version the 9th of October, having a talk at OSSym24 the day after. If we are to deal with automated tests, we could hope those tests to perform quickly… but this v1.8.17.4 was finally approved on October the 16th, nearly one month after the whole story began for me.

No new feature here, but an admittedly improved code.

2. Switch to manifest version 3

Another silent modification since the previous release is the upgrade of Meta-Press.es to MV3 : the manifest version 3.

Here we talk about the file manifest.json which contain meta-data about the WebExtension, to allow the web-browser to load it. The manifest file lists, for instance, what is the name and icon of the WebExtension, which version is actually presented, what actions should be registered… If you don’t fill it correctly, the web browser won’t load the WebExtension (not knowing what to do with it).

2.1. Embrace, extend and extinguish

Back in 2017 when Meta-Press.es development started the current version for this manifest file was manifest v2. It was already a move from Mozilla toward the WebExtension norm proposed by Google, and it forced Mozilla to abandon all the work put in the developpement of the add-ons of their previous form in Firefox (XUL). To be true, I was really happy to get avoid using XUL stack when I started Meta-Press.es.

5 years later, in 2022, the main JavaScript stakeholders had work a lot to prepare an evolution of this norm to allow new usages and improve security. But not only. As per the famous Embrace, extend, and extinguish strategy developed by Microsoft to attack open standards in favor of its proprietary products, Google decided to use this coming evolution of the WebExtension norm (became a standard as per Firefox’s and Edge’s adoption) to push it’s own commercial agenda of online advertisement seller. To cut it short, with the manifest v3 as imposed by Google, there is no more possibility to code ad-blockers (like uBlock Origin).

So Mozilla got back to work and decided of a way to support the manifest v3 in Firefox, extending it to maintain the existence of ad-blockers.

Google was really disappointed and took 2 years to think about the opportunity to continue unraveling manifest v3 or not. Finally they announced a new schedule for the manifest v3 adoption in their web-browser along the year 2024. Will they really abandon to Mozilla a feature used by millions of users (9 millions if we just focus on Firefox when writing this blog post). This would be a new sensible reason to use Firefox : there should be no more ad-blockers in Chromium et al in a near future. As of the time of this writing, the up to date Chromium under Artix Linux only states that uBlock Origin will perhaps soon not be available anymore.

As Firefox can also work with manifest version 3, Meta-Press.es got upgraded to it thanks to the NGI Zero program operated by the NLnet.

2.2. Manifest v2 vs Manifest v3

The differences are not marvelous regarding our use-case.

Previous background pages, which were the way to get a script running in the browser instead of in a particular web page are replaced by official background scripts (with no more web page features) in Firefox and by service_workers in Chromium. Both are dozed after a certain time of idling so the automated searches of Meta-Press.es are not working well currently (despite using the recommended alarms API).

The permissions required by WebExtensions to run was refined and I took this opportunity to implement a feature suggested years ago : to embed the exact list of reachable sources in the manifest. Each version of Meta-Press.es now comes with it’s list of host permissions fully declared allowing to avoid asking for them later. But the optional host permission <all_urls> is still present, to allow users to add new sources by their selves.

3. No dates on results ?

What makes a type of web entries or search results directly manageable from a source in Meta-Press.es is the presence of dates on results. It our eternal quest : can we get this meta-data ? With this model, Meta-Press.es could have seamlessly extends its sources scope (and so search capabilities) from news to podcasts, agendas, videos and even jobs.

But there is also a lot of legit newspapers that are failing from presenting dates for results on their internal search engine.

In a previous blog post we seen a source were dates only appeared if results were sorted in chronological order (in La Charente Libre). But it was a lucky strike.

Here is another trick, used for some Meta-Press.es sources like RadioClassique.fr or VoxEurope.eu. It might regards only sources with illustrated results. Often, those illustrations are unitary uploaded as part of the making of the publication usually the day that the article is released. I addition, it happen that the URL of the illustrations contains this date of upload (for instance Wordpress can have this behavior).

In such cases we just have to direct the silver scissors of Meta-Press.es toward the illustration URL (via a CSS selector) and extract the date from it with a simple RegEx. Et voilà !

Asking the sources to improve their presentation rarely gives results. On the contrary Meta-Press.es already works with a thousand sources because there is no need to ask for their permission. It works despite the sources. And sometimes, even despite the sources that omit their result dates.

4. 20 new Scrutari-based sources

About sources, this new release embed its lot of novelty. 20 sources were added in Meta-Press.es for the different registered users of the Scrutari search-engine (and their different languages).

Scrutari is a libre software search engine project. It can fetch metadata from registered user-websites, create indexes and offer a feature-full web interface to search through those contents.

It was a pleasure to work with the Scrutari developer which did a great job of data presentation to facilitate the integration of the 20 Scrutari sources in Meta-Press.es. It’s the exact opposite of the previous section where Meta-Press.es had to hack the metadata out of a source. Here, Scrutari created a special Meta-Press.es profile to present its JSON API answers in the way Meta-Press.es expects them.

This new sources are opening a window on more than 70 000 documents, gathered in the Coredem.info initiative gathering 40 entities…

5. When asking for too much results

Some sources allow to set the number of excepted results in their queries. Usually 10 to 30 are safe values. Tests have been conducted with 999 and guess what, it breaks a lot of sources.

So a new source-definition notation was created to reflect those upper limits. For instance Reuters accepts to provide 99 results max, so its search URL now includes a {<100} query parameter replacement token and Meta-Press.es won’t try to fetch more results for this source, even if you ask for 5000.

Working on this subject revealed a variety of scenarios with Der Spiegel is using {<51} for instance, FAZ.net {<101} or MediHAL / Archives-Ouvertes.fr accepting only three values : 30, 50 or 100.

6. JavaScript code linting : quick-lint-js

After having lost a couple of hours again trying to get ESlint working with its new flat-file configuration, alternatives were seek and found with quick-lint-js.

It’s a mature solution, widely packaged. It’s immediate to put in action (zero configuration) and exquisitely fast when running (claiming to be 90x faster than ESlint).

quick-lint-js is revealed itself to be a tool, not another problem to solve.

7. #FixTheWorld : FranceTVInfo

To finish, here is a call for action.

FranceTVInfo is a main state owned source of information in France. It started as a state-owned official radio station with only loops of "news", then it was turned into a TV news stream (to contribute to this worst level of "journalism") and is now also a website.

It’s THE propaganda voice of the state. But still, it can’t be added to Meta-Press.es because there is no date on search results.

If you, reading this, can whisper to the right ears, it would be great to get this basic feature : dates on results…

Plenty other missions are enlisted with the #FixTheWorld hash-tag issued by the official @MetaPress mastodon account.

For instance, Mediapart still can’t provide exact results (nor providing them as an RSS flux).

You turn to play !

Version 1.8.17.4 : Qualité du code, manifest v3, Scrutari

2024-10-16T00:00:00+02:00

Index

1. Vérification de qualité du code des WebExtensions chez Mozilla
2. Passage au manifest version 3
- 2.1. Adoption, extension, extinction
- 2.2. Manifest v2 contre Manifest v3
3. Quand il n’y a pas de dates sur les résultats
4. 20 nouvelles sources basées sur Scrutari
5. Quand on demande trop de résultats
6. Peaufinage de code JavaScript : quick-lint-js
7. #FixTheWorld : FranceTVInfo

Les choses se sont un peu précipitées fin septembre, avec une série rapprochée de nouvelles versions de Meta-Press.es, sorties pour répondre à l’urgence représentée par la désactivation de Meta-Press.es par Mozilla des suites d’une application automatique de nouvelles règles concernant la qualité du code.

1. Vérification de qualité du code des WebExtensions chez Mozilla

Tout commença par courriel reçu le 17 septembre 2024, me prévenant que Meta-Press.es seraient désactivé du catalogues de WebExtension Addons.Mozilla.org (ou AMO) sous 48h. Tout était présenté comme si j’avais raté un courriel envoyé 15 jours plus tôt à ce même propos (or ça m’arrive rarement de rater un courriel).

1.1. Sources ou instructions manquantes

La raison invoquée pour cette mesure radicale était un manque de sources ou d’instructions sur comment obtenir les sources des dépendances embarquées avec le code de Meta-Press.es.

Lorsqu’on utilise des bibliothèques de fonctions écrites par d’autres et minifiées (pour prendre moins de place) la règle était de fournir un lien vers la source de cette bibliothèque. Alors, depuis 5 ans, je copiais à chaque nouvelle version la liste des dépendances depuis le fichier README du projet dans les Notes adressées aux inspecteurs.

Le message de rejet était présenté dans une interface façon forum de discussion, commençant par leur message de menace.

J’ai donc tenté une réponse :

Bonjour, j’ai fourni les liens vers versions non minifiées des dépendances dans les Notes aux inspecteurs. En ai-je oublié un ?

— Réponse d'un développeur par Siltaar
2024-09-19 15:09

Je n’ai jamais reçu de réponse et Meta-Press.es fut effectivement désactivée le surlendemain. La version incriminée, ainsi que toutes les versions précédentes depuis 5 ans. D’un coup vous n’apparaissez plus dans le moteur de recherche et la page de l’extension est inconnue sur AMO (erreur 404).

1.2. Veuillez fournir l’origine exacte de la version utilisée pour chaque bibliothèque de fonctions

J’ai alors fourni une nouvelle version de Meta-Press.es n’incluant plus de code minifié. J’ai trouvé 14 fichiers JavaScript ou CSS à remplacer par leurs originaux, mis à jour pour l’occasion, à quelque chose malheur est bon). Et puis, un JavaScript libre ne doit pas être minifié…

Mais cette nouvelle version fut elle aussi refusée, avec le même message d’erreur, plus un nouveau ! (ouf)

Sources, specifically Third party library information: Your add-on includes a third-party library. Please provide the origin of the exact library version you were using and make sure you are using an exact copy of the original maintainer’s release version.

— Message from the Add-ons review Team

Ils réclamaient en fait l’URL exacte des fichiers utilisés comme bibliothèques de fonctions tierces. Pourquoi pas, s’il s’agit de vérifier que la version embarquée dans Meta-Press.es est une copie fidèle de l’originale ça a du sens. Et puis, cette fois j’ai eu droit à un lien vers de la documentation en ligne pour éclairer le problème et me guider vers une solution :

For more information, refer to https://extensionworkshop.com/documentation/publish/third-party-library-usage/

— Message from the Add-ons review Team

J’ai donc pu produire une nouvelle version de Meta-Press.es ainsi que la bonne liste de liens. On notera au passage que si une bibliothèque de fonction n’est pas directement accessible en ligne, il devient compliqué de l’utiliser dans une extension… il faut bien en passer par là pour vérifier automatiquement le code embarqué et c’est un bon point de savoir qu’il n’y a plus l’ombre d’un code mystérieux sur AMO.

Toutefois, le projet CodeMirror v5 par exemple, réparti son code de développement dans plusieurs centaines de fichiers et compile tout pour produire une archive (.zip) unique contenant le code minifié pour chaque nouvelle version. C’est bien pratique pour lors du développement d’avoir un code bien structuré, et c’est pratique pour les utilisateurs de n’avoir qu’un fichier à intégrer.

Mais bon, dans notre cas, comme en fait CodeMirror v5 utilise aussi des plugins, qui entrainent parfois eux-mêmes des dépendances (pour la coloration syntaxique et/ou la détection des erreurs dans du JSON), la maintenance de l’intégration de CodeMirror a Meta-Press.es a été abandonnée à cette occasion. Les sources ajoutées par les utilisateurs le sont désormais en texte brut dans un textarea standard. Peut être que CodeMirror v6 serait plus pratique à utiliser…

Il fallut donc encore plusieurs heures de travail, hors de tout planning, pour se mettre en conformité. Mais bientôt une nouvelle version de Meta-Press.es était proposée à Mozilla.

1.3. Pas de variables à une seule lettre

Mais ce ne fut toujours pas suffisant et cette version fut elle aussi rejetée. Seule consolation : un nouveau message d’erreur était fourni.

[…]

Your extension contains multiple parts of code with one letter variables, making the code difficult to reviews. As our policies state, that you can read at https://extensionworkshop.com/documentation/publish/add-on-policies/#submission-guidelines, code must be provided in a way that is reviewable

— Message from the Add-ons review Team

La partie coupée au début correspond au premier paragraphes de message d’erreur répétés encore et toujours en préambule. Puis vint le nouveau message d’erreur, correspondant à une nouvelle règle, étayée par une nouvelle documentation.

Si vous apprenez à coder, vous verrez qu’on utilise souvent une variable nommée simplement « i » comme itérateur dans les boucles for. C’est une convention, issue des notations mathématiques et plutôt pratique à l’usage… mais là non, ce n’est plus possible.

Bon, à vrai dire j’utilisais plusieurs autres variables nommées d’une seule lettre dans le code de Meta-Press.es. En effet, ce qui avait commencé comme des situations claires, contenues dans un seul écran d’affichage, où une variable courte était bien lisible, s’est progressivement répandu dans tout le code, en suivant sa croissance et sa structuration en différents fichiers…

Sans autre consigne et toujours dans l’urgence de la situation, il fut décidé de remplacer toutes les variables nommées d’une seule lettre par de confortables trigrammes (voir des groupes de trigrammes : src pour une définition de source, src_key pour la clé d’une définition de source…). Qui aurait été d’humeur a chercher par dichotomie le seuil exact de tolérance de l’algorithme de vérification ?

Habitué à m’adresser à des machines j’en profitai pour accompagner cette nouvelle version de 3 messages expliquant ma démarche… mais, suspens, cette nouvelle version fut refusée !

1.4. L’UTF-16 dans une expression régulière considéré comme une mystification

Au moins, je reçu un nouveau message d’erreur (signe que la précédente réaction avait bien réglé le problème visé) :

Other, specifically Issue not covered by other reasons: As per our Source Code Submission guidelines, the source code code provided must be human readable.

A file subbmitted as part of the source code (js/core/source_fetching.js) is not readable. Please ensure that all files submitted as part of the source code submission are readable.

For more information, please refer to https://extensionworkshop.com/documentation/publish/source-code-submission/

— Message from the Add-ons review team

Bon, cette fois ce fut facile, en plus de la documentation pointée ils m’indiquèrent le fichier incriminé. Il ne fut pas long de constater qu’une grosse expression régulière était utilisée dans ce fichier pour découper des textes en mots (en essayant de tenir compte de la ponctuation de toutes les langues supportées par Unicode).

En cherchant une autre approche à ce problème une solution plus simple fut découverte, basées sur les récentes catégories générales (\p{Letter}\p{Number}) dans les expression régulières Unicode (alors que la précédente solution s’étalait sur 15 lignes de définition de ranges bordés d’UTF-16 dans une expression régulière relativement absconse.

Cette nouvelle version fut postée le 9 octobre alors qu’une conférence de présentation de Meta-Press.es lors de l' OSSym24 était prévue le lendemain. Tant qu’à parler avec un automate, on pourrait au moins espérer qu’il réponde vite… mais cette version 1.8.17.4 n’a finalement été approuvée que le 16 octobre, presqu’un mois après le début des hostilités.

Aucune nouvelle fonctionnalité dans cette histoire, mais objectivement un meilleur code.

2. Passage au manifest version 3

Une autre modification silencieuse arrivée récemment fut la mise à jour de Meta-Press.es vers le manifest version 3.

Il s’agit du fichier manifest.json qui contient les métadonnées décrivant une WebExtension afin d’expliquer au navigateur web comment la charger. Ce manifeste liste par exemple le nom de l’extension et son icône, quelle est la version présentée, quelles actions elle permet… Si ce n’est pas rempli correctement, le navigateur web ne sait pas comment charger l’extension.

2.1. Adoption, extension, extinction

Fin 2017 quand le développement de Meta-Press.es démarrait vraiment, la version courante utilisable pour ce manifeste était la version 2. Il s’agissait déjà d’un mouvement de conciliation de la part de Mozilla qui adoptait ainsi la norme proposée par Google, abandonnant toutes les précédentes extensions basées sur la technologie XUL. Ils n’ont jamais eu peur de jeter du travail, fusse-t-il bénévole. Après, objectivement, j’étais ravi de m’éviter l’utilisation de la pile logicielle XUL au profit d’une solution un peu plus JavaScriptesque.

5 ans plus tard, en 2022, les principales parties prenantes du JavaScript avaient travaillé à une évolution de cette norme pour permettre de nouveaux usages, simplifier certaines API inutilement complexes et améliorer un peu partout la sécurité. Mais pas seulement.

Appliquant la fameuse méthode de Microsoft pour attaquer les standards ouverts bien établis au profit de ces propres produits commerciaux (Embrace, extend, and extinguish), Google décida d’utiliser cette évolution de la norme des WebExtensions (devenue un standard suite à l’adoption par Firefox) pour améliorer le rendement de son activité commerciale de vendeur de publicité en ligne. En effet, ce qui était proposé n’était rien moins qu’un cadre de développement dans lequel il n’était plus possible de faire tenir un bloqueur de publicité.

C’est assez surprenant quand on sait que la WebExtension la plus utilisée, et de très loin, c’est uBlock Origin, un bloqueur de pub efficace et honnête, adopté par 9 millions d’utilisateurs de Firefox.

Saisissant l’opportunité au vol, Mozilla se remit au travail et élabora un moyen d’accepter le manifest v3 comme imposé par Google, mais en gardant les API nécessaires au fonctionnement d’un bloqueur de pub.

Google a semble-t-il été très déçu, car ils ont tout simplement abandonné leur calendrier de déploiement du manifest version 3 pendant 2 ans. Et ce n’est qu’en 2024 qu’ils se décidèrent à abandonner à Mozilla l’exclusivité d’une fonctionnalité recherchée par des millions d’utilisateurs en annonçant un nouveau calendrier de déploiement du MV3 pour 2024.

À l’heure d’écrire ces lignes, uBlock Origin est toujours fonctionnel dans un Chromium à jour, mais un message annonce que : « Ces extensions ne seront peut-être bientôt plus prises en charge ». Voilà une bonne information, bien fiable et solide comme on est fondé d’en attendre d’une multinationale planétaire dont le chiffre d’affaires dépasse le PIB du Portugal ou de la Roumanie (env. 280 milliards de dollars) et une capitalisation boursière supérieure au PIB du Brésil, ou de la Russie (vers 1500 milliards de dollars).

Puisque Firefox fonctionne désormais aussi avec des WebExtension en manifest version 3, Meta-Press.es a été mise à jour vers cette version, avec l’aide du programme NGI Zero via la NLnet.

2.2. Manifest v2 contre Manifest v3

En l’espèce, pour Meta-Press.es, les différences ne sont pas extraordinaires.

Les précédentes background pages, qui permettaient de laisser un script tourner en arrière plan au lieu de le rattacher forcément à une page web sont remplacés par d’officiels background scripts (sans plus accès aux fonctionnalités d’une page web) côté Firefox et par des service_workers dans Chromium. Dans les deux cas le script en arrière plan se fait suspendre au bout d’un moment s’il n’est pas sollicité. Cela impacte encore actuellement la fonctionnalité de recherches programmées de Meta-Press.es bien que l’API recommandée alarms soit mise en œuvre.

Autre point, les permissions réclamables par la WebExtension ont été revues et l’opportunité en fut saisie pour déclarer une liste exhaustive des sources connues par Meta-Press.es directement dans le manifeste ce qui évite d’avoir à demander ces permissions après l’installation de l’extension. Toutefois, la permission optionnelle <all_urls> a du être conservée afin de permettre aux utilisateurs d’ajouter eux-mêmes leurs sources à Meta-Press.es.

3. Quand il n’y a pas de dates sur les résultats

Ce qui fait qu’un moteur de recherche est intégrable comme source dans Meta-Press.es, c’est la présence de dates permettant de trier ses résultats. C’est l’éternelle quête de Meta-Press.es : peut-on récupérer cette métadonnée ?

En s’appuyant sur ce modèle, Meta-Press.es a déjà pu étendre, sans changement d’architecture, son rayon d’action des articles de presse aux podcasts et aux vidéos, puis aux agendas et dernièrement aux offres d’emploi.

Mais il y a malheureusement plein de journaux légitimes qui ne peuvent pas être ajoutés à Meta-Press.es car ils ne présentent pas de date sur leurs résultats de recherche.

Dans un précédent billet de blog, il avait été question du cas de la La Charente Libre pour laquelle il fut possible de faire apparaitre les dates en demandant à trier les résultats par ordre chronologique… mais ce n’était qu’un coup de chance.

Voici une autre astuce, utilisées pour des sources comme RadioClassique.fr ou VoxEurope.eu. Elle ne concerne que les sources présentant des résultats illustrés. Ces illustrations sont souvent mises en ligne spécifiquement pour un article donné, et ce, le jour de sa publication. De plus, il arrive que ces illustrations soient rangées par un dossier par année, dans lequel on retrouve un dossier par mois contenant un dossier par jour (c’est notamment le cas pour certaines configurations de WordPress).

Dans cette situation, il est tout simplement possible de diriger les ciseaux d’argent de Meta-Press.es vers l’URL de cette illustration (via un sélecteur CSS) et d’en extraire la date à l’aide d’une expression régulière. Et voilà !

Demander aux sources d’améliorer la présentation de leur résultats ne donne pas souvent de résultat… au contraire, Meta-Press.es fonctionne aujourd’hui avec un millier de sources parce qu’il n’y a aucune permission à demander. Meta-Press.es fonctionne malgré les sources, et parfois même malgré les sources qui cachent les dates de leurs résultats.

4. 20 nouvelles sources basées sur Scrutari

Tant qu’on parle de sources, cette nouvelle version apporte son lot de nouveautés. Par exemple une vingtaine de sources ont été ajoutées à Meta-Press.es en provenance des médias utilisateurs du moteur de recherche Scrutari.

Scrutari est un moteur de recherche en logiciel libre. Ce dernier collecte les méta-données présentées par ses utilisateurs, s’arrange pour les indexer puis fourni une interface web riche permettant des recherches avancées à travers ces contenus.

Ce fut un plaisir de travailler avec le développeur de Scrutari qui implémenta un profil de présentation des données exprès pour Meta-Press.es. C’est l’exacte opposée de la situation précédente où les développeurs de Meta-Press.es doivent se tordre les boyaux de la tête pour rassembler toutes les informations nécessaires. Ici, Meta-Press.es bénéficie de sa porte d’entrée personnelle dans l’API JSON de Scrutari.

De plus, ces nouvelles sources ouvrent sur rien moins que 70 000 documents, rassemblés au sein de l’initiative Coredem.info (qui rassemble 40 entités).

5. Quand on demande trop de résultats

Certaines sources permettent de choisir le nombre de résultats qu’on souhaite recevoir pour une recherche. On trouve généralement des valeurs entre 10 et 30.

Des tests ont récemment été conduits avec une demande de 999 résultats et devinez quoi : ça casse un paquet de sources.

Pour faire face à cette question il est désormais possible de spécifier, dans la définition d’une source, le nombre de maximum de résultats qu’elle accepte de renvoyer. Par exemple Reuters accepte de renvoyer au maximum 99 résultats, donc son URL de recherche comporte désormais un jeton {<100} à la place du nombre de résultats demandés, de manière à indiquer à Meta-Press.es de ne pas aller au delà, même si l’utilisateur en demande des milliers.

Travailler sur ce sujet a mis en lumière une variété de situations avec par exemple Der Spiegel limité à {<51}, FAZ.net à {<101} ou MediHAL / Archives-Ouvertes.fr qui n’accepte que trois valeurs : 30, 50 ou 100.

6. Peaufinage de code JavaScript : quick-lint-js

Après avoir encore perdu des heures à tenter de faire fonctionner ESlint malgré son changement de paradigme pour les fichiers de configuration (désormais à base de flat-file), une recherche d’alternatives fut lancée. Elle a abouti à l’utilisation de quick-lint-js.

C’est une solution mature et largement packagée. Elle tombe directement en marche (zero configuration) et est agréablement rapide à l’usage (clamant d’être 90x plus rapide qu’ESlint).

quick-lint-js s’est révélé être un bon outil et non un problème de plus à gérer.

7. #FixTheWorld : FranceTVInfo

Pour finir, voici un petit appel à action.

FranceTVInfo est une importante source d’information en France. Elle a débuté en tant que radio d’état avec de l’info en continu (et en boucle), puis a été transformée en chaîne de TV (pour participer à ce bas fond du journalisme qu’on nomme les chaînes d’actualité en continu) et en site web.

C’est l’organe de propagande par excellence de l’état français. Mais il n’est pas possible de l’intégrer à Meta-Press.es car il n’y a pas de date sur ces résultats de recherche.

Si vous, qui me lisez, vous pouvez murmurer aux bonnes oreilles, ça ne serait pas du luxe pour France Info d’avoir des dates sur ses résultats de recherche…

Il y a plein d’autre missions qui ont été listées avec le mot-dièse : #FixTheWorld émis par le compte Mastodon officiel @MetaPress.

Par exemple, Mediapart ne peut toujours pas fournir de résultats exacts (ni les fournir au format RSS).

C’est à votre tour de jouer !

#ossym24 : Meta-Press.es at the International Open Search Symposium

2024-09-17T00:00:00+02:00

The 6th International Open Search Symposium (#ossym24) will take place the 9-11 October 2024 in Munich and online.

The Open Search Symposium #ossym24 brings together the Open Web Search community in Europe for the sixth time. The hybrid conference provides a forum to discuss and further develop the ideas and concepts of open internet search, search and AI, and related topics in various formats including scientific talks, panels, workshops, demonstrations, student challenges and informal discussion spaces. Participants include researchers, data centres, libraries, policy makers, legal and ethical experts, and society.

— https://opensearchfoundation.org
#ossym24

Meta-Press.es will be presented during this event on day 2, in English :

2024-10-10 10:00 UTC+2, Search Engine Track, „Alternative Search Engines“ Session

For an insight of what it will look like you can read the transcription of the interview gave to the NLnet during the last Free Web Search Day.

#ossym24 : Meta-Press.es au symposium international Open Search

2024-09-17T00:00:00+02:00

Le 6e Symposium international Open Search (#ossym24) aura lieu du 9 au 11 octobre 2024 à Munich et en ligne.

Le symposium Open Search #ossym24 rassemble la communauté de la recherche ouverte sur le web en Europe pour la 6e fois. Cette conférence hybride permet de discuter des avancées de la recherche sur le web, récemment bousculée par l’IA, à travers divers formats de la conférence scientifique à l’atelier pratique en passant par la table ronde. Les participants sont généralement des chercheurs, des bibliothécaires, des juristes, des experts en éthique…

— https://opensearchfoundation.org
#ossym24

Meta-Press.es sera présenté en anglais le 2e jour de cet évènement :

2024-10-10 à 10:00 UTC+2, Search Engine Track, „Alternative Search Engines“ Session

Pour avoir un aperçu de ce à quoi ça devrait ressembler vous pouvez lire la transcription de l’entrevue donnée à la NLnet lors de la dernière journée de la recherche libre sur le web.

The European Union must keep funding free softwares

2024-07-12T00:00:00+02:00

Initially published by petites singularités.

Open Letter to the European Commission.

This english translation is provided thanks to OW2 and copied from YUNoHost forum.

Since 2020, Next Generation Internet (NGI) programmes, part of European Commission’s Horizon programme, fund free software in Europe using a cascade funding mechanism (see for example NLnet’s calls). This year, according to the Horizon Europe working draft detailing funding programmes for 2025, we notice that Next Generation Internet is not mentioned any more as part of Cluster 4.

NGI programmes have shown their strength and importance to support the European software infrastructure, as a generic funding instrument to fund digital commons and ensure their long-term sustainability. We find this transformation incomprehensible, moreover when NGI has proven efficient and ecomomical to support free software as a whole, from the smallest to the most established initiatives. This ecosystem diversity backs the strength of European technological innovation, and maintaining the NGI initiative to provide structural support to software projects at the heart of worldwide innovation is key to enforce the sovereignty of a European infrastructure. Contrary to common perception, technical innovations often originate from European rather than North American programming communities, and are mostly initiated by small-scaled organizations.

Previous Cluster 4 allocated 27 millions euros to:

“Human centric Internet aligned with values and principles commonly shared in Europe” ;
“A flourishing internet, based on common building blocks created within NGI, that enables better control of our digital life” ;
“A structured eco-system of talented contributors driving the creation of new internet commons and the evolution of existing internet commons” .

In the name of these challenges, more than 500 projects received NGI funding in the first 5 years, backed by 18 organisations managing these European funding consortia.

NGI contributes to a vast ecosystem, as most of its budget is allocated to fund third parties by the means of open calls, to structure commons that cover the whole Internet scope - from hardware to application, operating systems, digital identities or data traffic supervision. This third-party funding is not renewed in the current program, leaving many projects short on resources for research and innovation in Europe.

Moreover, NGI allows exchanges and collaborations across all the Euro zone countries as well as “widening countries” ^[1] currently both a success and and an ongoing progress, likewise the Erasmus programme before us. NGI also contributes to opening and supporting longer relationships than strict project funding does. It encourages to implement projects funded as pilots, backing collaboration, identification and reuse of common elements across projects, interoperability in identification systems and beyond, and setting up development models that mix diverse scales and types of European funding schemes.

While the USA, China or Russia deploy huge public and private resources to develop software and infrastructure that massively capture private consumer data, the EU can’t afford this renunciation. Free and open source software, as supported by NGI since 2020, is by design the opposite of potential vectors for foreign interference. It lets us keep our data local and favors a community-wide economy and know-how, while allowing an international collaboration. This is all the more essential in the current geopolitical context: the challenge of technological sovereignty is central, and free software allows to address it while acting for peace and sovereignty in the digital world as a whole.

1. As defined by Horizon Europe, widening Member States are Bulgaria, Croatia, Cyprus, the Czech Republic, Estonia, Greece, Hungary, Latvia, Lituania, Malta, Poland, Portugal, Romania, Slovakia and Slovenia. Widening associated countries (under condition of an association agreement) include Albania, Armenia, Bosnia, Feroe Islands, Georgia, Kosovo, Moldavia, Montenegro, Morocco, North Macedonia, Serbia, Tunisia, Turkey and Ukraine. Widening overseas regions are : Guadeloupe, French Guyana, Martinique, Reunion Island, Mayotte, Saint-Martin, The Azores, Madeira, the Canary Islands.

L'Union Européenne doit poursuivre le financement des logiciels libres

2024-07-12T00:00:00+02:00

Index

1. Lettre ouverte à la Commission Européenne

Publiée initialement par les petites singularités.

Si vous souhaitez signer la lettre, merci de la publier sur votre site et de compléter le tableau situé en fin d’article : https://pad.public.cat/lettre-NCP-NGI

1. Lettre ouverte à la Commission Européenne

Depuis 2020, les programmes Next Generation Internet (NGI), sous-branche du programme Horizon Europe de la Commission Européenne financent en cascade (via les appels de NLNet) le logiciel libre en Europe. Cette année, à la lecture du brouillon du Programme de Travail de Horizon Europe détaillant les programmes de financement de la commission européenne pour 2025, nous nous apercevons que les programmes Next Generation Internet ne sont plus mentionnés dans le Cluster 4.

Les programmes NGI ont démontré leur force et leur importance dans le soutien à l’infrastructure logicielle européenne, formant un instrument générique de financement des communs numériques qui doivent être rendus accessibles dans la durée. Nous sommes dans l’incompréhension face à cette transformation, d’autant plus que le fonctionnement de NGI est efficace et économique puisqu’il soutient l’ensemble des projets de logiciel libre des plus petites initiatives aux mieux assises. La diversité de cet écosystème fait la grande force de l’innovation technologique européenne et le maintien de l’initiative NGI pour former un soutien structurel à ces projets logiciels, qui sont au cœur de l’innovation mondiale, permet de garantir la souveraineté d’une infrastructure européenne. Contrairement à la perception courante, les innovations techniques sont issues des communautés de programmeurs européens plutôt que nord-américains, et le plus souvent issues de structures de taille réduite.

Le Cluster 4 allouait 27.00 millions d’euros au service de :

“Human centric Internet aligned with values and principles commonly shared in Europe” ;
“A flourishing internet, based on common building blocks created within NGI, that enables better control of our digital life” ;
“A structured eco-system of talented contributors driving the creation of new internet commons and the evolution of existing internet common”.

Au nom de ces enjeux, ce sont plus de 500 projets qui ont reçu un financement NGI0 dans les 5 premières années d’exercice, ainsi que plus de 18 organisations collaborant à faire vivre ces consortia européens.

NGI contribue à un vaste écosystème puisque la plupart du budget est dévolue au financement de tierces parties par le biais des appels ouverts (open calls). Ils structurent des communs qui recouvrent l’ensemble de l’Internet, du matériel aux applications d’intégration verticale en passant par la virtualisation, les protocoles, les systèmes d’exploitation, les identités électroniques ou la supervision du trafic de données. Ce financement des tierces parties n’est pas renouvelé dans le programme actuel, ce qui laissera de nombreux projets sans ressources adéquates pour la recherche et l’innovation en Europe.

Par ailleurs, NGI permet des échanges et des collaborations à travers tous les pays de la zone euro et aussi avec ceux widening countries ^[1], ce qui est actuellement une réussite tout autant qu’un progrès en cours, comme le fut le programme Erasmus avant nous. NGI0 est aussi une initiative qui participe à l’ouverture et à l’entretien de relation sur un temps plus long que les financements de projets. NGI encourage également à l’implémentation des projets financés par le biais de pilotes, et soutient la collaboration au sein des initiatives, ainsi que l’identification et la réutilisation d’éléments communs au travers des projets, l’interopérabilité notament des systèmes d’identification, et la mise en place de modèles de développement intégrant les autres sources de financements aux différentes échelles en Europe.

Alors que les États-Unis d’Amérique, la Chine ou la Russie déploient des moyens publics et privés colossaux pour développer des logiciels et infrastructures captant massivement les données des consommateurs, l’Union Européenne ne peut pas se permettre ce renoncement. Les logiciels libres et open source tels que soutenus par les projets NGI depuis 2020 sont, par construction, à l’opposée des potentiels vecteurs d’ingérence étrangère. Ils permettent de conserver localement les données et de favoriser une économie et des savoirs-faire à l’échelle communautaire, tout en permettant à la fois une collaboration internationale. Ceci est d’autant plus indispensable dans le contexte géopolitique que nous connaissons actuellement. L’enjeu de la souveraineté technologique y est prépondérant et le logiciel libre permet d’y répondre sans renier la nécessité d’œuvrer pour la paix et la citoyenneté dans l’ensemble du monde numérique.

Dans ces perspectives, nous vous demandons urgemment de réclamer la préservation du programme NGI dans le programme de financement 2025.

1. Tels que définis par Horizon Europe, les États Membres élargis sont la Bulgarie, la Croatie, Chypre, la République Tchèque, l’Estonie, la Grèce, la Hongrie, la Lettonie, la Lithuanie, Malte, la Pologne, le Portugal, la Roumanie, la Slovaquie et la Slovénie. Les pays associés élargies (sous conditions d’un accord d’association) l’Albanie, l’Arménie, la Bosnie Herzégovine, les Iles Feroé, la Géorgie, le Kosovo, la Moldavie, le Monténégro, le Maroc, la Macédoine du Nord, la Serbie, la Tunisie, la Turquie et l’Ukraine. Les régions élargies d’outre-mer sont: la Guadeloupe, la Guyane Française, la Martinique, La Réunion, Mayotte, Saint-Martin, Les Açores, Madère, les Iles Canaries.

Version 1.8.16 : source maintenance, headlines and broken JSON

2024-06-19T00:00:00+02:00

Index

1. Source maintenance
- 1.1. 120 more lines, 276 edited in the source definition file
2. Fixed bugs
3. Miscellaneous

A bug in the headline loading forced us to release a new version, but as a lot of maintenance have also been done with sources it’s not a bad thing.

1. Source maintenance

Mediapart in its 3 languages have been fixed and is now a precise (for many words) source !

AFP Factual and its 21 languages changed their date format, so we had to parse all of them again.

LaLibre.be, LAvenir.net and DHnet now serves results in faulty JSON format that we have to fix on the fly.

A bunch of sources have been cleared from "many words" search as they were providing unfocused results.

Linforme.com and a few other sources were added, some removed… json/source.json now counts 119 more lines and 4260 of them were edited in 2024.

1.1. 120 more lines, 276 edited in the source definition file

2019 586

2020 879

2021 3004

2022 6910

2023 8735

2024 4260

For a total line number of : 24.374 (+120)

2. Fixed bugs

#83 Status line does not report precisely the number of sources we’re waiting for under 30 (a new step has been added at 15 and we now display "> 15" while waiting for the last sources)
#84 Inconsistency in request duration digits (now it’s limited to 2 or 3 meaningful digits)
#85 [1.8.15.2] Broken load_headlines
#86 Bad JSON sent by sources (where we explain how we escape in-value double-quotes, based on JSON.parse exceptions).

3. Miscellaneous

The ESlint flat file config of the project have been updated resulting in more const usage.

To finish, the testing tool design have been improved a bit with a compact and colorful statistics.

Version 1.8.16 : maintenance des sources et chargement des gros titres

2024-06-19T00:00:00+02:00

Index

1. Maintenance des sources
- 1.1. 120 lignes en plus, 276 éditées
2. Bogues corrigés
3. Divers

Un bug dans le chargement des actualités hors recherche nous a forcé à sortir rapidement une novelle version, mais puisqu’entre temps pas mal de travail de maintenance avait été fait sur les sources ce n’est pas une mauvaise chose.

1. Maintenance des sources

Mediapart, dans ses 3 langues, a été réparé et est désormais une source précise (pour plusieurs mots) !

AFP Factuel et ces 21 langues ont changé l’affichage de leurs dates, il a donc fallu les analyser toutes à nouveau.

LaLibre.be, LAvenir.net et DHnet servent désormais leurs résultats dans un format JSON non conforme, ce qui oblige à le réparer à la volée…

Une poignée de sources on été retirées de l’étiquette "plusieurs mots" car elles polluaient les résultats avec du contenu hors sujet (approximatif).

Linforme.com et quelques autres sources ont été ajoutées, d’autres retirées… json/source.json compte désormais 120 lignes en plus donc 4260 éditées en 2024.

1.1. 120 lignes en plus, 276 éditées

2019 586

2020 879

2021 3004

2022 6910

2023 8735

2024 4260

Pour un total de : 24 374 lignes (+120)

2. Bogues corrigés

#83 La ligne d’état d’une recherche n’indique pas précisément combien de sources on attend encore en dessous de 30 (un nouveau pallier à 15 sources et le signes « > » — moins de — ont été ajoutés)
#84 La durée d’une requête est affichée d’une manière inconsistante en nombre de chiffres derrière la virgule (c’est désormais maitrisé à 2 ou 3 chiffres significatifs)
#85 [1.8.15.2] Chargement des gros titres cassé
#86 Mauvais JSON envoyé par certaines sources (est expliqué dans ce ticket comment Meta-Press.es se retrouve à échapper les guillemets doubles à l’intérieur des valeurs délimitées par des guillemets doubles… en s’appuyant sur les exceptions renvoyées par JSON.parse).

3. Divers

Le fichier de configuration plat d’ESlint a été mis à jour et de nombreuses variables ont ainsi été converties en const.

Et pour finir l’outil de test des sources a été amélioré avec des statistiques plus compactes et en couleurs !

[NAOS] Meta-Press.es: the free and decentralized press search engine

2024-06-04T00:00:00+02:00

Discover Meta-Press.es, a free and decentralized online press search engine. Launched in 2020 by Simon Descarpentries, Meta-Press.es est freely available and can reach more than 900 newspapers around the world. Its built to work without ads and user tracking, making it fast, light on bandwidth and privacy friendly. Join this collaborative effort and help to shape the future of online information access.

An ethical and comprehensive alternative to Big Techs
A decentralized system honest with its users
An expanding libre software

To sum it up, Meta-Press.es its :

A full featured press search engine (still expanding)
No middleman between your web browser and your newspapers (so no tracking)
An advanced search panel allowing to refine results and giving full control over queried sources
Human validated sources only
Scheduled searches and exportable press reviews

Meta-Press.es : le moteur de recherche libre et décentralisé dédié à la presse (fr)

[NAOS] Meta-Press.es : le moteur de recherche libre et décentralisé dédié à la presse

2024-06-04T00:00:00+02:00

Découvrez Meta-Press.es, un moteur de recherche décentralisé et libre dédié à la presse en ligne. Lancé en 2020 par Simon Descarpentries, Meta-Press.es est téléchargeable gratuitement et permet d’interroger 900 journaux dans le monde. Sa conception sans tracking ni publicité le rend rapide, économe en bande passante et respectueux de la vie privée. Rejoignez cette initiative collaborative et contribuez à façonner l’avenir de l’accès à l’information en ligne.

Une alternative aux Big Tech plus éthique et plus exhaustive
Un système décentralisé et pensé pour optimiser l’expérience utilisateur
Un logiciel collaboratif en pleine expansion

En résumé, Meta-Press.es c’est :

Un moteur de recherche pour la presse très complet (et encore en développement !)
Aucun intermédiaire entre vos journaux et votre navigateur web ni aucun suivi publicitaire
Un système de recherche avancée pour affiner les résultats et avoir la maîtrise des sources interrogées
Des sources vérifiées et validées par un humain
La possibilité de programmer des recherches et d’exporter directement des revues de presse

Meta-Press.es : le moteur de recherche libre et décentralisé dédié à la presse

Version 1.8.15 : source maintenance, bugfix and big exports

2024-05-13T00:00:00+02:00

Index

1. Source maintenance
- 1.1. 800 lines were edited in the source definition file
2. Bugs fixed
3. MVC refactoring and NodeJS client
4. v1.8.15.2 : Removing two sources

This new version mainly contains under-the-hood improvements that should stay invisible but required a lot work… The way Meta-Press.es decides if a URL is valid or not, it’s internal organisation, how Meta-Press.es creates timezoned dates or import files… important pieces of code were worked on for this release, fixing a few apparent bugs.

1. Source maintenance

After the big source re-tagging of the previous release, it appears that some sources where less precise than hopped. 200 of them were tagged back as "approx" for approximative sources.

In fact I wanted to have a unique scale for source precision from :

approx
one word
many words

For source giving approximative results, exact results for only one word or good results even for many words. But there are two concepts : exact / approx and one word / many words. If a source is "one word" only, it is in fact applying a logical-OR between the given search terms, and a many words is applying a logical-AND. Being exact or approx is orthogonal, and some sources will, in the future be tagged as many words and approx.

Meanwhile, sources were added again to reach a total of 988 as of 1.8.15 across 75 countries and 75 languages.

1.1. 800 lines were edited in the source definition file

Year	# lines
2019	593
2020	881
2021	3066
2022	6970
2023	8759
2024	3984

For a total of 24.253 lines (+535).

2. Bugs fixed

A total of 12 issues were fixed. Here are the most important ones.

2.1. #80 [1.8.14] RSS re-import failure

After a big search with thousands of results, I like to export everything and then re-import it. But here it failed. Some hours of work allowed to find that illegal XML characters could be introduced to Meta-Press.es generated RSS files via the URL of some illustrations. In particular the one talking to PHP Thumbnailer like https://www.journal-ipns.org is.

Some unencoded '&' were passing through, luring the XML parser into unfinished XML entities. My first move was to encoding those '&' with some & # 2 6 ; (without spaces) but this lead to miss interpretation of the URL by the server-side PHP Thumbnailer.

Encoding them with & amp ; did the trick.

2.2. #73 [1.8.14] Search in the full list of sources interprets '-' signs

Here the problem was that searching for journal-ipns.org in the source list were not giving any results, while the source exists. It was due to the fact that the ListJS library used by Meta-Press.es is interpreting the scheme -atext as : do not include results containing atext in the ListJS search results.

As ListJS is not maintained, Meta-Press.es is now equipped with the Lovasoa version, containing fix for such bugs.

2.3. #66 [1.8.12] Can’t schedule a new search : Failed to parse next run date Invalid Date

When a timezone were not explicitly chosen by the user (so the default "Browser timezone" setting was used), french users could not schedule new automated search during summer time.

This was fixed by some solid improvements in how Meta-Press.es creates timezoned dates.

2.4. #64 [1.8.11] Date filter is reset when all results are in

This was a (very well) user reported bug. It was the kind of small bugs that should be simple to fix : just re-apply filters each time you add new results to a query. But it was just in the middle of the way of the MVC refactoring of the code (detailed bellow), and the fix needed to import big files.

2.5. #79 [1.8.14] Investigate JSON export failure for 10448 results

If you search for "europe" across all the known sources (which is approximately how sources are tested) you end up with more than 10 000 results. Meta-Press.es was able to export them in RSS or CSV, but not in JSON !? And without any error message.

It appears that all the current export procedure might be limited to 20MO files only (it should be 32MO). In our case RSS and CSV files are just smaller than JSON ones, because JSON files include more information, especially the list of sources and their alleged number of results.

The fastest fix was to remove JSON presentation / indentation characters to get a smaller file and pretend that you currently can’t produce searches with more results with Meta-Press.es, but a better solution will have to be found soon.

It might look like an export feature that splits big exports into 20MO file slices and a reworked import feature and dialog to be able to import many slices.

Being focused at it, imports were globally improved in user feedback reactivity while performance penalty for MVC refactoring (impacting JSON imports) have been mitigated by a 15x factor, reducing how often ListJS' lists were re-ordered. Ordering a list is time consuming, and you can’t loose that time when importing a file (as you’re not just waiting for the next source to answer).

3. MVC refactoring and NodeJS client

MVC stands for model-view-controler. Its a code architecture that helps to maintain the codebase via clear separations between code and data, and among the code between core and interface code.

Meta-Press.es started as a single web page embedded in a WebExtension and grown a lot since to reach 8000 lines of JavaScript today.

According to the cloc command the code was ventilated into 19 files and 7586 lines as of 2023 mid-may.

It is now ventilated into 32 files and 8073 lines as of 2024 mid-may.

Core functions were isolated in a js/core folder and will be usable in a Meta-Press.es NodeJS client in addition to the current WebExtension one. This work helped to distinguish and isolate the required dependencies that the NodeJS client will have to provide (such as DOM_parser(), XPath_evaluator(), HTML_decode_entities()…).

Also, useful generic JavaScript functions were stored in separate libraries in js/lib/js:

array.js
date.js (including timezoned_date() to parse or create a new date with the given timezone)
math.js
object.js
text.js
types.js
URL.js (including is_valid_HTTP_URL() elaborated from 5 different sources)
UUID.js
XML.js (including encode_XML() that allowed to fix #80)

It’s only 211 lines of JavaScript, mainly made of obvious shortcuts, but if volunteers arise to help turning it into a viable separate lib I would help.

4. v1.8.15.2 : Removing two sources

Two sources were slowing down searches, and got them stuck into never-ending requests.

A quickfix is the to mark them as broken. A better approach will be to fix the timeout and AbortController implementation.

Version 1.8.15 : maintenance des sources, correction de bogues et gros exports

2024-05-13T00:00:00+02:00

Index

1. Maintenance des sources
- 1.1. 800 lignes ajoutées dans les définitions de sources
2. Correction de bogues
3. Ré-organisation MVC du code et client NodeJS
4. v1.8.15.2 : Retrait de deux sources

Cette nouvelle version ne contient presqu’aucune amélioration visible, mais elle a pourtant nécessité énormément de travail. Ce qui a changé, c’est par exemple la façon dont Meta-Press.es détermine si une URL est valide ou non, son organisation interne, comment les dates sont créées (avec des fuseaux horaires) ou encore comment les fichiers sont importés… du gros œuvre dans le code donc, mais pour ne s’attaquer (en apparence) qu’à quelques bogues.

1. Maintenance des sources

Après le gros travail mené sur les sources pour la précédent version, il est apparu que certaines sources n’étaient pas aussi précises qu’espérées. Aussi, 200 d’entre elles sont à nouveau étiquetées "approx" pour approximatives.

J’ai longtemps espéré pouvoir utiliser une échelle unique de précision pour qualifier les sources :

approx
un mot
plusieurs mots

Pour les sources donnant des résultats approximatifs, précis pour un mot ou pour plusieurs. Mais cette approche mélange en fait deux concepts : exact / approx et un mot / plusieurs mots. Le premier critère correspond à la capacité de la source à donner des résultats exacts ou approchés, et le deuxième à la capacité de la source de s’assurer qu’au moins un des mots recherché par l’utilisateur est présent dans ses résultats, oubien tous à la fois (applique-t-elle un ET-logique entre les termes de recherche ou un OU-logique). Ces deux problématiques sont orthogonales et certaines sources devront pouvoir être étiquetées "approx" et "plusieurs mots".

Ce faisant, des sources furent encore ajoutées pour atteindre un total de 988 avec cette version 1.8.15 (et 1.8.15.1) réparties en 75 pays et 75 langues.

1.1. 800 lignes ajoutées dans les définitions de sources

Année	# lignes
2019	593
2020	881
2021	3066
2022	6970
2023	8759
2024	3984

Pour un total de 24 253 lignes (+535).

2. Correction de bogues

Un total de 12 problèmes furent résolus pour cette nouvelle version. En voici les principaux.

2.1. #80 [1.8.14] Échec au re-import d’un fichier RSS

Une grosse recherche peut télécharger des milliers de résultats, et je profite de ces cas là pour tester les fonctionnalités d’export et de re-import des résultats. Généralement ça marche, mais là je suis tombé sur un os. Quelques heures de recherche permirent d’identifier ce que l’analyseur de fichier XML dénonçait comme caractères XML illégaux dans les fichiers RSS générés par Meta-Press.es. Ce qui enduisait l’interpréteur d’erreur était l’absence d’un caractère qui aurait permis de fermer un motif qu’il était bien le seul à voir, et le message d’erreur pointait donc au milieu d’un texte parfaitement valide si on ne commençait à regarder le fichier qu’à partir de l’erreur rapportée. Ces mystérieux caractères illégaux étaient donc cachés un peu plus tôt dans les URL des illustrations de certains articles, par exemple les URL à destination du vigneteur interactif de https://www.journal-ipns.org (PHP Thumbnailer).

Il s’agissait tout simplement de plusieurs éperluètes "nues" dans ces URL, or le seul usage autorisé des '&' dans un fichier XML est celui d’annoncer le début d’une entité XML (c’est à dire de la description d’un caractère à remplacer lors du décodage du fichier). Une éperluète peut par exemple être remplacé l’entité XML & # 2 6 ; (sans les espaces) mais si on fait ça, c’est le vigneteur en face qui ne s’y retrouve plus.

Il fallut donc remplacer les '&' de ces URL par des & amp ; pour que tout le monde soit content.

2.2. #73 [1.8.14] Les recherche dans la liste des sources interprêtent les signes '-'

Ici le problème était que chercher journal-ipns.org dans la liste complète des sources ne donnait aucun résultat. C’était dû au fait que la bibliothèque de fonction ListJS que Meta-Press.es utilise pour paginer cette liste (et qui fourni également une fonctionnalité de recherche) interprétait les schémas du type -untexte comme une négation : ne pas chercher ce qui contient untexte.

Puisque ListJS n’est plus maintenu, Meta-Press.es est désormais équipé de la version Lovasoa de cette bibliothèque, nommée de part le pseudo du mainteneur qui a entre autre corrigé ce bogue.

2.3. #66 [1.8.12] Impossible de programmer une nouvelle recherche : Failed to parse next run date Invalid Date

Lorsqu’aucun fuseau horaire n’était explicitement choisi par un utilisateur (et donc que le fuseau horaire par défaut du navigateur était utilisé), les utilisateurs français ne pouvaient plus programmer de nouvelles recherches automatique durant la période des heures d’été.

Quelques sérieux ajustements dans la fonction qui crée des dates avec fuseau horaire pour Meta-Press.es ont permis de corriger ce problème (il était question de savoir gérer plus de situations, notamment des fuseaux horaires exprimés en heure, en heure avec minutes, ou juste en minutes comme : -120…).

2.4. #64 [1.8.11] Le filtre par date est remis à zéro une fois les derniers résultats arrivés

Celui-ci était un bogue (très bien) signalé par un utilisateur. Typique du genre des petits bugs qui n’ont l’air de rien mais qui se mettent complètement en travers du flot d’exécution mis en place pour accueillir les résultats. On aurait pas dû avoir à s’éloigner du simple : ré-applique les filtres à chaque fois que ajoute des résultats sur la page. Mais pour le coup, je m’en suis occupé en même temps que la ré-organisation MVC du code (dont je parle plus bas) et ça a passablement compliqué les choses (et la correction du bug suivant), tout en mettant bien en évidence le besoin de réorganisation.

2.5. #79 [1.8.14] Investigate JSON export failure for 10448 results

Pour faire une grosse recherche, c’est facile, il suffit de chercher "europe" dans toutes les sources connues. C’est à peu prêt comme ça que les sources sont testées et ça ramène plus de 10 000 résultats. Meta-Press.es était alors capable d’exporter ces résultats en RSS, en CSV, mais pas en JSON !? Et sans le moindre message d’erreur.

Il semble en effet que Meta-Press.es se heurtait à une limite sur la taille des fichiers générables (via data: URL) fixée à 20MO (ça devrait être 32MO a priori). Dans notre cas, les fichiers RSS et CVS étaient plus petits que leur homologue JSON car ils embarquent moins d’information, perdant notamment le nombre de résultats revendiqués par chaque source.

En diminuant le nombre de caractères de présentation utilisés dans le JSON produit, l’export JSON passait à 19,9MO et avait bien lieu. Ces limites existent et varient au cours du temps et au gré des navigateurs. Une meilleur solution devrait être trouvée rapidement.

Cela pourrait être une fonctionnalité d’export découpé en plusieurs fichiers de 20MO chacun, et une amélioration de l’import, pour être capable de ré-importer une série de fichiers (et pourquoi pas de deviner le type d’un fichier importé en fonction de son extension).

Tant qu’à se pencher sur les exports et les imports, leur code a été globalement amélioré pour fournir plus de réactivité aux utilisateurs et mitiger d’un facteur 15x la perte de performance due à la ré-organisation du code (qui impactait les imports JSON). Il s’agissait là tout simplement de ne ré-ordonner les résultats qu’une fois toutes les 15 sources, et pas à chaque source, car on a pas de temps à perdre quand on import un gros fichier JSON, c’est pas comme si on passait son temps à attendre les résultats de la prochaine source… (comme c’est habituellement le cas)

3. Ré-organisation MVC du code et client NodeJS

MVC, ça veut dire modèle-vue-controleur. C’est un type d’architecture logicielle qui facilite la maintenance du code en séparant clairement les données du code, puis le code "métier" du code d’interface.

Meta-Press.es a été codé comme une simple page web au départ (une architecture ou le contraire est possible, tout dans le même fichier : l’interface (HTML, CSS), le code (JavaScript) et les données. Cette page a été embarquée dans une WebExtension et a pas mal grossi depuis, atteignant 8000 lignes de code aujourd’hui.

En utilisant la commande cloc on peut constater que le code était ventilé en 19 fichiers et 7586 lignes à la mi-mai 2023.

Il est désormais réparti en 32 fichiers pour 8073 lignes en cette mi-mai 2024.

Les fonctionnalités "métier" ont été isolées dans un dossier js/core et seront utilisables par par un client NodeJS en ligne de commande en plus de la WebExtension. Ce travail a permis de distinguer et d’isoler les dépendances requises au fonctionnement de Meta-Press.es et que le client NodeJS va devoir fournir (comme les fonctions DOM_parser, XPath_evaluator, HTML_decode_entities…).

De plus, les fonctions génériques étendant le langage JavaScript codée au fil du développement de Meta-Press.es ont été séparées dans un ensemble de fichiers rangés dans js/lib/js :

array.js
date.js (dont timezoned_date() qui permet de créer des dates dans un fuseau horaire choisi)
math.js
object.js
text.js
types.js
URL.js (dont is_valid_HTTP_URL() qui vérifie la validité d’une URL, et rassemble des idées de 5 sources différentes)
UUID.js
XML.js (dont encode_XML() qui permit de corriger le problème #80)

Il s’agit seulement de 211 lignes de JavaScript, principalement composées de raccourcis évidents qui me rendent le JavaScript plus agréable, mais si des volontaires se manifestent pour en faire une bibliothèque de fonction indépendante je serai là pour aider.

4. v1.8.15.2 : Retrait de deux sources

Deux sources ralentissaient considérablement les recherches, l’une d’elle les bloquant dans une situation sans fin.

Une réparation rapide consiste à les marquer comme cassées. Une meilleur approche consistera à réparer le mécanisme de coupure automatique des recherches trop longues (actuellement basé sur l’API AbortController).

Version 1.8.14 : source maintenance and access content tag

2024-04-04T00:00:00+02:00

Index

1. Sources' Spring cleaning
2. access content and direct content tags
3. Monitoring the age of the lines

As I was to do some source maintenance to verify Meta-Press.es recovered from the previous date parsing problem, I decided to perform a global source maintenance, trying to fix every broken source as per automated full testing procedure.

1. Sources' Spring cleaning

It turned out to be a lot of work… I had hundreds of sources to fix. With this momentum I tried to fix also the sources already marked as "broken" I would encounter in the json/sources.json file… 15 of them got back to work ! (including some which needed tokens to be fetched).

It was:

2743 insertions(+), 1824 deletions(-)

And it took more time than I expected.

Meta-Press.es now counts 953 working sources, including 510 french speaking ones and it’s still more than Google Actualités (which claims to limit itself to 500 sources).

The approximative sources (which are difficult to use) dropped down to 99 (because many of them were converted to more precision via the filter_results mechanism).

2. `access content` and `direct content` tags

But the biggest improvment is with this two new tags : access content and direct content.

The first one allows to search only through sources with online accessible content : true web without paywall. 692 sources were tagged this way, it represents 72% of all the known sources in Meta-Press.es. So what was though as a weakness of Meta-Press.es (not giving access to the content of the articles) turns out to be a strength instead because Meta-Press.es is in fact mainly leading you to readable content.

And even better, it appeared that 127 sources are pushing their content on demand so Meta-Press.es allows you to read a lot of content directly in its result pages. This content is embedded in exports and you can share it or archives it. Those sources got the direct content tag.

This two tags are currently findable among the "tech" tags, but might get their own category one day.

3. Monitoring the age of the lines

As this source maintenance was a lot of work, I made a small script to compute the age of the lines in the json/sources.json file. Smartly used it will allow to follow the maintenance work needed between two source-addition sessions.

For the moment it already allows to follow the amount of work done each of the last years.

Year	# lines
2019	598
2020	924
2021	3177
2022	7024
2023	8895
2024	3111

This source definition file counts 23.718 lines, all crafted by human beings.

Version 1.8.14 : maintenance des sources et étiquettes access content

2024-04-04T00:00:00+02:00

Index

1. Grand ménage de printemps pour les sources
2. Étiquettes access content et direct content
3. Suivi de l’age des ligne dans json/sources.json

Puisque j’en était à faire de la maintenance sur le sources pour vérifier la corretion d’un bug sur l’interprétation des dates, je me suis lancé dans un sprint de maintenance globale des sources, en me penchant sur chaque source signalée comme en panne par la procédure de test automatisée.

1. Grand ménage de printemps pour les sources

Ça a demandé beaucoup de travail… des centaines de sources ont été réparées. J’en ai également profité pour redonner une chances aux sources marquées comme cassées dans le fichier json/sources.json et 15 d’entres elles sont de nouveau fonctionnelles (dont certaines qui avaient besoin du encore nouveau mécanisme de récupération préliminaire de jeton).

Cette petite tâche de maintenance s’est muée en remuage de millier de lignes :

2743 insertions(+), 1824 deletions(-)

Le tout prenant un peu plus de temps que prévu.

Mais le résultat est là, Meta-Press.es compte désormais 953 sources fonctionnelles, dont 510 sources francophones ce qui est, pour rappel, plus que Google Actualités (qui annonce se limiter à 500 sources).

Le nombre de sources dîtes "approximatives" (avec lesquelles il est difficile de travailler parce qu’elle renvoient un peu n’importe quoi) est repassé sous la barre des 100 (à 93) grâce à la qualitication de nombreuses sources en "one word" (précise pour au moin un mot) via le mécanisme filter_results présenté précédemment.

2. Étiquettes `access content` et `direct content`

Toutefois l’amélioration principale de cette version c’est l’apparition des étiquettes : access content et direct content.

La première permet de ne chercher que dans les sources présentant un contenu accessible en ligne : vraiment sur le web, sans paywall in inscription obligatoire. Toutes les sources de Meta-Press.es ont été vérifiée et 692 d’entre elles se sont révélées coopératives, soit 72% des sources de Meta-Press.es. Ce qui était jusque là vu comme une faiblesse de l’outil (ne pas donner accès au contenu des articles) se révèle finalement être une force : dans la majorité des cas Meta-Press.es renvoi vers du contenu lisible.

Et ce n’est pas tout, il est apparu que 127 sources poussent en pratique l’intégralité de leur contenu sur demande, ce qui permet à Meta-Press.es de présenter des articles entiers à lire dans ses pages. Ces contenus peuvent également être exportés, portagés et archivés. Ces sources on reçu l’étiquette direct content.

Ces deux étiquettes sont pour l’instant à retrouver dans les étiquettes "techniques" mais pourrait bientôt avoir leur propre catégorie.

3. Suivi de l’age des ligne dans `json/sources.json`

Vu le temps qu’a pris cette maintenance des sources et le travail que ça représente, j’ai fait un petit script permettant de retrouver l’age des lignes, année par année. En utilisant bien ce script il permettra de suivre le volume de maintenance nécessaire entre deux séances d’ajout de source.

Pour le moment il permet déjà de se faire une idée du travail accompli sur ce fichier chaque année.

Année	lignes
2019	598
2020	924
2021	3177
2022	7024
2023	8895
2024	3111

Ce fichier comportant un total de 23 718 lignes, toutes écrites à la main par des humains.

Version 1.8.13 : fetch token and source maintenance

2024-03-08T00:00:00+01:00

Index

1. v1.8.12 : use Meta-Press.es to improve Wikipedia
2. v1.8.13 : some source maintenance as per user feedback
3. Meta-Press.es is now indexing more french speaking sources than Google Actualités
4. token_sel : fetch a token to build your search URL
5. v1.8.13.1 : fix a bug on date parsing

1. v1.8.12 : use Meta-Press.es to improve Wikipedia

Version 1.8.12 was a small release mainly made for source maintenance and to adding a "secondary source" source type useful for improving Wikipedia (adding secondary sources on articles). The timing of the release was driven by a debate an April.org mailing list.

2. v1.8.13 : some source maintenance as per user feedback

Version 1.8.13 is also a small release. It responds to a user feedback about "dates in future" for SubInfo.be. This newspaper does not provide years in the dates of its results. It was naively added to Meta-Press.es simply adding the current year on each date but this only works hot and abundant news. So unless someone convince SubInfo.be to improve their search result presentation, they will stay in the Meta-Press.es' incompatible sources list.

Off-Investigation also needed to be fixed, as they suddenly stopped to serve results via RSS.

3. Meta-Press.es is now indexing more french speaking sources than Google Actualités

By the way I added 16 new sources. They are french ones, so now Meta-Press.es is indexing 513 french speaking sources, which is more than the number of sources Google News advertises for it’s french speaking version.

So it’s a small release for Meta-Press.es, but a great achievement for the free software community and the freedom of the press.

4. `token_sel` : fetch a token to build your search URL

On a technical point of view, this release is adding the token_sel mechanism. It’s a way to fetch a token somewhere on a page of the source before launching the search. As stated in the source documentation (at a new URL) :

Some sources need a token (present on the regular search page for instance) to serve results. Others need a preliminary request to setup the next response language…

In those cases it’s possible to define a preliminary request that Meta-Press.es will perform before the search.

In addition to the token_url field, a token_sel field now exists and allows to choose which element of the page to extract and re-inject in the search URL of the source via a replacement token "{T}".

This allowed to fix the issue #54 and to integrate AfricaIntelligence.fr / IntelligenceOnline.fr to Meta-Press.es. I also allowed to add back ScienceDirect.com.

5. v1.8.13.1 : fix a bug on date parsing

Everyone knows that nothing is to be pushed in production a friday evening, Meta-Press.es is no exception. This version fixes a bug on date parsing, and at least one other sub-release will be needed.

Version 1.8.13 : capture de jeton et maintenance de source

2024-03-08T00:00:00+01:00

Index

1. v1.8.12 : utiliser Meta-Press.es pour améliorer Wikipedia
2. v1.8.13 : retour utilisateur et maintenance de source
3. Meta-Press.es indexe désormais plus de sources francophones que Google Actualités
4. token_sel : capturer un jeton pour compléter l’URL de recherche
5. v1.8.13.1 : correction d’un bug dans l’analyse des dates

1. v1.8.12 : utiliser Meta-Press.es pour améliorer Wikipedia

La version 1.8.12 fut une petite mise à jour, principalement de la maintenance des sources et l’ajoute d’un type de source « Source secondaire » pensée pour aider à enrichir les pages de Wikipédia avec des sources secondaires en utilisant Meta-Press.es. La sortie de cette version fut un peu précipitée pour répondre aux besoins d’un débat sur une liste de diffusion de l’April.org.

2. v1.8.13 : retour utilisateur et maintenance de source

La version 1.8.13 peut aussi être vue comme une petite mise à jour, précipitée pour répondre à plusieurs retours utilisateurs. En effet les dates "dans le futur" des articles de SudInfo.be ne sont pas passées inaperçues. C’est que cette source ne donne pas d’années à ses résultats et ajouter simplement l’année courante à chaque date incomplète s’avère être une approche un peu trop naïve. Ça faisait bien illusion en fin d’année sur les sujets abondamment traités.

À moins que quelqu’un ne parviennent à convaincre SudInfo.be d’améliorer ses pages de résultats de recherche (en y mettant des dates entières), cette source restera désormais dans la liste des sources incompatibles.

Off-Investigation a eu plus de chance elle, car il a été possible de la réparer. Elle s’était pourtant tout simplement mise à ne plus servir ses résultats sous forme de flux RSS (servant son flux RSS principal à la place). Elle bénéficie désormais d’une intégration web classique.

3. Meta-Press.es indexe désormais plus de sources francophones que Google Actualités

En effet cette nouvelle version ajoute 16 nouvelles sources francophones à Meta-Press.es, ce qui porte le nombre de sources francophones indexées à 513, or Google Actualités a communiqué sur le fait que seulement 500 sources francophones sont indexées dans ce moteur de recherche.

C’est donc une petite mise à jour pour Meta-Press.es, mais un grand pas pour la communauté du logiciel libre et pour la liberté de la presse.

4. `token_sel` : capturer un jeton pour compléter l’URL de recherche

Sur le plan technique, cette nouvelle version de Meta-Press.es embarque le mécanisme token_sel permettant de récupérer un jeton sur une page de la source avant de lancer une recherche. Comme indiqué dans la documentation technique sur l’ajout des sources (déménagée dans une page unique ici) :

Certaines sources ont besoin d’un jeton généré lors de l’affichage de leur page de recherche pour servir des résultats. D’autres ont besoin d’une requête préliminaire pour pouvoir configurer la langue dans laquelle seront servis les résultats…

Dans ces différents cas il est possible de définir une requête à réaliser avant de lancer la recherche (via la directive token_url). Désormais un champs token_sel est également disponible afin d’extraire un élément de la page chargée et de pouvoir l’injecter dans l’URL de recherche de la source via le jeton de remplacement "{T}".

L’implémentation de ce mécanisme a permis d’ajouter la source AfricaIntelligence.fr / IntelligenceOnline.fr à Meta-Press.es, et de fermer le fameux bug #54 (plus facilement que prévu).

5. v1.8.13.1 : correction d’un bug dans l’analyse des dates

Tout le monde sait qu’il ne faut rien mettre en production un vendredi soir… Meta-Press.es ne fait pas exception. Au moins une autre version sera nécessaire sur le sujet.

Google don't filter AI generated news

2024-01-19T00:00:00+01:00

Today in Next.ink the journalist Jean-Marc Manach reports the official position of Google regarding AI generated content in its news search engine Google News.

« Google don’t care if a news is written by a human or an AI (fr) »

Since months a lot of fakenews websites are made from AI content only. This tool can produce numerous hallucinated news H24, but without any form of verification or contextualisation like journalists are supposed to do. For Google, it’s officially not a problem, they don’t care whom or what write the news.

Interviewed by 404 Media, Google answered : « even if it tries to struggle against spam on Google News, the Google society do not care whether a news is written by a human or an AI »

Meta-Press.es is proud to be presenting only human verified content to its users.

Humanly adding sources one by one allows Meta-Press.es to achieve what Google can’t provide, officially letting it’s users with a known dishonest service (Google News).

Google ne filtre pas les contenus générés par IA

2024-01-19T00:00:00+01:00

Aujourd’hui dans Next.ink le journaliste Jean-Marc Manach rapporte la position officielle de Google concernant les contenus générés par intelligence artificielle dans son moteur de recherche Google Actualités.

« Google se moque « de savoir si un article a été rédigé par une IA ou par un humain » »

Depuis des mois, un florilège de faux sites d’information sont générés de toutes pièces grâce à l’intelligence artificielle. Cette dernière peut produire très rapidement du contenu (24h/24), mais sans les vérifications et contextualisation que sont censés réaliser les journalistes. Pour Google, ce n’est pas un problème, peu importe qui écrit les articles.

Interrogé par 404 Media, Google explique que, « bien qu’elle tente de lutter contre le spam sur Google Actualités, la société ne se préoccupe pas de savoir si un article a été rédigé par une IA ou par un humain ».

Meta-Press.es est fier de ne présenter à ses utilisateur que des contenus vérifiés par des humains.

En n’intégrant que des sources validées par des humains, Meta-Press.es atteint un résultat hors de portée pour Google, qui préfère officiellement laisser ses utilisateurs face à un service (Google Actualités) qu’ils savent malhonnête.

Meta-Press.es works on Android again

2024-01-10T00:00:00+01:00

As of 2024-01-31 the number of Android Meta-Press.es users grown by a 10 factor since two weeks ! Ok, it’s a jump from 2 to 20, but who knows what will be the next step !?

After years of Mozilla based privation of addons for mobile versions of their web browser, Meta-Press.es is installable on Android again via Fennec F-Droid.

The according mention in our À propos page was restored in consequance.

We’re glad to be among the 450 extensions newly authorized by Mozilla over more than 40 000 existing WebExtensions for desktop Firefox and proud to have get back our the mention :

Available on Firefox for Android™

In our addon page : https://addons.mozilla.org/en-US/firefox/addon/meta-press-es/

Meta-Press.es fonctionne sur Android à nouveau

2024-01-10T00:00:00+01:00

Ce mercredi 31 janvier 2024, le nombre d’utilisateurs de Meta-Press.es sous Android a été multiplié par 10x en deux semanes (bon, d’accord, on partait de 2, mais qui sais où cela s’arrêtera !?)

Après des années de privation par Mozilla des extensions sur son navigateur web, Meta-Press.es est à nouveau installable sur Android via Fennec F-Droid.

La mention correspondante a donc été restaurée sur notre page À propos.

Nous sommes heureux de faire partie des 450 WebExtensions autorisées à nouveau par Mozilla sur plus de 40 000 existantes pour Firefox version bureau et fiers d’avoir retrouvé la mention :

Disponible sur Firefox pour Android™

Sur notre page dans le catalogue des WebExtensions de Firefox : https://addons.mozilla.org/fr/firefox/addon/meta-press-es/

Forum ESS 2024 : How to make your NGO press review with Meta-Press.es ?

2023-12-20T00:00:00+01:00

After a shy presentation at Forum ESS in Niort (France) last year, Meta-Press.es will the subject of a 1h workshop at the next edition of this forum.

I’ll explain how to setup automated requests in Meta-Press.es at this time slot during the event :

2024-01-31 16:30 UTC+1 in Niort : Réaliser la revue de presse de son association (place : Coopérer et s’accompagner : Bienvenue dans l’ESS).

Forum ESS 2024 : Réaliser la revue de presse de son association

2023-12-20T00:00:00+01:00

Après une présentation timide lors de l’édition 2023 du Forum de l’ESS à Niort (France), Meta-Press.es fera l’objet d’un atelier d'1h lors de la prochaine édition.

J’y expliquerai comment configurer des requêtes automatiques :

2024-01-31 16:30 UTC+1 à Niort : Réaliser la revue de presse de son association (espace : Coopérer et s’accompagner : Bienvenue dans l’ESS).

[NLnet] FreeWebSearch Day: Meet the Makers

2023-09-29T00:00:00+02:00

Index

1. Interview With Simon Descarpentries from Meta-Press.es

Interviews with Viktor Lofgren (from Marginalia search engine) and Simon Descarpentries (from Meta-Press.es search engine).

FreeWebSearch Day is held each year on September 29. It is a day for freedom of information and democracy. Everyone can join by organising or attending events or other actions.

Simon’s Meta-Press.es lets you explore the news without middle man between news papers and your browser. The search engine in the form of a browser add-on helps you avoid the swamp of third-party trackers on most newspaper websites and news aggregators that give you little choice how to search and select.

Page of the event on NLnet website
The interview audio (45 minutes)

1. Interview With Simon Descarpentries from Meta-Press.es

"We should not rely on search engines to free us from the effort to know the world"

— Simon Descarpentries
Meta-Press.es

Initially published here : https://nlnet.nl/news/2023/20231012-meta-press.html

The Meta-Press.es search engine lets you explore the news without middle men or trackers. Creator and lead developer Simon Descarpentries is a free software enthusiast for over twenty years and former Framasoft employee, he currently is CEO at Acoeuro.com and treasurer of Fund for Defense of Net Neutrality. We interviewed Simon for #FreeWebSearchDay. You can listen to the recording of the interview or read the edited transcript below.

Question: Can you tell us something about Meta-Press.es?

Answer: Meta-Press is a free software allowing everyone to search through online press. With one click you can search through 930 online newspapers. All these sources are indexed one-by-one by humans. Currently, if you query GAFAM news search engines, you’ll get results which include fake or forged newspapers. Some are just copying content from other sites to sell advertisement. These GAFAM news search tools can’t sort out the real sources from the false ones because everything in the process is automated. In Meta-Press we did it all by hand, so it is all verified by humans. Meta-press also includes about 700 newspapers which give free access to their content because that is the economic model they chose. Unlike Google News, Meta-Press does not lead you to a dead end: this exists but you can’t reach it.

1.1. No censorship

Meta-press is a Firefox browser add-on and is free software, accessible for everyone. It’s built with a software architecture which guarantees there are no bottle-necks, no single point of failure and no censorship. Because once you install the add-on in your web browser your requests are not send to a hypothetical Meta-Press server which could control things. Instead, it’s your computer that is instructed how to do the search. It’s your web browser that has gained the superpower to request results from nearly 1000 newspapers. Therefore it is virtually uncensorable because you have plenty news papers on the one side and plenty of computers on the other. And that is how the internet works : no central point that we all have to cross. The more people use Meta-Press the better it will work.

1.2. Problems with search today

Q: What problems do you see with search today?

A: My main concern with GAFAM news search engines is what I mentioned before: they serve fake newspapers. It is easy to feed GAFAM news search engines with fake content designed exactly to go through their ranking algorithm. And since nobody ever checks, you can fool them. It is possible already possible for you to fool them, so it is for a government or a company. It’s flawed, we need something else. It is bloated, dishonest and not working anymore. And it will only get worse because there is money at stake. And there are political stakes too.

1.2.1. Mass surveillance as an economic model

Another big problem with search online is that it’s currently dominated by a handful of megacorporations following no rules except their own and whose economic model is based on mass surveillance. They follow everyone, knowing who came back to the website and what they were interested in, what click they made… If you had a screen next to the newspaper, displaying all the information GAFAM extract from your online activity, you would just turn your computer off. They sell that information to companies, governments and political parties. That is not a conspiracy theory, we know it’s true from Snowden and the Cambridge Analytica scandal. It would be more comfy to live in a world where we could forget about those scandals but it’s a reality we have to face.

1.2.2. Decreasing accuracy of search results

A third problem is that the accuracy of Google search is decreasing. More and more content is created just to score high in their ranking algorithm. It shows up even if it was not exactly what you wanted to see. It’s called an injection attack. Google is an open security breach regarding injection attacks. That is a technical problem in search today.

1.2.3. We’re losing our ability to be inquisitive

And last but not least, regular humans are abandoning their ability to search in favor of those dishonest tools. You could compare it to GPS. When you use GPS for navigation you’ll slowly lose your ability to read a map and other navigation skills. If GPS was dishonest and provided you with the wrong information, you would be lost and abandon the tool. It is exactly the same thing with online search. The tool is dishonest and you have to abandon it. You need to work on your skills to search for things: cross check your information, compare your sources, publish your results so others can verify them. You must become a bit of a journalist. Like Viktor Lofgren of Marginalia Search said: the more you use Google the more you’ll become fenced into a small park Google allows you to reach. The best search tool is your brain.

1.3. Information has a price

Q: How does Meta-press address these problems?

A: Meta-press addresses the fake news problem because it only searches through sources that are validated by humans. You’re guaranteed to search in real newspapers with articles written by real humans. Humans who were trained and paid for it, which is what we call journalists. This type of information has a price and we should pay that price. If you do not pay for the information you get, than it’s you who is the product sold in the transaction. And you’re not getting the information that you need. So you should pay for the services you use (or run them on your own computer). If you don’t change the way the world is turning, it will continue to turn the wrong way.

1.4. A solution to decentralized indexing

There are multiple projects working on free software search engines to make general purpose search available such as YaCy, Searx and Marginalia. They are addressing a difficult problem: how to make a distributed index of the world that is reliable and honest. With Meta-Press we addressed this by limiting our scope to online newspapers. Newspapers provide honest indexes, because their reputation is at stake. With Meta-Press we just stitched those indexes together. This is a small window to the rest of the world with only information created by journalists. But hopefully information that covers the entire world because journalists are looking everywhere.

General purpose indexes are a complicated problem and I am better at solving simple problems. When I started the project it was small compared to Google. But I decided I would pull one hair out of the head of Google. I invite you to do the same. Get your own hair off the head of Google and we will win quite fast. It is my collibri approach to this thing. You address a small part of the problem but you address it well.

1.5. The future of search should be collaborative

Q: What do you think will happen with search in the future?

A: ChatGPT could be the end of Google Search in a year if it continues to rise like this. Not because the results are better. ChatGPT is a stochastic parrot. It has no idea what it says. You can ask it what the French presidents of the Republic are and you get the right list. Ask it who the female presidents are and you’ll also get a list, while no woman ever been French PR yet. Despite that ChatGPT works because it is simple for people to use. That is always what wins (the simplest, not the best).

ChatGPT works with so-called AI algorithms and fortunately for us they are not the same kind of AI as in the Matrix or Terminators movies. It’s just a statistic matrix and this technology, which is 40 years old, can be used for the good of humanity. For instance you have Pl@ntNet. You send it the picture of a plant and it will tell you what plant it looks like. This is access to knowledge. This is the same technology but used in a good way. This is search made well. iNaturalist.org helps you find out which insect you are seeing. BirdNET from Cornell University will tell you what bird you are hearing.

These are examples of online search tools I am the most excited about. They are collaborative efforts. The more you use it, the more accurate it will get. Take Pl@ntNet for instance, if you upload a picture of a rare plant (something that is missing in their database) they will display a pop-up inviting you to upload more photo’s of it once it will be flowering or when the seeds will be fully grown to improve the database. That way humanity works together to get better knowledge of what surrounds us. That looks like the way to go for me. Going to Mars is not an interesting thing to do as long as we don’t have maps of the ocean floors.

1.6. We mustn’t rely on search engines to know the world

Q: Is that how you would like to see search evolve in the future? Becoming more collaborative?

A: Yes. There are two sides of the problem. Is it search that has to be improved? Or is it the way we publish things? Searching for something in a library is easy because it is an organized world. You have shelves, you have books in alphabetical order, that works great. If we publish things better we won’t have a problem searching for them. But hoping that search engines will free us from the efforts to know the world and to sort it, is a bad way to go. Something that won’t work and will catch people in the glue like small birds.

Keep in mind the limits of the dream sold to us nowadays: artificial intelligence is just another algorithm to sort things automatically and we have absolutely no idea of what the content is. Tools won’t solve society’s problems. If humans work together it will be better.

Collaborative efforts to discover the world, to map it, like OpenStreetMap is the way to go. People working together and giving each other knowledge that will help to know the world and to search through it. For instance, you can help Meta-Press mapping the newspapers of the world. It is a collaborative effort. The project is open to all your contributions. Help us to map the world! And thanks to NLnet it will soon be possible for people who aren’t computer science engineers to do this, I promise.

1.7. Ways to get involved with Meta-Press

Q: How can we contribute to Meta-Press?

A: You can add your own sources to Meta-Press. On the Meta-Press.es website you find much documentation on how Meta-Press sees the world and how it can read your favorite newspapers. It’s currently a long process available for someone who knows how to make a CSS selector. But with funding from NLnet I am working on an interface in which you will just have to copy paste the address of the source and click to point where is the search engine, where is the title of the results, where is the link, the date and it will be enough.

Once you have this newspaper definition it’s recorded somewhere in Meta-Press and you have a button in the settings to manage your local sources. You will have the JSON object (text) describing how to fetch the results from this source. You can send it by mail to Meta-Press or you can create a pull request on FramaGit.org. You can also reach us via IRC or Mastodon.

Adding sources is the contribution you can do. But every kind of help to the project would be welcome. You can help with translations (which are managed with Weblate.org, a great free software project and enterprise). You can also help the project by just speaking about it. Introduce it to people or to your local university. There are a lot of configurations possible in Meta-Press to search for specific topics or in one language or country (among 75 of them currently). Just try it, use it and make it known.

[NLnet] Journée de la recherche libre sur le Web : rencontres

2023-09-29T00:00:00+02:00

Index

1. Entrevue avec Simon Descarpentries de Meta-Press.es

Interviews de Viktor Lofgren (du projet de moteur de recherche Marginalia) et Simon Descarpentries (fondateur du méta-moteur de recherche Meta-Press.es).

Le FreeWebSearch Day est un évènement annuel qui se tient autour du 29 septembre. C’est un jour pour faire vivre la liberté d’information et la démocratie. Tout le monde est invité à rejoindre le mouvement et organiser un évènement local et des actions sur ce thème.

Le projet Meta-Press.es de Simon Descarpentries vous permet d’explorer l’actualité en ligne sans intermédiaire entre votre ordinateur et les journaux en ligne consultés. Ce moteur de recherche se présente sous la forme d’une extension de navigateur web et vous aide à franchir les marécages de publicité, de fake-news et de collecte de vos données personnelles en ligne. Avec Meta-Press.es, vous reprenez le contrôle de vos recherches et lectures en ligne en sélectionnant vos sources.

Page de l’évènement sur le site d’NLnet
L’enregistrement audio de l’interview (45 minutes)

1. Entrevue avec Simon Descarpentries de Meta-Press.es

« Les moteurs de recherche ne nous libèrent pas de l’effort à faire pour connaître le monde »

— Simon Descarpentries
Meta-Press.es

Initialement publié sur : https://nlnet.nl/news/2023/20231012-meta-press.html

Le moteur de recherche Meta-Press.es vous permet d’explorer la presse en ligne sans intermédiaire ni suivi publicitaire. Créateur et principal développeur, Simon Descarpentries est un fervent supporteur des logiciels libres depuis (plus de 20 ans). Il a été employé de Framasoft et est actuellement gérant de la SSII Acoeuro.com et trésorier du Fond de défense de la neutralité du Net. Nous l’avons interviewé pour le #FreeWebSearchDay. Vous pouvez écouter l’enregistrement de cette entrevue ou lire la transcription suivante.

Question : Pouvez-vous nous dire quelque chose à propos de Meta-Press.es ?

Réponse : Meta-Press est un logiciel libre permettant à chacun de chercher dans la presse en ligne. En un clic vous pouvez chercher dans 930 journaux. Toutes ces sources sont indexées une par une par des humains. Actuellement, si vous faîtes une recherche sur la presse via le moteur de recherche d’un GAFAM vous risquez d’obtenir des résultats en provenance de faux journaux forgés sur mesure pour les berner. Certains se contentent de de copier du vrai contenu ailleurs et d’y coller leurs pub à côté. Les GAFAM ne font pas la différence car leur processus de découverte et d’indexation des journaux en ligne est entièrement automatisé. Avec Meta-Press.es, nous avons fait le travail à la main, donc tout est vérifié par des humains. De plus, Meta-Press.es intègre plus de 700 journaux donnant accès à leur contenu, parce que c’est le modèle économique qu’ils ont choisi. Contrairement à Google News, Meta-Press.es ne vous mène pas à un cul de sac en vous montrant surtout ce qui existe mais que vous ne pourrez pas lire (sans abonnement).

1.1. Pas de censure

Meta-press est une extension du navigateur web Firefox, accessible à tous. Elle est construite avec une architecture qui garanti qu’il n’y a pas de goulot d’étranglement, de point unique de passage pour les requêtes, d’où on peut facilement surveiller le trafic et en censurer une partie. Une fois l’extension Meta-Press.es installée dans votre navigateur, vos requêtes de recherche ne sont pas envoyées vers un hypothétique serveur Meta-Press.es pour être traitées. En fait c’est votre ordinateur qui apprend à faire les recherches pour vous. C’est votre navigateur web qui gagne le super-pouvoir d’interroger un millier de journaux en quelques secondes. En s’organisant comme ça, il est plus difficile de censurer quelque chose, d’une part parce qu’il y a beaucoup de journaux interrogés et d’autre part parce que c’est chaque utilisateur qui fait tourner le service. Et c’est comme ça que fonctionne l’internet : pas de point unique de passage où une défaillance entrainerait la défaillance du système. Plus il y a de personnes qui utilisent Meta-Press.es, mieux il fonctionne.

1.2. Les problèmes de la recherche sur Internet aujourd’hui

Q : Quels problèmes voyez-vous avec les moteurs de recherche aujourd’hui ?

R : Mon principal problème avec les moteurs de recherche des GAFAM est celui que j’ai mentionné en introduction : ils servent (aussi) des résultats provenant de faux journaux. Il est assez facile de forger du contenu sur mesure pour percer à travers leurs algorithmes de classement des résultats. Et comme personne ne vérifie jamais, on peut les leurrer. C’est à votre portée, et c’est à la portée des entreprises et des gouvernements. C’est troué, y’a besoin d’autre chose. Ces moteurs de recherche sont ballonnés de mauvais contenus, malhonnêtes, cassés en quelque sorte. Et ça ne va faire qu’empirer parce qu’il y a de l’argent en jeu et des enjeux politiques.

1.2.1. La surveillance de masse comme modèle économique

Un autre problème qu’on rencontre quand on veut lancer une recherche sur le net, c’est que le marché est dominé par une poignée de mégacorp' qui ne respectent aucune règle et dont le modèle économique est basé sur la surveillance de masse. Ils espionnent tout le monde, notant les habitudes de chacun (qui li quoi, qu’est-ce qui vous intéresse, où est-ce que vous avez cliqué…). Si on vous ajoutait un écran pour lister toutes les informations que les GAFAM arrivent à extraire de vos navigations sur le web, vous éteindriez tout simplement votre ordinateur. Et ces informations sont vendues aux plus offrants (entreprises, gouvernements, partis politiques…). On est pas dans de la théorie du complot là, je rappelle juste ce qu’on a appris grâce à Edward Snowden ou au scandale Cambridge Analytica. Ce serait plus confortable de vivre dans un monde où nous pourrions oublier ces scandales, mais ils constituent la réalité à laquelle nous devons faire front.

1.2.2. Déclin de la précision des moteurs de recherche

Un 3e problème vient du fait que les moteurs de recherche classiques perdent en précision. De plus en plus de contenu commercial sans grand intérêt est créé sur mesure pour sortir en premier sur les moteurs de recherche. Ils apparaissent même s’ils ne répondent pas vraiment à vos questions. Dans le domaine de la sécurité informatique on appelle ça une attaque par injection. Google peut être vu comme une faille de sécurité béante, ouverte aux attaques par injection. C’est un problème technique rencontré aujourd’hui par les moteurs de recherche.

1.2.3. Et l’esprit critique dans tout ça ?

Un dernier point concerne le fait que si les humains gagnent du temps à utiliser les moteurs de recherche, ils s’en trouvent également ramollis dans leurs compétences. La situation est comparable avec l’utilisation des GPS. En utilisant un GPS on perd lentement son sens de l’orientation (ou du moins l’habitude de préparer un trajet à l’aide d’une carte avant de prendre la route). Or si un GPS devenait malhonnête et imprécis, ne vous menant plus vraiment là où vous voulez aller ^[1], vous abandonneriez l’outil. Les moteurs de recherche sont malhonnêtes et imprécis, il faut les abandonner. Vous devriez vous entrainer à rechercher des informations autrement : à croiser vos informations, à comparer vos sources, à publier le résultats de vos recherches pour que d’autres puissent vérifier à leur tour… Il s’agit de devenir un peu journaliste à son tour. Comme l’a dit Viktor Lofgren du projet Marginalia : plus vous utilisez Google et plus vous vous retrouvez enfermé dans le petit parc de ce que Google veut bien vous montrer. Le meilleur moteur de recherche, c’est votre cerveau !

1.3. L’information a un prix

Q : Comment est-ce que vous résolvez ces problèmes avec Meta-Press ?

R : Meta-Press.es répond au problème des fake news en ne fournissant que des sources qui ont été reconnues et validées par des humains. Meta-Press ne cherche que dans de vrais journaux, avec des articles écris par de vrais humains. Des humains qui ont été entrainés et payés pour ça et qu’on appelle des journalistes. Ce type d’information a un prix, il faut bien le payer. Si vous ne payez pas votre information, c’est vous le dindon de la transaction. Et en plus vous ne recevez pas vraiment l’information que vous cherchiez (entre contenus publicitaires ou lubies nauséabondes de milliardaires en guerre civilisationnelle). Vous devriez donc payer pour les services que vous utilisez (ou alors les faire tourner sur votre machine). Si nous ne changeons pas la façon dont fonctionne le monde, il continuera à tourner de travers.

1.4. Un index décentralisé

Il y a plusieurs projets de logiciel libre qui travaillent à réaliser un moteur de recherche généraliste comme YaCy, Searx ou Marginalia. Ils s’attaquent à un problème difficile : comment co-construire un indexe distribué qui soit honnête et fiable ? Avec Meta-Press on a simplifié le problème en ne nous occupant que de recherche dans la presse. Les journaux en ligne fournissent généralement un index honnête de leur contenu, par le biais de leur recherche interne. Leur réputation serait entachée si leur moteur de recherche interne était mauvais. Meta-Press ne fait que rassembler ces index de journaux. C’est une petite fenêtre ouverte sur le monde, ça ne permet d’atteindre que ce que des journalistes ont écrit. Mais c’est une fenêtre qui donne sur une grosse partie du monde quand même, car "regarder un peu partout" c’est justement le métier des journalistes.

Créer un index de moteur de recherche généraliste est un problème compliqué et moi je suis meilleur pour résoudre les problèmes simples. Je me suis donc limité à un problème simple. Quand j’ai commencé, Meta-Press.es était tout petit comparé à Google, mais j’ai décidé de persévérer, de m’occuper de ce problème là (la recherche d’actu sur le web) et d’arracher ce cheveux de la tête du géant Google plutôt que de chercher à le terrasser à moi tout seul. Je vous invite à en faire de même, choisissez un combat, arrachez votre cheveux de la tête de Google. Attaquez-vous à un problème, et faîtes les choses bien.

1.5. Le futur de la recherche en ligne devrait être collaboratif

Q : Que pensez-vous qu’il va se passer avec la recherche en ligne à l’avenir ?

R : ChatGPT pourrait signifier la fin des moteurs de recherche comme Google d’ici un an ou deux si sa popularité continue de grimper à cette allure. Pas parce que les résultats obtenus sont meilleurs mais parce qu’il est plus simple à utiliser. ChatGPT n’est qu’un perroquet stochastique. Il n’a aucune idée de ce qu’il raconte. Vous pouvez lui demander la liste des présidents de la république française et vous obtiendrez une liste. Demandez lui quelles furent les présidentes et vous obtiendrez aussi une liste, alors qu’aucune femme n’a encore présidé la France. Malgré ça, ChatGPT cartonne parce qu’il est plus simple à utiliser pour les gens. Or c’est toujours ça qui gagne (le plus simple, pas le meilleur).

ChatGPT fonctionne grâce à un algorithme qui se revendique d’intelligence artificielle et heureusement pour nous ça n’a rien à voir avec l’intelligence artificielle des films Matrix ou Terminator. Il ne s’agit cette fois que d’une matrice de statistiques et cette technologie, vieille de 40 ans, peut aussi être utilisée pour le bien de l’humanité. Par exemple il existe Pl@ntNet, un site web où vous pouvez envoyer des photos de plantes et qui vous répondra à quelle espèce votre spécimen ressemble le plus. Voilà une porte ouverte vers le savoir. Il s’agit de la même technologie (que ChatGPT), mais utilisée de la bonne manière. iNaturalist.org vous aide, de la même manière, à identifier l’insecte qu’il y a en face de vous. BirdNet de l’université de Cornell vous dira quels oiseaux vous êtes entrain d’entendre (et avez réussi à enregistrer avec votre mobile).

Voilà des exemples de moteur de recherche en ligne qui m’enthousiasment. Il s’agit d’efforts collaboratifs. Plus ils sont utilisés et plus ils s’améliorent. Pl@ntNet par exemple, lorsqu’on lui envoi la photo d’une plante rare (quelque chose qui manque dans leur base de donnée), vous invite à envoyer plus de photos et à revenir lorsqu’il y aura des fleurs ou des fruits… De cette manière l’humanité travaille ensemble pour améliorer notre connaissance du monde. C’est à mon avis dans cette direction qu’il faut aller. Je ne vois pas l’intérêt d’aller sur Mars tant que nous n’aurons pas fini de cartographier le fond des océans.

1.6. Nous ne devrions pas nous reposer sur les moteurs de recherche pour connaître le monde

Q : Est-ce la direction que vous souhaitez voir prendre à la recherche en ligne, devenir plus collaborative ?

R : Oui. Il y a deux aspects au problème. Est-ce le moteur de recherche qui a besoin d’être amélioré, ou est-ce plutôt la façon dont nous publions les choses ? Chercher un livre dans une bibliothèque est facile parce que c’est un espace organisé. Il y a des étagères où les livres sont rangés par ordre alphabétique et ça marche très bien. Si nous publions mieux nos contenus, il ne sera pas compliqué de les rechercher. Mais espérer que les moteurs de recherche vont nous libérer de l’effort à faire pour connaître le monde est une illusion. L’outil s’interpose entre le savoir et vous, vous retenant prisonniers comme des passereaux englués (dans le respect de la tradition).

Il me semble préférable de garder en tête les limites du rêves qui nous est vendu : la soi-disante intelligence artificielle n’est qu’un algorithme de tri automatique des données qui n’a aucune idée de ce qu’il manipule. Les outils ne vont pas régler les problèmes de société. C’est aux humains de travailler ensembles.

Pour moi la direction à suivre est celle des efforts collaboratifs visant à découvrir et à cartographier le monde, comme OpenStreetMap. Des gens travaillant ensemble pour mettre leurs connaissances du monde en commun de manière à pouvoir chercher dedans ensuite. Vous pouvez par exemple aider Meta-Press.es à cartographier les journaux du monde. C’est aussi un effort collaboratif. Le projet est ouvert aux contributions. Aidez-nous à découvrir le monde ! Et grâce à la NLnet il y aura bientôt un formulaire permettant d’ajouter une source à Meta-Press en quelques clics (sans avoir besoin de connaissances en développement web).

1.7. Comment s’impliquer dans Meta-Press.es

Q : Comment contribuer à Meta-Press.es ?

R : Vous pouvez ajouter vos propres sources à Meta-Press. Sur le site du projet Meta-Press.es vous trouverez une documentation détaillant comment Meta-Press.es voit le monde et comment il peut lire vos journaux favoris. Pour l’instant c’est un processus assez long, accessible seulement à quelqu’un qui n’a pas peur du développement web. Mais grâce au financement de la NLnet je suis entrain de développer une interface qui vous permettra de copier simplement l’adresse d’un journal dans un formulaire, puis de pointer à la souris où est le moteur de recherche, puis où sont les résultats, leur lien, leur date et se sera déjà suffisant pour commencer.

Une fois que vous avez cette définition de journal fonctionnelle dans Meta-Press sur votre ordinateur, vous pouvez nous l’envoyer par courriel à l’adresse contact@ ou créer une demande d’ajout sur le FramaGit.org. Vous pouvez également nous joindre par IRC ou Mastodon.

Ajouter des sources est une contribution ouverte à tous, mais toute aide est la bienvenue. Vous pouvez aider le projet en aidant aux traductions (qui sont gérées via Weblate.org, un super logiciel libre portée par une équipe au modèle économique éthique). Vous pouvez aussi aider le projet en en parlant autour de vous. Présentez-le à vos amis, dans votre université, votre médiathèque… Meta-Press.es est configurable et permet de cibler ses recherches (texte, photo, évènements…), thème ou langue (parmi les 75 accessibles aujourd’hui). Essayez Meta-Press.es, utilisez-le et faîtes-le connaître.

1. Mais par exemple systématiquement devant des centres commerciaux et en passant devant un maximum de pubs

Version 1.8.11 : 900 sources, event and job result type, #fixtheworld

2023-08-09T00:00:00+02:00

Index

1. Source maintenance
- 1.1. New result types : event and job
2. Source definition evolution
- 2.1. token_url
- 2.2. date_locale
3. Source list pagination bug
4. Fun facts
- 4.1. Hacking La Charente Libre for its dates
5. Fix the world

Over 185 commits were made since the previous release, an extraordinary bump into those statistics made possible by 3 interns whom made a great work adding around 250 sources:

Jérome Bertin
Céline Duguet
Vincent Gay

With quite some proofreading work and other additions on my side the number of sources shipped with this new release is 930 (it’s a 50% growth of the source collection).

1. Source maintenance

In particular all the compatible members of the SPIIL (french independent online press union) have been added rising the "indep." french sources number to 132 (over a total of 373 "indep." sources).

Reference press sources are now 89 (and 40 more might be added soon, as the corresponding Wikipedia page grown).

There are 386 sources providing results as RSS feeds, mainly because it’s the WordPress default, and that a lot of newspapers are using WordPress as a backend. It would be cool if the 20 SPIP sources could do the same !

Illustrations were got back from a great proportions of these 386 RSS sources, thanks to a simple regex prospection trick, and it’s a happy ending for an item stayed years in my todo-list :)

Also, mainly over those RSS sources, the filter_results rule is now applied over 79 sources, ensuring exact results, and the rule were improved to match exact words with better word separators. Despite this quest for exact truth, a setting should soon allow to declutch this filtering to let approximate results flow at will if needed.

1.1. New result types : event and job

To help searching across the 49 agendas a result type event have been added and a job result type were added to suit the 3 first job search-engines integrated into Meta-Press.es.

It’s not every year that a new type of results if added to Meta-Press.es and a lot of job search-engine are still to be added. But it’s a new door that opens for Meta-Press.es.

2. Source definition evolution

2.1. `token_url`

A token_url source definition entry appeared to instruct that this URL should be called before any search. It allows to setup a cookie (which can be used to set the language of the next search) or to grab a token that would be mandatory to perform a search. If the language selection scheme is actually used, the token grabbing one is not met yet.

2.2. `date_locale`

A new special value is now recognized by Meta-Press.es for the date_local source definition entry, it’s : browser.

This means that the dates of this sources are display using the user browser locale… so it changes from a user to another.

Corriere della Sera is behaving like that.

3. Source list pagination bug

In the list of all the sources, you can pick up sources one by one. But the pagination was reset at each selection, making this feature hard to work with. In this new release you’ll stay on your page while selecting all what you want.

4. Fun facts

I noticed that the Monde Diplomatique in esperanto now serves its dates in esperanto. It was a pleasant update to make.

Less obvious, El Watan (famous Algerian newspaper) did change its domain after 30 years of existence, creating a lot of 404 links around the world… It’s now elwatan-dz.com.

We were quite surprised to figure out that Mediabask produces articles in several languages (fr, es, eus) but don’t let you choose in which language you want to perform your search ! Results of each language are served each time.

Special mention for the Otago Daily Times which domain looks more like an wrongly named LibreOffice Text document than a big newspaper : www.odt.co.nz

And to finish, El Paìs (spanish Reference Press organ) can find you results for :

bbbb (it’s a 404)
cccc (it’s also a 404)
ffff (and it exists)
vvvv (and it exists)
xxxx (and it exists)
zzzz (and it exists)

All these fun facts were pushed to Mastodon with the #metapress.

4.1. Hacking La Charente Libre for its dates

La Charente Libre is an important regional newspaper in the south-west of France. It offers no date on its results but many people were interested to search through it via Meta-Press.es.

The web interface gives no hope to sort results by date or so… but if you have the idea to try adding &sort=date at the end of a search URL, TADA, dates are added to the results when the web page reloads.

La Charente Libre seems to be using a custom web application, but this trick could be tried for every source missing dates on results that are listed here.

Don’t hesitate to report me where it works !

5. Fix the world

You will also find on Mastodon a dozen of opportunities to help Meta-Press.es with no code, contacting the sources I mentioned and asking them to fix their problems, for instance:

Mediapart could improve it’s search precision
Telerama.fr has no date on its results
YemenPost.net neither
Kathimerini.gr no more
Disclose has just no search at all…

You can get the full list here : #fixtheworld

Version 1.8.11 : 900 sources, types de résultat évènement et emploi, #fixtheworld

2023-08-09T00:00:00+02:00

Index

1. Maintenance des sources
- 1.1. Nouveaux types de résultats : évènement et emploi
2. Évolution dans la définition des sources
- 2.1. token_url
- 2.2. date_locale
3. Bug dans la pagination de la liste des sources
4. Anecdotes
- 4.1. Hacker La Charente Libre pour ces dates
5. Fix the world

Plus de 185 commits ont été poussés depuis la précédent version, un joli saut en avant rendu possible par 3 valeureux stagiaires ayant ajouté 250 sources à Meta-Press.es en 3 semaines:

Jérôme Bertin
Céline Duguet
Vincent Gay

Ça m’a fait pas mal de travail de relecture, et en comptant mais autres additions on en arrive à 930 sources dans cette nouvelle version de Meta-Press.es (soit une croissance de +50% de la base de sources).

1. Maintenance des sources

Et non des moindres, parmi les sources ajoutées il y a tous les membres compatibles du SPIIL le Syndicat de la Presse Indépendante d’Information en Ligne, soit 132 sources indépendantes francophones pour un total de 373 sources dans la catégorie indé..

Les journaux de référence (Presse de Référence) sont désormais au nombre de 89 (et 40 pourrait encore s’ajouter prochainement vu que la page Wikipedia correspondante a été enrichie).

Ensuite on compte 386 sources fournissant leurs résultats sous la forme de flux RSS, principalement parce que c’est le comportement par défaut dans WordPress et que bon nombre de journaux en ligne utilisent ce moteur. Ce serait chouette si la vingtaine de sources utilisant SPIP pouvaient en faire de même !

Beaucoup d’illustrations de résultats ont été retrouvées parmi ces sources RSS, grâce à une astuce simple d’exploration du contenu par expression rationnelle. C’est une fin heureuse pour un élément resté plusieurs années dans ma liste de choses à faire.

Enfin, la règle filter_results s’applique désormais sur 79 sources, principalement parmi ces sources RSS (et ce nombre grandira encore avec la prochaine version). Cette règle permet d’assurer d’aucun résultat approximatif voire franchement hors sujet n’importune l’utilisateur. Toutefois, à côté de cette quête de vérité, un réglage viendra prochainement permettre de désactiver ces filtres justement pour s’intéresser aux résultats voisins des termes saisis (ce qui peut être utile quand on cherche la bonne orthographe d’un mot par exemple).

1.1. Nouveaux types de résultats : évènement et emploi

Le type de résultat évènement s’ajoute aux texte, image, vidéo et audio existants. Il aidera à chercher parmi les 49 agendas en ligne référencés dans Meta-Press.es.

Et, vraie nouveauté, le type de résultats emploi fait son apparition, avec 3 moteurs de recherche d’offre d’emploi intégrés à Meta-Press.es pour l’instant. L’actualité d’une offre d’emploi est un critère prépondérant lors d’une recherche et Meta-Press.es peut déjà rendre de bon services dans le domaine.

Ce n’est pas tous les ans que de nouveaux types de résultats sont ajoutés à Meta-Press.es alors c’est la fête.

2. Évolution dans la définition des sources

2.1. `token_url`

Une entrée token_url fait son apparition pour aider à la définition de certaines sources, elle permet de signaler une URL à charger avant chaque recherche. Cela permet aujourd’hui en pratique de choisir dans quelle langue s’effectuera la recherche, car certaines sources rangent cette information dans un cookie (qu’il faut donc mettre en place avant la recherche). Cela devrait également permettre de récupérer un jeton en amont d’une recherche pour le fournir lors de la recherche mais le cas ne s’est pas encore présenté.

2.2. `date_locale`

Une valeur spéciale est désormais reconnue pour le champs date_locale et c’est browser.

Elle signifie que les dates de cette sources sont affichées dans la langue du navigateur de l’utilisateur (et non pas dans la langue du journal par exemple).

C’est notamment le Corriere della Sera qui agit comme ça.

3. Bug dans la pagination de la liste des sources

Dans la grande liste des sources, vous pouvez choisir quelles sources interroger pour votre prochaine recherche, et ce, une par une. Toutefois, un bug remettait la pagination à zéro à chaque sélection, rendant la sélection des sources hors première page particulièrement pénible. Dans cette nouvelle version de Meta-Press.es, vous sélectionner à tout va sans changer de page.

4. Anecdotes

J’ai remarqué que la version esperanto du Monde Diplomatique sert désormais ses dates en esperanto, bravo à l’équipe de développement du site.

Moins simple à trouver, El Watan (famaux journal algérien) a carrément changé de nom de domaine, après 30 ans d’existence ! Cela crée beaucoup d’erreur 404 dans le monde… et le site est désormais accessible via : elwatan-dz.com.

Nous avons été surpi, avec les stagiaires, de constater que Mediabask, qui produit d’excellents articles dans plusieurs langues (fr, en, eus), ne permet pas de choisir dans quelle langue on effectue ses recherches ! Des résultats des trois langues arrivent à chaque fois…

Mention spéciale pour l’Otago Daily Times, dont le domaine ressemble plus à un bug dans un nom de fichier LibreOffice qu’au nom d’un prestigieux journal neo-zelandais : www.odt.co.nz.

Pour finir, El Paìs (organe de Presse de Référence espagnol) est capable de vous trouver des résultats pour :

bbbb (mais c’est une 404)
cccc (404 aussi)
ffff (et ça existe vraiment !)
vvvv (et ça existe)
xxxx (et ça existe)
zzzz (et ça existe…)

Toutes ces anecdotes ont d’abord été postées sur Mastodon et vous pouvez les retrouver via le mot-dièse : #metapress.

4.1. Hacker La Charente Libre pour ces dates

La Charente Libre, journal régional important localement, ne présente pas de date sur ces résultats de recherche et rien (dans l’interface web) ne laisse présager que les résultats soient triable par ordre chronologique.

Toutefois, s’il vous prend l’envie d’ajouter l’argument &sort=date à la fin de l’adresse de votre page de recherche et de recharger la page, c’est magique, les résultats sont triés et des dates apparaissent sur la page !

La Charente Libre semble utiliser une application web maison pour publier son journal, mais cette astuce peut sûrement s’appliquer à d’autres journaux en ligne parmi ceux listés ici.

N’hésitez pas à me faire part de vos trouvaille s’il vous prends l’envie d’essayer !

5. Fix the world

Vous retrouverez aussi des dizaines d’opportunités d’aider Meta-Press.es sans savoir programmer, mais juste en contactant les sources mentionnées pour leur demander de réparer leurs problèmes. Par exemple :

Mediapart pourrait améliorer la précision de ses recherches
Telerama.fr n’a pas de date sur ses résultats de recherche
YemenPost.net non plus
Kathimerini.gr les a enlevées
Disclose ne propose pas de recherche du tout…

Vous pouvez retrouver toute la liste ici : #fixtheworld

Version 1.8.10 : Filter results, ergonomy and source maintenance

2023-06-06T00:00:00+02:00

Index

1. Source maintenance
2. Ergonomy
3. Filter results

This release was long awaited and announces the beginning of a new development campaign.

1. Source maintenance

During this semester an intern fixed and added some sources, thank you OVSlash. Then I extensively used the source maintenance page to bring the percentage of working sources up to 95%. Well, to be true, I only added this percentage to the statistic line of test_sources.html after I updated most of the sources…

2. Ergonomy

Then the major ergonomic improvements are :

A CSS animation and a dedicated scroll bar added to long descriptions, improving the browsing and reading experience
A keep open checkbox in the news feed frame to keep it open the next time you’ll open a Meta-Press.es tab

3. Filter results

But the most exciting new feature of this release is a trick that allows to improve the accuracy of some sources. Among the sources giving approximate results, some are showing (for each results) the matching part of the text as result description.

In this case Meta-Press.es can now filter those results to keep only what really matches your search terms.

Sources tagged as "approx" (for approximative) where 98 in the previous version of Meta-Press.es and this number dropped to 55 as I checked them to up-tag the accuracy of the eligible ones (as accurate for "one word" or "many words").

Some important french and international sources are now usable in press review context such as : The Times (.co.uk), MondeDiplo.com, NouvelObs.com, Enbata.info, CanardPC.com, ActuaLitté, Folha de S.Paulo, Globo.com, Northernstar.info…

I’m happy to welcome those sources above the surface of accuracy in Meta-Press.es !

Version 1.8.10 : Résultats filtrés, ergonomie et maintenance sur sources

2023-06-06T00:00:00+02:00

Index

1. Maintenance des sources
2. Ergonomie
3. Résultats filtrés

Cette nouvelle version s’est fait attendre et elle annonce le début d’une nouvelle campagne de développement.

1. Maintenance des sources

Pendant ce semestre, un stagiaire a entrepris de réparer les sources devenues défectueuses depuis la dernière version, merci OVSlash. Je me suis également mis de la partie et le taux de sources fonctionnelles est remonté à 95%. Enfin, pour être exact, je n’ai ajouté ce taux dans les stat' de la page qu’après l’avoir atteint.

2. Ergonomie

Ensuite, les deux principales améliorations ergonomiques sont :

une animation CSS et un ascenseur de défilement dédiés aux longues descriptions de résultats
une case à cocher Garder ouvert dans l’encart des actualités pour choisir sur place si on veut que l’encart soit encore ouvert au prochain chargement d’un onglet Meta-Press.es.

3. Résultats filtrés

Dernière amélioration, mais non des moindres, cette version embarque une astuce permettant d’améliorer la précision de certaines sources. En effet, parmi les sources renvoyant des résultats approximatifs, certaines affichent (en guise de description de leurs résultats) la portion de texte contenant les termes recherchés (ou leur version approximée).

Dans ce cas, Meta-Press.es sait désormais vérifier la présence des termes de recherche et ne garder que les résultats correspondant effectivement.

Les sources étiquetées "approx" (pour approximatives) étaient 98 dans la précédente version de Meta-Press.es, et ce nombre a chuté à 55 dans cette nouvelle version. J’ai pour cela vérifié quelles sources étaient éligibles au post-traitement et ajouté les étiquettes "un mot" et/ou "plusieurs mots" suivant les cas.

D’importantes sources françaises et internationales sont donc devenues utilisables dans un contexte de revue de presse, on compte ainsi : The Times (.co.uk), le MondeDiplo.com, le NouvelObs.com, Enbata.info, CanardPC.com, ActuaLitté, Folha de S.Paulo, Globo.com, Northernstar.info…

Je suis heureux de les compter désormais parmi les sources précises de Meta-Press.es !

Conferences around Meta-Press.es at Lyon for the JdLL 2023

2023-03-14T00:00:00+01:00

After a great presentation of Meta-Press.es in Lyon last year we’ll get back to the city during the edition 2023 of the Journées du Logiciel Libre with nothing less than 2 conferences !

This event is a part of the broader french Libre en Fête manifestation from 20 of march to 2 of april.

I’ll meet you there :

2023-04-01 14:00 UTC+2 in Lyon : Financement du logiciel libre par l’Europe : 3 ans de soutien à Meta-Press.es (cultures room)
2023-04-02 13:00 UTC+2 in Lyon : Web scrapping : lessons tirées de l’intégration de 675 sources à Meta-Press.es (possibles room)

1. Free software funding via the European Commission and the NLnet : 3 years support of Meta-Press.es

Figure 1. NGI > NLnet > Meta-Press.es logos

2. Web scrapping : lessons learned from

Figure 2. Screenshot of XML parsing Error in developper tools of Mozilla Firefox

Conférences autour de Meta-Press.es à Lyon pour les JdLL 2023

2023-03-14T00:00:00+01:00

Après une présentation en bonne et due forme l’an dernier Meta-Press.es sera encore présent aux Journées du Logiciel Libre en 2023 de Lyon avec pas moins de 2 conférences !

Cette manifestation s’inscrit dans le cadre de l’opération Libre en Fête 2023 partout en France à partir du 20 mars.

Vous pourrez me retrouver ici :

2023-04-01 14:00 UTC+2 à Lyon : Financement du logiciel libre par l’Europe : 3 ans de soutien à Meta-Press.es (salle des cultures)
2023-04-02 13:00 UTC+2 à Lyon : Web scrapping : lessons tirées de l’intégration de 675 sources à Meta-Press.es (salle des possibles)

Programme complet : https://jdll.org/programme

1. Financement du logiciel libre par l’Europe : 3 ans de soutien à Meta-Press.es

Figure 1. NGI > NLnet > Meta-Press.es logos

Découvrez avec quelle simplicité et quelle efficacité la NLnet peut soutenir votre logiciel libre.

Quelques courriels, beaucoup de sérieux et des dizaines de milliers d’euros… Voilà à quoi se résume le tour de force qu’opère la NLnet en tant qu’intermédiaire entre la Commission Européenne (via son programme Next Generation Internet) et le fourmillant monde du logiciel libre.

Votre projet ouvre de nouveaux usages du net ? Il est éthiquement en logiciel libre ? Vous ne perdrez probablement pas de temps à répondre à un appel à candidature de la NLnet. C’est simple, direct et efficace… surtout en comparaison avec les 2 années de parcours du combattant pour obtenir la même chose de l’administration d’une grande région française (également décrites dans cette conférence).

2. Web scrapping : lessons tirées de l’intégration de 675 sources à Meta-Press.es

Figure 2. Capture d’écran d’un message d’erreur corriace de la console développeur de Mozilla Firefox

Florilège de bizarreries qu’on croise vraiment sur le web…

Analyser une page web à partir de JavaScript dans une WebExtension, ça avait l’air simple pourtant !

Oui, mais le serveur il répond du JSONP en fait et le content-type ment comme un patient du DrHouse ! En plus y’a d’abord une redirection et puis le charset, bah c’est pas UTF8 … T_T

Florilège de ce que l’humanité fait vraiment du web dans 64 pays et 71 langues…

2022 recap

2023-02-28T00:00:00+01:00

Index

1. Summary of 2022
2. 2023 roadmap
3. Meta-Press.es needs user feedback

1. Summary of 2022

Let’s start with some statistics.

7 big versions (for 14 releases, including bug fix and source maintainance versions) of Meta-Press.es have been published in 2022 and 12 communications were pushed on this official website.

301 commits were made by 3 people (thank you : Baignoirphe and Matthieu Rakotojaona) using 14 merge-requests on Framagit. This represents roughly a third of the 1088 commits of the project so far. So it looks like 2022 was a good year for Meta-Press.es.

The last release is counting 675 sources and it’s roughly twice the number it was in late 2021.

The main new features of the year were :

the child mode to limit in one click the features of Meta-Press.es to child compatible sources
the user feedback button to report a problem with a source
the source creation form, to easily add a new source without any programmer knowledge (currently limited to RSS sources only, like most of the WordPress based sources)
Exports now possible in CSV format also
New source list and cherry-pick source selections

But big reworks and under-the-surface improvement were also performed :

the translations are now made via Weblate (new strings to come soon)
the general purpose news are now fetched from RSS feeds (instead of the source main web page) and is now displayed with illustrations when available in the feed
Meta-Press.es uses Intl.DisplayNames for the name of languages or countries and Intl.DateTimeFormat for month numbers
creation of a dedicated source testing page (testing all sources in one click)
some end-to-end (Selenium) testing to avoid regressions in releases (WIP)

2. 2023 roadmap

2.1. From NLnet support

Figure 1. NGI0 logo

Meta-Press.es secured a third round of support from the NGI0 initiative of the European Commission, via the NLnet.

This support is again of 20k€ and is agreed for the following targets.

2.1.1. Migration to the WebExtension to manifest v3 (MV3)

"manifest v3" is an evolution of how WebExtensions have to be architectured. It introduces new concepts and removing others. Some of them are core-concepts requiring special attention and potentially big efforts and refactoring to keep an existing WebExtension working. "MV3" was due on Chromium-based browser for January 2023 but might be delayed until June.

2.1.2. Modularization: MVC refactoring (JS library/module)

Meta-Press.es has grown from 1000 to 5000 lines of code and was made as a monolithic application. A model-view-controller refactoring would allow to distribute the core independently as a JavaScript library to help reuse of it in new contexts.

As a proof of concept of the MVC refactoring a NodeJS command line interface for Meta-Press.es core library will allow to perform searches without a web browser, directly from a terminal.

2.1.3. Android version: via a Kotlin wrapper with Geckoview

There are 1000x more users of Android world-wide than users of Firefox WebExtensions. Allowing Meta-Press.es distribution through Android apps channel must increase the user base. This 1st step will produce an empty shell to inject Meta-Press.es into Android.

Then Meta-Press.es will be ran with full feature set in the empty shell, and the resulting "app" will be registered for distribution to Android users via F-Droid.org and Google Play.

2.1.4. Finish the new source form: managing HTML and JSON source responses

Meta-Press.es is open to user contribution of sources since it’s version 1.0 but contributions was only achievable to computer-science enabled people. To open this up to more users a new approach have been put in place with a semi-automatic dynamic form to simplify the task as much as possible. A 1st version of this form has already been released but it was limited to sources providing results via an RSS feed (like WordPress does). This step will allow to handle the general case (HTML responses from sources) and also JSON responses.

2.1.5. New fetching cases: need-cookies and need-token sources

With GDPR enforcement a growing number of sources started to require cookies (or other tokens) to deliver results. This implies a preliminary request to fetch the token before sending the regular search. This target will add this possibility to Meta-Press.es via a new entry in the source-scraping definition API and its documentation.

2.1.6. Qualification of approximate sources to 'one word' sources

This is another modification of the source-scraping definition API to add a post-treatment for certain sources to handle a curation of their false positive results (for the sources exposing search-keywords in result excerpts).

2.2. From Nouvelle-Aquitaine support

Figure 2. Region Nouvelle-Aquitaine banner

The french administrative region Nouvelle Aquitaine also have a free software support program called NAOS (Nouvelle-Aquitaine Open Source).

After some long and complicated administrative work (over many years) a support of 49k€ have been granted to the company Acoeuro to work on Meta-Press.es.

This funding will allow to build a business around Meta-Press.es in order to achieve self sustainability of the project.

2.2.1. Vigipress.com

The economical activity will be bared by the coming Vigipress.com web platform, that will offer paid hosting of press-reviews (private or public) with a good integration between Meta-Press.es exports and Vigipress imports. This web platform will also provide a web version of Meta-Press.es (breaking out from WebExtension corner) and other valuable services like email notifications for new search results or customer-branded PDF exports of press-reviews…

This new platform will be hosted with the help of Globenet.org, a venerable old french web hosting association which already announced this partnership.

2.3. Presence at the JdLL 2023

I applied to hold 2 conferences during the next JdLL event, the 1st and 2nd of April 2023.

I’ll be pleased to present the following subjects.

2.3.1. European funding of free software : 3 years of support to Meta-Press.es

Discover how easy it can be to get supported via the NLnet (with comparison between NLnet and the french administration).

2.3.2. Web scrapping : lesson learnt after the integration of 675 sources in Meta-Press.es

It should have been 675 newspapers (I mean : similar to each others), it was an ode to human creativity…

It should have been simple, but the server is responding JSONP, the content-type is lying like a DrHouse patient, there is a redirection in the middle and the charset, guess what, it’s not UTF-8 … T_T

Best-of what humanity is really doing over the web in 64 countries and 71 languages !

2.4. New intern

Who would have bet on the fact that so many interns would have reach Pougne-Hérisson (a small countryside place of less than 300 inhabitants) to work on the state of the art of Google News decentralized alternative ?

Soon this spring Olivier VILLAVERDE will come by Meta-Press.es headquarters in Deux-Sèvres.

3. Meta-Press.es needs user feedback

Since merely one year that the source feedback button appeared in Meta-Press.es interface, no one ever tried to report anything. The only signal I got was me testing the feature (again and again) to be sure that it works.

As you can see the Meta-Press.es project is going very well, but I would mitigate this observation as the current main weakness is lacking users. Despite more than one download a day, the user statistics from Mozilla remain at near to 700 users on the good days since two years.

So we’re loosing a lot of users after their download, they try the tool but don’t keep it.

If you ever tried Meta-Press.es but got disappointed by something please send me an email to detail what was not at the level of your expectations (and might be improved).

The address is : contact@ <project-name>

2022 recap

2023-02-28T00:00:00+01:00

Index

1. 2022 en résumé
2. perspectives pour 2023
3. Meta-Press.es a besoin de retour utilisateur

1. 2022 en résumé

Commençons par quelques statistiques.

Il y a eu 7 grosses sorties (pour un total de 14 nouvelles versions si on compte aussi les corrections de bogue et la maintenance des sources) en 2022 et 12 communications sur ce site.

301 commits ont été poussés par 3 personnes (merci à : Baignoirphe et Matthieu Rakotojaona) via 14 merge requests sur Framagit. Cela représente à peu près un tier des 1088 commits qui compte le projet. 2022 a donc été une bonne année pour Meta-Press.es.

La dernière version publiée affiche 675 sources ce qui est grosso modo le double du nombre de sources accessibles fin 2021.

Les principales fonctionnalités ajoutées en 2022 furent :

le mode enfant, qui limite d’un clic les sources de Meta-Press.es à celles approuvées pour les enfants
le bouton de signalement d’une source défectueuse
le formulaire de création de sources, pour ajouter facilement sa source préférée même sans connaissance particulières en programmation (pour l’instant encore limité aux sources servant leurs résultats sous forme de flux RSS comme c’est le cas avec WordPress)
les exports de résultats au format CSV
la nouvelle liste des sources permettant de les parcourir et de les choisir une par une

De gros changement ont également été opéré en profondeur dans le code :

la prise en charge des traductions via Weblate (et de nouvelles chaînes de caractères arriveront bientôt)
la récupération des actualités à partir des flux RSS des sources (au lieu de leur page d’accueil qui bouge tout le temps) et qui comportent désormais une illustration lorsqu’elle est disponible dans le flux
l’utilisation de Intl.DisplayNames pour les noms de pays et de la langue ainsi que de Intl.DateTimeFormat pour récupérer les numéros de mois à partir de leurs noms
la création d’une page dédiée au test des sources, toutes d’un coup (erreur, avertissements, problèmes réseaux…)
les premiers tests de bout en bout (via Selenium) pour éviter les régressions entre deux versions (travail encore en cours)

2. perspectives pour 2023

2.1. Grâce au soutien financier de la NLnet

Figure 1. NGI0 logo

Meta-Press.es a obtenu, pour la 3e fois, une aide via l’initiative NGI0 de la Comission Européenne, piloté par la NLnet.

Il s’agit à nouveau de 20k€ et cela en vue de financer les 8 développements suivants.

2.1.1. Migration de la WebExtension au format manifest v3 (MV3)

Le "manifest v3" est une évolution de la manière d’organiser une WebExtension. Cette version imposée par Google introduit de nouveaux conceptes et en retire d’autres. Parmis les conceptes retirés certains sont utiles à Meta-Press.es et risquent de nécessiter de gros efforts pour pouvoir s’en passer. "MV3" était initialement annoncé pour janvier 2023 mais a été repoussé à juin 2023 par Google, alors que Mozilla a sorti en janvier sa propre implémentation sapant du même les efforts de Google pour réduire via le MV3 l’efficacité des bloqueurs de publicité.

Voir :

2.1.2. Modularisation : réorganisation en Modèle-Vue-Controleur

Meta-Press.es est passé d’un petit projet de 1000 lignes de JavaScript à 5000 lignes de code, alors que son organisation est restée monolithique. Cette réorganisation permettra d’isoler un noyau de fonctionnalités sous la forme d’un module JavaScript indépendant auquel différentes interfaces pourront se greffer.

Un client en ligne de commande servira de preuve de concept à la réorganisation MVC. Il devra permettre de réaliser des recherches en dehors d’un navigateur web, en listant les résultats directement dans le terminal.

2.1.3. Version Android: via Geckoview dans une coquille vide en Kotlin

Il y a probablement 1000x d’utilisateurs d’Android dans le monde qu’il n’y a d’utilisateurs de Firefox ayant installé une WebExtension. Permettre à Meta-Press.es d’être distribué sous la forme d’une application Android devrait mécaniquement augmenter son nombre d’utilisateurs.

Cette première étape consiste à créer un conteneur vide permettant l’exécution d’une WebExtension via Geckoview.

Puis il s’agira de faire fonctionner une version complète de Meta-Press.es dans la précédente coquille vide, et à enregistrer cette nouvelle "app" Android Meta-Press.es auprès des principaux canaux de distribution : F-Droid.org et Google Play.

2.1.4. Terminer le formulaire d’ajout de sources (gestion des réponses HTML et JSON)

Meta-Press.es permet la contribution de nouvelles sources par les utilisateurs depuis sa version 1.0, mais les contributions n’étaient en pratique possible que pour les développeurs. Pour permettre à tous les utilisateurs d’ajouter leurs sources favorites à Meta-Press.es, un formulaire semi-automatique a été mis en place. Il vise à simplifier la tâche au maximum. Une première version de ce formulaire a déjà été publiée mais elle est limitée aux sources fournissant leurs résultats sous la forme de flux RSS (comme WordPress). Il s’agira donc ici d’ajouter d’autres cas de figure au formulaire : les réponses servies sous forme de page web ou d’objet JSON.

2.1.5. Gérer le besoin de cookies de certaines sources

Avec l’application du RGPD un nombre grandissant de sources imposent désormais la présence de leur cookie pour pouvoir faire une recherche. Il faut donc que Meta-Press.es apprenne à récupérer ces cookie (et autres jetons) via une requête préliminaire pour les sources les plus pénibles. Ceci implique une évolution de l’API définissant l’intégration des sources (ainsi que de sa documentation).

2.1.6. Re-qualification de certaines sources approximatives en sources précises sur 'un mot'

Il s’agit d’un autre ajout à l’API d’intégration des sources à Meta-Press.es afin d’ajouter un post-traitement à certaines sources pour ne garder que leurs résultats contenant effectivement le mot clé recherché. Certaines sources garnissent en effet leurs résultats d’un extrait contenant les mots clés recherchés et il est alors facile de vérifier leur présence.

2.2. Grâce au soutien financier de la Région Nouvelle-Aquitaine

Figure 2. Région Nouvelle-Aquitaine bandeau

La Région Nouvelle-Aquitaine dispose d’un programme de financement du logiciel libre innovant nommé NAOS (Nouvelle-Aquitaine Open Source).

Après plusieurs années de démarches administratives compliquées un financement de 49k€ a été accordé à l’entreprise Acoeuro pour travailler sur Meta-Press.es.

Ce financement permettra de développer un modèle économique autour de l’outil Meta-Press.es dans le but de le rendre auto-suffisant.

2.2.1. Vigipress.com

Une nouvelle plateforme web sera ainsi développée afin de proposer un service payant d’hébergement de revues de presses (publiques ou privées) facilement alimentables par Meta-Press.se. Cette plateforme proposera également à ses utilisateurs une version web de Meta-Press.es (rendant l’outil accessible à de nouveaux publics) ainsi que d’autres services à valeur ajoutée comme des notifications par courriel de nouveaux résultats ou une édition PDF personnalisée (avec logo) des revues de presse.

Cette nouvelle plateforme s’appellera Vigipress.com et sera hébergée par Globenet.org, un hébergeur associatif français vénérable et reconnu. Ce partenariat fut annoncé dans sa lettre d’information de novembre 2022.

2.3. Présence aux JdLL 2023

J’ai proposé deux conférences pour la prochaine édition des JdLL les 1 et 2 avril prochain.

Les deux conférences ont été retenues et j’aurais donc la chance d’y présenter les sujets suivants.

2.3.1. Financement du logiciel libre par l’Europe : 3 ans de soutien à Meta-Press.es

Découvrez avec quelle simplicité et quelle efficacité la NLnet peut soutenir votre logiciel libre.

2.3.2. Web scrapping : retrospective et lessons tirées de l’intégration de 675 sources à Meta-Press.es

Ça aurait dû être 675 journaux (qui se ressemblent), mais ça s’est transformé en ode à la créativité humaine !

Florilège de bizarreries qu’on croise vraiment sur le web.

Analyser une page web à partir de JavaScript dans une WebExtension, ça avait l’air simple pourtant !

Oui, mais le serveur il répond du JSONP en fait et le content-type ment comme un patient du DrHouse ! En plus y’a d’abord une redirection et puis le charset, bah c’est pas UTF8 … T_T

Florilège de ce que l’humanité fait vraiment du web dans 64 pays et 71 langues !

2.4. Nouveau stagiaire

Qui aurait parié que tant stagiaires seraient passés par Pougne-Hérisson (un petit village de moins de 300 irréductibles Deux-Sèvriens) pour travailler sur l’état de l’art de l’alternative décentralisée à Google Actualités ?

Ce printemps pourtant Olivier Villaverde se rendra au quartier général de Meta-Press.es pour un stage en immersion facilitée.

3. Meta-Press.es a besoin de retour utilisateur

Depuis presqu’un an que le bouton de signalement d’une source défectueuse est apparu sur l’interface utilisateur de Meta-Press.es, personne n’a jamais cliqué dessus. Le signal que j’ai reçu c’était moi qui testais le truc (encore et encore) pour vérifier que ça fonctionne.

Comme vous pouvez le constater à la lecture de ce billet, le projet Meta-Press.es va très bien, mais il faut mitiger un peu cette observation. En fait la principale faiblesse du projet aujourd’hui c’est son faible nombre d’utilisateurs. Avec plus d’un téléchargement par jour, les statistiques d’utilisation fournies par Mozilla montrent que le nombre d’utilisateurs quotidien reste à 700 (les bons jours) depuis 2 ans.

Il y a donc un grand nombre d’utilisateurs qui sont perdus en route… ils téléchargent, testent, mais ne gardent pas.

Si vous vous reconnaissez dans cette description, ou si ayant testé Meta-Press.es vous la moindre remarque à formuler (vous auriez voulu ça, ou autre chose) je vous encourage vivement à me parler de votre expérience par courriel. Il y a quelque chose à améliorer quelque part…

L’adresse c’est : contact@ <project-name>

Formation Meta-Press.es online and on demand

2022-11-10T00:00:00+01:00

New concept, on demand Meta-Press.es formations via : https://meet.jit.si/meta-press.es

Get in touch by email (contact@…) via Mastodon @metapress, via Framagit.org, or via IRC (#[email protected]">[email protected])…

Let’s setup a rendez-vous !

2 formats possible :

20 minutes (you already have questions)
40 minutes (you just start)

Formation "add sources" to Meta-Press.es :

20 min (all by mouse, but for RSS sources only)
40 min (required knowledge in JSON and CSS)

It’s free, but you can support the project via Liberapay or HelloAsso.

Formation Meta-Press.es en ligne et à la demande

2022-11-10T00:00:00+01:00

Nouveau concept, les formations Meta-Press.es à la demande sur : https://meet.jit.si/meta-press.es

Faîtes-moi signe par courriel (contact@…) via Mastodon @metapress, via le Framagit, sur IRC (#[email protected]">[email protected])…

Choisissons un rendez-vous et c’est parti !

Deux formats disponibles :

20 minutes (vous avez des questions)
40 minutes (en partant de rien)

Formation "ajout de sources" à Meta-Press.es :

20 min (tout à la souris mais limité aux sources RSS pour l’instant) ;
40 min (compétences en JSON et CSS requises)

C’est gratuit, mais vous pouvez soutenir le projet via Liberapay ou HelloAsso.

Version 1.8.9 : Ergonomy, sources and maintenance

2022-10-31T00:00:00+01:00

Index

1. Got plans for October?
2. About sources
3. Ergonomy
4. Thanks to the NLnet
5. Some clouds in the sky
6. You can help the project, with just an email

This is an unexpected new release, made possible by the support of the NLnet, that covered the elapsed year and extended one more month.

Mozilla’s statistics show that around 50 daily users are stuck since 2 years with the version 1.6. Meta-Press.es have been greatly improved since. To get the lastest upgrades you might have to activate auto-upgrades for this addon or remove it to re-install a newer one from addons.mozilla.org.

1. Got plans for October?

Date: Wed, 5 Oct 2022 14:55:22 +0200
From: Jos van den Oever <…>
Subject: Got plans for October?
As we make up the balance at the end of NGI0 Discovery, we still have a bit of
budget left that we’d be glad to put to good use — but with less than a month
to spend it.

Given your project’s proven productivity, we thought you might be willing and
able to still complete a planned task; or to add another task to your project.

Are you interested ?

I just spent months working hard to complete all the due tasks of this 2nd round of support, and well I was feeling sorry regarding some unfinished business… The 150 broken sources that the new test source procedure was reporting for instance.

So, I gladly accepted to post-pone everything for one more month.

And here we are, this new version of Meta-Press.es is delivered with 667 tested working sources (against ±450 of the previous version). No secret : sources were fixed one by one.

2. About sources

I got some help from Benoit Lanceau in this task, as he spent 6 weeks of internship with me at Pougne-Hérisson. He also added 40 more languages for GlobalVoices.org. It’s this kind of initiatives that extends the country and languages coverage of Meta-Press.es to 64 countries and 71 languages !

This version also brings its batch of new sources : - for kids sources (kids.keskonfai.com ; science-et-vie-junior.fr …) - independant sources (mostly via the automated source creation form : Causette.fr, Vert.eco, Chut.media, fij.ng, LeQuotidien.re, Pieuvre.ca…) - Mobilizon sources

And for this last point I thanks Matthieu Rakotojaona. He selected the 10 biggest instances of Mobilizon and provided their definition JSON object.

3. Ergonomy

I fixed a bunch of declared bugs. Don’t hesitate to declare more of them via Framagit.

I worked on the ergonomy fixing the appearance of the timezone widget in the settings, or adding a "clear input" cross button in the main search input…

4. Thanks to the NLnet

I want to thanks the NLnet for it’s support. They will open more calls, I can testify that you won’t loose your time trying this application if you develop good internet related libre software.

I can help you with some details if you want to apply but feel shy about it.

With the NLnet : one short online form, a few emails exchanged with meaningful content and you’re set for a year or more.

5. Some clouds in the sky

To finish, some clouds appeared in the sky of Meta-Press.es… more and more sources are trying to protect them against DDOS attack via their search features, requiring a cookie or a token to respond. This we’ll be able to deal with, it just requires some more code.

But some sources also started to remove their online search feature or to make it available only for registered users, and this represent a threat.

6. You can help the project, with just an email

To finish, there is a lot of sources that should be contacted to signal them that they miss dates on their search results (like Arte.tv, Reflets.info, Regards.fr, Socialter.fr, CourrierDesBalkans.fr or YemenPost.net, and a lot of others…), or that they are missing a search feature or it’s broken (like Philstar.com) or it’s not providing date sort for results (like Marianne.net, Nation.co.ke, Timesofindia.Indiatimes.com, Haaretz.com…) or they provide content in several languages but a search feature only for the main language (OpenDemocracy.net, cn.helsinkitimes.fi, …).

All of this is listed here : incompatible_sources.

Reaching sources requires just to write an email, it’s accessible to non-programmers, please help me on this.

Oh, and I also need help with arab (urdu ; farci ; arz) RTL dates and month name parsing (for instance with Aawsat.com). Don’t hesitate to reach me out about it.

Version 1.8.9 : Ergonomie, sources et maintenance

2022-10-31T00:00:00+01:00

Index

1. Vous avez des plans en octobre ?
2. Point sources
3. Ergonomie
4. Remerciement à la NLnet
5. Des nuages dans le ciel
6. Vous pouvez aider le projet, avec un simple courriel

Voici une nouvelle version qui n’était pas prévue, rendue possible grâce ou soutien de la NLnet, qui a couvert l’année passée et ce mois de plus.

Les statistiques d’usage de Meta-Press.es calculées par Mozilla révèlent qu’environ 50 "utilisateurs" quotidiens sont bloqués depuis deux ans à la version 1.6. Meta-Press.es a connu de grandes améliorations depuis. Pour en profiter il faut soit activer les mises à jour automatiques de l’extension, soit la désinstaller et la ré-installer (à partir d’addons.mozilla.org).

1. Vous avez des plans en octobre ?

Date: Wed, 5 Oct 2022 14:55:22 +0200
From: Jos van den Oever <…>
Subject: Vous avez des plans en octobre ?
Après avoir fait le compte du budget NGI0 Discovery, nous avons encore un peu
de budget disponible et nous aimerions le mettre tout de même à profit, mais
nous n'avons qu'un moins pour le dépenser.

Vu la productivité de votre projet, nous nous sommes dit que vous voudriez peut
être (et pourriez) compléter ou ajouter d'autres tâches pour votre projet.

Êtes-vous intéressé ?

J’ai justement passé les derniers mois à travailler dur pour compléter les tâches prévues lors de ce second soutien de la NLnet à Meta-Press.es, et j’étais justement un peu déçu de devoir laisser certaines choses en plan… comme les 150 sources rapportées comme cassées pour la nouvelle procédure de test.

Alors j’ai joyeusement rempilé pour un mois, décalant à nouveau toute autres activités en cours.

Et nous y voilà, cette nouvelle version de Meta-Press.es est livrée est avec 667 sources fonctionnelles testées (contre ±450 pour la précédente version). Et il n’y a pas de secret : les sources ont été réparées, une par une.

2. Point sources

J’ai eu un peu d’aide pour ce faire de la parte de Benoit Lanceau qui a passé un total de 6 semaines de stage avec moi à Pougne-Hérisson. C’est aussi lui qui a ajouté 40 nouvelles langues pour la source GlobalVoices.org. C’est ce genre d’initiatives qui arrive encore a étendre la couverture de langues et de pays de Meta-Press.es, et nous en sommes donc à 64 pays et 71 langues !

Cette nouvelle version apporte également son lot de nouvelles sources :

pour enfant (avec kids.keskonfai.com ; science-et-vie-junior.fr …)
indépendantes (principalement via le formulaire de création automatique de sources : Causette.fr, Vert.eco, Chut.media, fij.ng, LeQuotidien.re, Pieuvre.ca…)
Mobilizon

Et pour ce dernier point je remercie chaleureusement Matthieu Rakotojaona qui a sélectionné les 10 plus grosses instances de Mobilizon et a fourni leur définition.

3. Ergonomie

J’ai sinon réparé un paquet de bugs déclarés sur le Framagit, n’hésitez pas à en rapporter d’autres.

J’ai travaillé sur l’ergonomie, en réparant l’apparence du sélecteur de fuseau horaire dans les réglages ou en ajoutant un bouton pour vider le champs de recherche d’un clic…

4. Remerciement à la NLnet

Je tiens vraiment a remercier la NLnet pour son soutien.

Ils ouvriront bientôt de nouveau appels à projets et je peux témoigner qu’on ne perds pas son temps à candidater quand on développe du logiciel libre pour internet.

D’ailleurs je peux également vous aider à cadrer votre candidature si la démarche vous intimide encore.

Avec la NLnet, c’est : un petit formulaire en ligne, quelques bons courriels échangés et en route vers une année de développement ! (voire plus)

5. Des nuages dans le ciel

Pour finir, j’ai vu apparaitre quelques nuages dans le ciel dégagé de Meta-Press.es récemment… en effet, de plus en plus de sources essayent de se protéger contre des attaques en déni de service opérées via leur fonctionnalité de recherche en ligne. Elles imposent par exemple la présence d’un jeton (ou d’un cookie) pour fournir des réponses. Ça, ce n’est pas encore très grave, ça va demander un peu plus de code mais ça reste accessible.

D’autres sources commencent à réserver leur fonctionnalité de recherche en ligne à leur abonnés… et là, il reste à espérer que ça ne va pas se généraliser.

6. Vous pouvez aider le projet, avec un simple courriel

Pour finir, il y a plein de sources qui devraient être contactées pour leur signaler que leur recherche est cassée par exemple (comme le Philstar.com) ou qu’il n’y a pas de date sur leurs résultats de recherche (comme Arte.tv, Reflets.info, Regards.fr, Socialter.fr, CourrielDesBalkans.fr ou le YemenPost.net) ou encore qu’ils n’offrent pas de tri par date des résultats (comme Marianne.net, Nation.co.ke, TimesOfIndia.Indiatimes.com, Haaretz.com…) ou enfin qu’ils fournissent du contenu dans plusieurs langues, mais que leur recherche ne débouche que sur leur langue principale (comme OpenDemocracy.net ou cn.helsinkitimes.fi, …).

Toutes ces anomalies à faire corriger sont listées ici : incompatible_sources.

Contacter ces sources ne demande qu’un courriel, c’est accessible au non-programmeurs et j’ai besoin de votre aide sur ça.

Oh et puis tant que j’y suis, j’ai également besoin d’aide sur les dates en langues arabes (Urdu, Farci, Égyptien) écrites de droite à gauche et avec des déclinaisons dans les noms de mois (par rapport à ce que Firefox fourni). N’hésitez pas à me contacter si vous pouvez m’éclairer à ce propos.

aawsat.com est une source qui propose des actualités en "Arabe", Urdu, Farci…

Or, autant j'ai réussi à gérer les déclinaisons de mois du Wikipedia Russe, autant pour le Urdu j'arrive à attraper l'année, et pour l'instant, au mieux, le mois de mars… mais surtout je patauge dans mon manque de culture sur ces langues (la façon dont les mois sont déclinés) et la façon dont Firefox gère ce qui s'écrit de droite à gauche.

Besoin d'aide…

30 oct. 2022, 12:20, https://pouet.chapril.org/web/@metapress/109257189684440419

Version 1.8.7 : Mobilizon, source testing, end-to-end testing

2022-09-30T00:00:00+02:00

Index

1. Source testing
2. End to end testing

Meta-Press.es slowly acquires more maturity, for this new version the focus was on : testing.

testing of all the sources
testing of all the features

But that’s not all, quite some bugs where corrected and following the discussions with Code Lutin’s crew met in Nantes earlier this month, a new source was contributed : Mobilizon !

You can find it in the Agenda source type, and this 1st instance is opening the door for the 88 known instances of Mobilizon, that will soon join the 27 instances of Demosphere, the AgendaMilitant.org, while we still wait for the AgendaDuLibre.org to implement a full-text search.

Users reported that the v1.8.8 was opening the Welcome tab at each Firefox start… It’s fixed with version 1.8.8.1. (And yes : the v1.8.8 is in fact the v1.8.7 because of a numbering mistake…).

1. Source testing

A source testing feature existed, made by Christopher Gauthier, it was able to verify that all the sources were still reachable and giving results. We tried many approaches for this first version and it was slow, running in around 600 seconds for 300 sources.

The new version keeps most of the presentation improvement made by Christopher over the 1st iteration, but I simplified a lot of the operations. I, more or less, removed 1000 code lines from the main page JavaScript and got it into separate files, keeping around 300 lines.

Before, it was needed to change some Firefox settings (to allow it to open one tab by source to test). Now it’s just a page to visit and a button to click. All the sources are tested at once, in the same tab, with the same word. Because there is one magic word that at least 75% of all the sources are responding to… and it’s « Europe ». (yes, some newspapers did not spoke about COVID, at all ; and yes, I have 25% of the sources to fix).

This new version of the test procedure runs in 1'30" with a recent Firefox (it’s 3x time slower with the ASAN version of Firefox).

I tested various browsers with no noticeable differences in speed. Firefox is regularly the fastest WebExtension supporting browser in the world according to this test.

One funny point to finish : there are groups of sources hosted on the same web server. It can be different languages of the same newspapers (Euronews), or a group of local newspapers (Dauphiné libéré and its numerous extends) or even already just the image and video versions of the same source (ANSA). And they fail when queried all at once by the source testing procedure. I guess that when their common server sees 10 requests from the same IP within a few milliseconds, it hangs up the connexions.

Fortunately, Firefox introduced a DNS handling API for WebExtensions about a year ago. So IPs of the sources are collected prior to send queries and a delay is added for sources sharing their IP. This improves the overall Meta-Press.es behavior and this need would have been difficult to spot without this test procedure.

Bad web browsers don’t have support for DNS handling (all the others) and I’m left with the shuffling of the source list and a static delay between each sources. To be true, as it takes around 50ms to lookup for a domain IP results are comparable…

But regarding this core Meta-Press.es need, Firefox is also shinning world wide.

Figure 1. Capture of the source testing matrix result.

2. End to end testing

I should have done it before, as it would have avoid quite some regressions… (regarding one-word / many-words tag auto-selection for instance, reported on Mastodon and fixed with this release)

I chose Selenium for this over Karma to be able to click on JavaScript alerts, and over Puppeteer also to be able to run the tests in several browsers.

I used a bit of Python to manipulate Selenium (which is made of Java) and needed some JavaScript too.

I did only put the basis of what will still be a long journey to achieve a 100% test coverage. But we’re heading to it, and we already have a 100% coverage for internal image loading, internal links loading and static external links loading. This looks like something basic, everyone needs this, but it’s not easy to achieve. To start with something it required external dependencies (Selenium, Python-Selenium, Geckodriver…) and a combination of Python and JavaScript code.

Then I was left with one question:

Why is #Selenium so famous ?
Ok, it can open a headless Firefox and execute some JavaScript in.
But it can't get you JavaScript exceptions back.
It can't get you HTTP status.
It can't get you span text if an alert is open.
It can't click on a browser permission popup.
What are we left with ? Be water.

- @[email protected]">[email protected] 30 septembre 2022 12:32, https://mamot.fr/@Siltaer/109087368503328477

To manage to get a reliable behavior from Selenium, you need to wait until all the JavaScript of your web page loads. This is not something Selenium provides. I got 2 methods working for this : setting a CSS class on the body HTML tag (for instance) of your web page, via JavaScript, when it finishes to load, or setting a JavaScript variable in the window object and wait for it from the Selenium side.

Then, Selenium can’t tell me if an image is loaded or not. So I had to figure out how to tell this using JavaScript code, injected or called from Selenium.

Here are two ways to find out if an image loaded or not :

is the image having a non-zero .naturalWidth property ?
is the image supports a call to .decode() ?

The good point is : you don’t need a side request to get the information.

But you need those to tell if the links are broken or not (indeed).

As ranted in the Mastodon toot, Selenium won’t let you access the HTTP status code of a loaded page.

So lets try with JavaScript. It works great for WebExtension internal links. But external links are blocked by CORS policy. So those other links are to be tested from the Python driver script, but with a side request that Selenium ignores about (and deal with your error reporting to keep it homogeneous).

I pass on the genuine bugs that you’ll discover meanwhile… (exhaustively testing stuff)

And eventually it runs and reports no errors : so much emotions in front of this new lovely kind of "nothing".

It will be a long journey to write the tests of all the settings, one by one…

Version 1.8.7 : Mobilizon, test des sources et test de bout en bout

2022-09-30T00:00:00+02:00

Index

1. Test des sources
2. Test de bout en bout

Meta-Press.es gagne progressivement en maturité, ainsi pour cette nouvelle version l’objectif était d’avancer sur les tests :

test de toutes les sources ;
test de toutes les fonctionnalités.

Mais ce n’est pas tout, un certain nombre de bugs ont été corrigés et les discussions menées durant les Escales du Libre à Nantes un peu plus tôt ce mois-ci avec les employés de Code Lutin ont abouti à la contribution d’une nouvelle source : Mobilizon !

Vous pouvez la retrouver parmi les sources de type Agenda et cette 1ère instance ouvre la voie pour les 88 autres instances de connues de Mobilizon, qui vont ainsi rejoindre les 27 instances de Demosphere ainsi que l’AgendaMilitant.org, alors qu’on attend toujours que l’AgendaDuLibre.org implémente une recherche textuelle globale…

Des utilisateurs ont rapporté un problème avec la fenêtre de bienvenue dans la v1.8.8, qui s’ouvre à chaque lancement de Firefox. C’est corrigé avec la version 1.8.8.1. (et oui : la v1.8.8 c’est en fait la v1.8.7, à cause d’une petite erreur de numérotation)

1. Test des sources

Une procédure de test des sources existait déjà, créée par Christopher Gauthier, permettant de vérifier que les sources étaient encore joignables et qu’on savait lire leurs résultats. Cette procédure était le fruit de nombreux essais et se révélait lente, requérant environ 600s pour tester 300 sources.

Cette nouvelle version conserve la présentation élaborée (et améliorée) avec Christopher, mais j’en ai simplifié le fonctionnement. Des 1000 lignes de JavaScript retirées du fichier principal, j’en ai gardé environ 300, réparties dans plusieurs fichiers.

De plus, avant il fallait changer un réglage interne de Firefox (pour permettre d’ouvrir un onglet par source à tester), alors que maintenant ce n’est qu’une page à visiter et un bouton à cliquer. Toutes les sources sont désormais testées en même temps, dans le même onglet, avec le même terme de recherche (pour l’instant). En effet, il existe un mot magique qu’au moins 75% des sources ont utilisé, et ce n’est pas COVID ! Mais « Europe ». (et oui, j’ai environ 25% des sources à réparer en l’état).

Cette nouvelle version de la procédure est bouclée en 1'30" avec un Firefox récent et en 1er lancé, quand les sources mettent du temps à répondre parce que la recherche n’est pas en cache. (c’est environ 3x plus lent avec un Firefox nightly ASAN).

J’ai testé cette procédure sur différents navigateurs sans noter de différence visible dans les résultats, ni concernant la durée d’exécution. Firefox est même régulièrement le navigateur web supportant les WebExtensions le plus rapide du monde, d’après ce test.

Une anecdote pour finir : il y a des groupes de sources hébergées sur un même serveur. Cela peut être les différentes langues d’un même journal (Euronews), un groupe de journaux locaux rachetés par une même holding (Dauphiné libéré et ses nombreux extends), ou déjà rien que les versions image et vidéo d’un grand journal (ANSA). Et malheureusement ces sources ressortent en erreur quand on lance la procédure de test. J’imagine que le serveur voyant arriver 10 requêtes en même temps (à quelques millisecondes d’intervalle) en provenance d’une même IP, s’empresse de raccrocher les connexions.

Fort heureusement Firefox a récemment introduit une nouvelle API de résolution de domaine pour les WebExtensions (il y a moins d’un an). Ainsi, il est possible de collecter les adresses IP des sources avant de lancer les requêtes et d’ajouter un délais pour celles qui partiront vers le même serveur. Au final ça améliore le fonctionnement le plus central de Meta-Press.es et il aurait été difficile de remarquer le besoin sans coder une cette procédure de test des sources.

Évidemment, les mauvais navigateurs web ne supportent pas encore cette API de gestion de DNS (c’est à dire tous les autres navigateurs web) ce qui oblige à chercher un palliatif sous la forme d’un mélange aléatoire de la liste des sources à interroger et de l’ajout d’un délais fixe entre chaque requêtes.

À vrai dire, vu que la résolution d’un domaine via Firefox prends quelques dizaines de millisecondes, les résultats des deux méthodes sont équivalents…

Mais à nouveau, concernant cet élément fondamental du fonctionnement de Meta-Press.es, Firefox se distingue mondialement.

Figure 1. Capture of the source testing matrix result.

Force est de constater qu’une exposition prolongée au défragmenteur de Windows durant l’enfance laisse des séquelles durables…

2. Test de bout en bout

Que ne m’y suis-je mis plus tôt ? Ça aurait évité des régressions, comme celle concernant la sélection automatique des sources sachant chercher un mot ou plusieurs mots, comme il a été rapporté sur Mastodon et corrigé pour cette version.

J’ai utilisé Selenium pour implémenter ces tests, car on ne peut pas cliquer sur une fenêtre modale d' alert avec Karma, et que Puppeteer est en plus limité à un seul navigateur web.

J’ai utilisé un peu de Python pour manipuler Selenium (une bibliothèque de fonction écrite en Java) et eu besoin de pas mal de JavaScript aussi.

Seules les bases de ce grand chantier ont été jetées et un long chemin s’annonce pour arriver à une couverture fonctionnelle intégrale. M’enfin on est déjà à une couverture de 100% de la vérification du chargement des pages, des images, et des liens codés en dur (pas ceux liés aux sources, qui sont testées indépendamment… Vous ai-je parlé de la nouvelle procédure de test des sources !?).

Tester si les images se chargent ou si les liens sont morts pourrait sembler basique. Tout le monde à besoin de ça. Mais non, ce n’est pas évident à mettre en place… Pour commencer la solution s’appuie sur des dépendances (Selenium, Python-Selenium, Geckodriver…) et sur une combinaison de Python et de JavaScript pour piloter l’ensemble.

Et je me suis rapidement senti seul, avec une dernière question en tête (librement traduite) :

 Pourquoi est-ce que #Selenium est si célèbre ?
D'accord ça ouvre un Firefox sans fenêtre et y exécute du JavaScript dedans,
Mais ça ne retourne pas les exceptions du JavaScript !
Ça ne retourne pas les codes de réponse HTTP.
Ça ne peut pas lire le texte d'un span si une fenêtre modale est ouverte.
ça ne peut pas cliquer sur les fenêtres de demande de permissions…
Qu'est-ce qu'il nous reste finalement ? Un gros besoin de créativité.

- @[email protected]">[email protected] 30 septembre 2022 12:32, https://mamot.fr/@Siltaer/109087368503328477

Pour obtenir un comportement rationnel de Selunium, il faut attendre que les pages soient complètement chargées, JavaScript compris. Mais ça, c’est encore quelque chose que Selenium ne propose pas. J’ai trouvé deux méthodes pour attendre l’exécution du JavaScript : faire placer par le JavaScript, et en fin de chargement, une classe CSS sur la balise body de la page web par exemple, ou déclarer une variable dans l’objet window et attendre qu’elle soit définie côté Selenium.

Ensuite, Selenium ne sait pas dire si une image a bien été chargée. J’ai donc dû trouver un moyen de faire ça avec du JavaScript, injecté ou appelé depuis Selenium.

Voici deux méthodes pour découvrir si une image a bien été chargée :

est-ce que sa propriété .naturalWidth vaut 0 ? (et alors c’est un échec de chargement)
est-ce que l’image supporte un appel à la fonction .decode() ? (si l’image lance une exception parce qu’elle n’a rien à décoder, ce n’est pas bon signe)

Un bon point c’est qu’il n’y a pas besoin de requêtes additionnelles pour obtenir l’info.

Mais on a par contre évidemment besoin de requêtes additionnelles pour déterminer si les liens sont bons (ou cassés).

Comme signalé dans le pouet sur Mastodon, Selenium ne peut pas fournir les codes HTTP de chargement des pages. On peut obtenir cette info en JavaScript, mais seulement pour les liens internes, car on se heurte à la politique CORS dès qu’on vise un autre domaine. Alors pour les liens externes, on repasse côté Python et on lance des requêtes additionnelles indépendantes de Selenium (et on s’arrange pour homogénéiser l’affichage des erreurs).

Je passe sur les découvertes d’authentiques bugs découverts chemins faisant (vu qu’on s’est mis à tester des choses de manière exhaustives…).

Et alors on a une chance d’arriver enfin à faire tourner les tests sans afficher d’erreur dans la console : beaucoup d’émotion face à cette ravissante nouvelle sorte de "rien".

Ça va être un long chemin pour coder les tests de tous les réglages, un par un…

Free software "stopovers" in Nantes: new presentation of Meta-Press.es

2022-09-14T00:00:00+02:00

A day of discussions not to miss out !

The Free software "stopovers" (ex- Regional Meetings of Free softwares) are targeted at IT crowds and IT businesses to find answers about technical and functionnal problems.

The Free software "stopovers" are the occasion to meet sysadmins, small and mid-size collectivities, industries and enterprises using Free softwares in addition to local service providers.

https://eventyay.com/e/d78c8bb0

Meta-Press.es, the alternative to GAFAM that allows to explore the online press will be presented during this regional event.

The presentation is scheduled at :

2022-09-20 11:00 UTC+2 in Nantes: more info via the event web site

The presentation will be a good occasion de demonstrate the new features such as : the source list allowing to cherry-pick, the child mode, the illustrated news loading, the source creation form…

Escales du Libre à Nantes : nouvelle présentation de Meta-Press.es

2022-09-14T00:00:00+02:00

Une journée d'échanges à ne pas manquer !

Les Escales du Libre (anciennement Rencontres Régionales du Logiciel Libre) s'adressent aussi bien aux services informatiques qu'aux services métiers qui trouveront des réponses à leurs problématiques techniques et besoins fonctionnels.

Les Escales du Libre sont ainsi l'occasion de rencontrer des administrations, collectivités, industries et entreprises ayant déployé des solutions libres ainsi que les prestataires locaux.

https://eventyay.com/e/d78c8bb0

Meta-Press.es, l’alternative aux GAFAM pour explorer la presse en ligne, sera présentée lors de cet évènement régional.

La présentation est prévue le :

2022-09-20 11:00 UTC+2 à Nantes : plus d’info sur le site de l’évènement

Elle sera assortie d’une démonstration des nouvelles fonctionnalités : liste des sources pour sélection une à une, mode enfant, le chargement des gros titres illustrés, le formulaire de création de source…

Version 1.8.6 : Illustrated headlines from RSS feeds and child mode

2022-08-13T00:00:00+02:00

Index

1. Child mode
2. RSS news feeds
3. Fancy or serious sources

For the v1.8.6 the development was focused on two main objectives :

the child mode
headlines feature

1. Child mode

Regarding the child mode, a new checkbox appeared in the settings. It allows to enable the child mode, in which only child compatible sources are available (and access to settings and source creation is removed from the main interface).

This is intended for school purposes. With this feature, you can turn your back a few minutes while kids are using the tool. As long as they are on the main interface, they’re safe.

When you need to disable the child mode, reach the settings via the Firefox' standard way of reaching the settings of a WebExtension (via the menu or the about:addons internal address).

The sources available when the child mode is activated are marked with the for kids tech. tag, so you can easily list them to check them via the source list feature of the main interface. Two other tags have been set : for kids < 9 and for kids > 9 ; to address specific needs of a thinner audience based on it age.

Figure 1. Child mode source listing

Currently 26 sources are marked for kids and I warmly encourage you to send me references to more sources for this category.

All the instances of Vidipedia and Wikikids have been added to Meta-Press.es as declared in this post : https://pouet.chapril.org/@metapress/108770494843123872

Par Ziko van Dijk — Travail personnel Map children wiki encyclopedias in Europe Jan 2015.pdf, CC BY-SA 4.0, Lien

2. RSS news feeds

Regarding the headlines, a radical change occurred. Headlines are now fetched from main RSS feeds of sources (if they provide one). This brings 3 main advantages :

every compatible source can now provide up to 10 general purpose news (your setting)
those news are now fitted with excerpts in addition to titles
half of the compatible sources now provide illustrations

Meta-Press.es is not to become a general purpose news feed reader, but it is now a news feed reader for its indexed sources.

Settings have been added to chose how many news to display from each sources.

On my own Meta-Press.es instance, I saved a new "scheduled search" setup with my favourite independent sources (among current 224 ones). I let it on its default "Stop" run frequency and I open it from the settings only to load the news ! Also, the indep. tag is not a source type anymore but a tech tag that can be crossed with many source types (such as: encyclo. press agenda …).

This new feature was introduced thanks to a modification in the source definition API. I scripted the upgrade for the current 600+ sources and half of them was found to provide an RSS feed. Maybe some are missing for sources you know, don’t hesitate to signal them, it’s easy to add back for the next release.

This was a simplification trade between the headline_url + h_title selectors in source definitions for a single news_rss_url and even if we’re losing half the sources currently, it’s removing the heaviest maintenance burden. 2/3 of the source upgrading tasks where about the headlines (as the frontpage of newspapers is constantly evolving). The only foreseeable evolution in RSS news feeds are their possible removal, but they have been doomed dead long ago already.

Another modification that this work introduced in the source definition API was the removal of the xml_type entry. No need anymore. The work on the dynamic source creation form (introduced in v1.8.5) lead to the creation of a "detect_RSS_variant" function, that were re-used and battle proven for RSS headline fetching and so extended to the search feature of RSS based source definitions. So defining a new source is a bit easier now in the case of RSS based sources, and the new source creation form have been updated accordingly.

An expected visible effect is more illustrations on results (because we might have missed some with the previous "manually setup" system).

The online documentation have been update also. (and it’s the kind of lines that do not reflect the work it have been).

3. Fancy or serious sources

Aside to sources that should be easy to index, but finally provides bad RSS results like the DailyTelegraph.com or Arabnews.jp (the two of them were discovered the same day) :

Big up for the #DailyTelegraph which manage to publish a half empty #RSS feed without any date on entries !!
https://www.dailytelegraph.com.au/news/breaking-news/rss
Over 235 RSS feeds, its the deadliest broken one.
The good news is that you'll be able to fetch all the other feeds from the next version of #MetaPress.

- 9 août 2022 à 19:25 - https://pouet.chapril.org/@metapress/108794553815547789

There is a source that is hard to work with. It’s the serious IntelligenceOnline.fr dealing with infosecs (sounds great). This source already lead to some improvements in the source definition API of Meta-Press.es like the new search_ctype which allows to specify the content-type used to send the request to the server (every 608 currently working sources are using application/x-www-form-urlencoded, but this one requires application/json). But it’s not enough to work with IntelligenceOnline as this source also encode (maybe encrypt) the search terms before it sends them to the server… OK, why not. As it’s all open-hearted client-side JavaScript, the exact mechanism might be studied and a cipher key might be extracted and I would love to enrich Meta-Press.es source definition API with term_cipher_method and term_cipher_key entries.

As it wont be in my priorities anytime soon, a contributer might earn a lot of consideration, some Meta-Press.es stickers and badges, and an in-depth blog-post here (10k visitors a month) diving into this problem. An issue were created to track this subject : https://framagit.org/Siltaar/meta-press-ext/-/issues/54

2024-02-26: a mechanism of preliminary request to grab a token to inject into the search URL have been implemented. It fixes this issue.

To finish, some new tendencies… Some sources are still using jsonp to serve results (it’s a workaround CORS limitations on JSON that was heavily used 20 years ago). It’s the case of LaNacion.com.ar (OK, it’s the south-half of the word, with an insane climate and a terrible economic crisis 20 years ago…) and Liberation.fr. So it exists a jsonp_to_json_re entry for source definitions that allows to specify a RegExp used to extract the JSON data the JSONP script source file.

But a something new is emerging and appears to be the contrary : JSON is used to encapsulate server-side computed regular HTML… Why not sending bare HTML ? Still, the new json_to_html source definition entry allows to extract and parse the HTML. I imagine that I’ll have to detail this mechanism on a per-field level soon.

Version 1.8.6 : Actu RSS illustrées et mode enfant

2022-08-13T00:00:00+02:00

Index

1. Mode enfant
2. Actu RSS
3. Des sources "originales" et d’autres plus sérieuses…

Pour la version 1.8.6 l’attention fut portée sur deux objectifs :

le mode enfant
le chargement des gros titres de l’actualité générale hors recherche ;

1. Mode enfant

Concernant le mode enfant une nouvelle case à cocher est apparue dans les réglages. Elle permet d’activer le mode enfant ce qui ne laisse plus que les sources étiquetées comme adaptées aux enfants de disponibles dans Meta-Press.es. De plus l’accès aux réglages et l’ajout de nouvelles sources ne sont plus accessibles depuis l’interface principale.

Cette fonctionnalité est destinée aux écoles, grâce à elle un prof. peut tourner le dos 5 minutes (pour faire le tour des postes de la classe) l’esprit serein. Tant que les élèves sont devant l’interface principale, c’est sans danger.

Pour désactiver le mode enfant, il faut atteindre les réglages depuis la liste des WebExtensions de Firefox (soit via le menu de Firefox, soit via l’adresse interne about:addons).

Les sources qui restent disponibles lorsque le mode enfant est activé sont étiquetées for kids dans le logiciel (et ce terme sera probablement traduit par "mode enfant" à l’affichage). Il est donc facile de les lister dans l’interface principale. De plus, les étiquettes for kids < 9 et for kids > 9 sont également disponibles pour cibler plus finement l’age de son audience.

Figure 1. Liste des sources pour enfant

Il y a pour l’instant 26 sources compatibles avec le mode enfant et vous êtes chaudement encouragés à en signaler d’autres pour étoffer la catégorie !

Il y a plus de 10 encyclopédies "pour enfants" en Europe…
Elles seront toutes dans la prochaine version de Meta-Press.es #metapress (v1.8.6) et "seulement elles" avec le mode enfants !
Si vous connaissez des sources (journaux en ligne) "pour enfants" c'est le moment !!
(de me les signaler)
Source : https://fr.wikipedia.org/wiki/WikiKids

- 5 août 2022 à 13:27 - https://pouet.chapril.org/@metapress/108770494843123872

Par Ziko van Dijk — Travail personnel Map children wiki encyclopedias in Europe Jan 2015.pdf, CC BY-SA 4.0, Lien

2. Actu RSS

Concernant les gros titres, un changement radical a eu lieu et ils sont désormais récupérés depuis les flux RSS principaux des sources (qui en proposent). Cela apporte 3 améliorations :

les sources compatibles fournissent maintenant 10 actu. ou plus (via réglage)
une description accompagne chaque actu
la moitié des actus sont même illustrées désormais !

Meta-Press.es ne vise pas à devenir un agrégateur de flux RSS, mais c’était dommage de se passer des flux RSS des sources indexées. Si vous cherchez l’inspiration avant de faire une recherche, maintenant y’a de quoi faire.

Un réglage a été ajouté pour choisir combien d’actu. de chaque source sont affichées dans la liste.

Dans mon instance de Meta-Press.es, j’ai enregistré une "recherche programmée" avec mes sources indépendantes favorites (parmi les 224 désormais disponibles). Je la laisse sur la fréquence d’exécution par défaut, c’est à dire Stop et l’ouvre depuis la page des réglages pour lire l’actu. Par ailleurs, indep. n’est plus un type de source mais un critère technique désormais, ce qui permet de croiser ce critère avec les types de source justement (comme: encyclo. press agenda …).

Cette modification a entrainé une modification de la façon dont les sources sont définies. J’ai scripté une mise à jour des (plus de) 600 sources connues et un flux RSS a été trouvée pour une source sur deux. Il en manque donc probablement encore, et peut être sur des sources que vous connaissez, alors n’hésitez pas à les signaler, c’est facile à ajouter pour la prochaine version.

Cette modification a permis de simplifier les définitions de source (en remplaçant plusieurs champs par un seul news_rss_url. Et puis, même si on perd les actu. de la moitiés des sources pour l’instant, c’est aussi une grosse simplification dans la maintenance de l’outil car au moins les 2/3 des mises à jour de définition de source concernaient les gros titres (car les journaux rivalisent d’inventivité quand il s’agit de mettre un gros titre en avant, alors qu’il y a un dossier spécial à la Une et un live en cours !). Là, avec les flux RSS, la principale évolution envisagée c’est la suppression du flux or ça fait des décennies déjà qu’on a annoncé leur mort…

Une autre modification indirectement apportée à la définition des sources par cette fonctionnalité est la suppression des entrées xml_type. Il n’y en a plus besoin. Le travail sur le formulaire dynamique d’ajout de sources a entrainé la création d’une fonction "detect_RSS_variant", qui a été ré-utilisée pour la lecture des actu. depuis leurs flux et finalement étendue (vu les bons résultats dans la détection des illustrations) aux résultats de recherche des sources définies via flux RSS. Définir une nouvelle source est donc plus simple aujourd’hui avec ces petites simplifications et le formulaire de création de source a été mis à jour en conséquence.

Le résultat le plus concret de ce changement c’est qu’il y a plus d’illustrations dans les résultats affichés par Meta-Press.es (vu qu’on en avait sûrement manqués dans les définitions manuelles).

La documentation en ligne du projet a également été mise à jour (et c’est le genre de phrase qui reflète mal tout le travail que ça a demandé).

3. Des sources "originales" et d’autres plus sérieuses…

Il y a des sources qui devraient être faciles à indexer, vu qu’elles fournissent leurs résultats de recherche en RSS, mais dont l’intégration échoue quand même, parce que leur RSS ne comporte pas de date sur ses entrées ! C’est notamment le cas du DailyTelegraph.com ou d’Arabnews.jp (les deux ayant été découverts le même soir) :

Faîtes moi un maximum de bruit pour le Daily Telegraph qui réussi l'exploit de publier un flux #RSS à moitié vide, sans date sur les résultats !!
https://www.dailytelegraph.com.au/news/breaking-news/rss
Sur 235 flux RSS gérés par la prochaine version de #metapress c'est le seul qui est pété à ce point.
La bonne nouvelle, c'est que la lecture d'actualités générales depuis Meta-Press.es prend une autre tournure : 10 actu par sources, descriptions et illustrations…
Et stable comme du RSS, alors que c'était le pire à maintenir.

- 9 août 2022 à 19:15 - https://pouet.chapril.org/@metapress/108794515280867796

Il y a des sources qui se prennent très au sérieux, comme IntelligenceOnline.fr traitant de sécurité au sens large et scrutant les agences de renseignement. Il a déjà fallu améliorer des points de Meta-Press.es pour tenter d’intégrer cette source, en créant notamment l’entrée search_ctype qui permet de préciser le content-type des données envoyées au serveur pour faire une recherche (car les 608 premières sources de Meta-Press.es se contentaient du format application/x-www-form-urlencoded mais qu’IntelligenceOnline.fr préfère utiliser l' application/json). Et ce ne fut pas suffisant pour ajouter cette source, car elle chiffre les termes de recherche avant de les envoyer au serveur !

Du coup, sur le principe c’est généré par du JavaScript côté client, donc c’est étudiable et je serai heureux d’ajouter de nouvelles entrées term_cipher_method et term_cipher_key au format de définition des sources…

Mais vu que ça ne va pas être dans mes priorité tout de suite, un valeureux contributeur pourrait gagner beaucoup de considération, des autocollants et des badges de Meta-Press.es ainsi qu’un billet sur ce blog (10k visiteurs uniques mensuels) revenant en détail sur son aventure… J’ai créé le bug suivant dans Framagit pour suivre le sujet : https://framagit.org/Siltaar/meta-press-ext/-/issues/54

2024-02-26 : un mécanisme de requête préliminaire permettant la récupération d’un jeton à injecter dans l’URL de recherche a été implémenté et documenté. Il règle ce problème.

Pour finir, parlons d’une tendance qui m’étonne…

Tout d’abord, il y a encore des sources qui utilisent le protocole jsonp pour servir leurs résultats de recherche (il s’agit d’un moyen de contourner certaines sécurités mises en place dans l’accès aux ressources JSON, et c’était très utilisé il y a une vingtaine d’années). C’est notamment le cas de LaNacion.com.ar (alors bon d’accord, l’Argentine c’est dans la moitié sud du globe, le climat du pays est fou et il y a eu une crise économique terrible il y a 20 ans…) mais c’est aussi le cas de Liberation.fr. Du coup il existe une entrée de définition de source nommée jsonp_to_json_re qui permet de spécifier un motif de remplacement par expression rationnelle utilisé pour extraire les données JSON d’un script JSONP.

Mais il y a aussi le contraire qui émerge sur le web en ce moment… du JSON utilisé pour encapluser du HTML normal, calculé côté serveur. Pourquoi ne pas se contenter d’envoyer du HTML (comme tout le monde). Du coup il existe une entrée json_to_html dans les définitions de source qui permet de préciser un chemin JSON où trouver du contenu HTML à analyser pour la suite et je sens qu’il va bientôt falloir affiner ce mécanisme champs par champs…

Presentation of Meta-Press.es at the MCH2022

2022-07-27T00:00:00+02:00

After the cancelation of the event in 2021, the MCH2022 is about to happen.

Meta-Press.es will be presented live during the event, which takes place in the Netherlands.

It is the continuation of OHM2013 and SHA2017.

The event will take place from the 22 to the 26 of july 2022.

The presentation is scheduled for :

2022-07-25 10:00 UTC+2 at the Clairvoyance place of the MCH2022, (program, video)

It will be held in english.

A car-pool from Deux-Sèvre is organised via Mobicoop.fr where I posted an announce (and can’t gat any URL to point at…).

To finish, you can vote for the conference and get it a better time-slot :

https://votes.mch2022.org/

(it’s currently: 112 / 144 ; 2022-06-07 16:50 CEST)

(updated position: 78 / 144 ; 2022-06-09 14:20 CEST)

(updated position: 66 / 144 ; 2022-06-10 16:30 CEST)

Présentation de Meta-Press.es au MCH2022

2022-07-27T00:00:00+02:00

Après l’annulation de l’évènement en 2021, le MCH2022 est bien parti pour avoir lieu.

Meta-Press.es sera présenté en présentiel lors de l’évènement, qui se tient au Pays-Bas.

Il s’agit de la nouvelle iteration des OHM2013 et SHA2017 (et la liste est longue depuis 1989).

L’évènement au lieu du 22 au 26 juillet 2022.

La présentation est prévue pour :

2022-07-25 10:00 UTC+2 à "Clairvoyance" au MCH2022 (programme, vidéo)

La présentation se tiendra en broken-english.

Un covoiturage en partance des Deux-Sèvres est envisagé et une annonce a été déposée dans ce sens sur Mobicoop.fr (mais pas moyen d’en obtenir une URL…).

Pour finir, vous pouvez voter pour cette conférence et lui obtenir un meilleur créneau ici :

https://votes.mch2022.org/

(Meta-Press.es est pour l’instant : 112 / 144 ; 2022-06-07 16:50 CEST)

(Meta-Press.es est arrivé à : 78 / 144 ; 2022-06-09 14:20 CEST)

(Meta-Press.es est arrivé à : 66 / 144 ; 2022-06-10 16:36 CEST)

Version 1.8.5 : Independent sources and dynamic source creation form

2022-07-21T00:00:00+02:00

This new version brings nearly a hundred more sources (so more than 512 !), and a lot of this new sources are independent newspapers (mainly french ones) gathered in the new Indep. source type (with nearly 128 sources in it).

MediaCites.fr
Rue89 : Bordeaux, Strasbourg, Lyon
SineMensuel.com
Lundi.am
La Relève et la Peste
Sciences-Critiques.fr
Bellingcat
Zelium.info

Or big ones :

Actu.fr
Actualite.Nouvelle-Aquitaine.Science
Jacobin.com

In fact, all the sources from the map of the Presse pas pareille from l’Age de Faire have been integrated to Meta-Press.es for this release and I contributed back to them suggestions of sources to add (or stopped one to remove).

Version 1.8.5 : Sources indépendantes et formulaire dynamique de création de sources

2022-07-21T00:00:00+02:00

Cette nouvelle version ajoute une centaine de nouvelles sources (pour un total dépassant 512 !) et un grand nombre de ces nouvelles sources (principalement françaises) sont retrouvable via le type de source Indep. (avec presque 128 sources dedans déjà).

MediaCites.fr
Rue89 : Bordeaux, Strasbourg, Lyon
SineMensuel.com
Lundi.am
La Relève et la Peste
Sciences-Critiques.fr
Bellingcat
Zelium.info

Il y a aussi quelques gros poissons :

Actu.fr
Actualite.Nouvelle-Aquitaine.Science
Jacobin.com

En pratique, toutes les sources de la carte de la Presse pas pareille de l’Age de Faire ont été intégrées à Meta-Press.es pour cette nouvelle version et une suggestion de sources à ajouter (ou retirer) a été postée à la rédaction du journal.

Voici les sources proposées à l’ajout sur la carte :

NextInpact.com
QG.media
Blast-info.fr
Reflets.info
Novastan.org/fr
AOC.media
ReseauMutu.info

Mais ce n’est pas tout, la 2e grosse nouveauté consiste en un nouveau formulaire de création de sources. Ce dernier permet de créer des sources sans disposer de connaissances poussées en informatique. Vous pouvez le tester dès à présent, mais sa principale limite actuelle est de ne pouvoir traiter que les sources servant leurs résultats sous forme de fichier RSS (comme c’est le cas par défaut avec WordPress, et comme ça pourrait l’être aussi avec SPIP…). Actuellement un tiers des sources de Meta-Press.es auraient pu être ajoutées à la souris via ce nouveau formulaire.

Le formulaire n’est pour l’instant disponible qu’en anglais, mais les traductions seront bientôt possible via le compte Weblate du projet.

Une fois la source créée, elle peut être sauvée dans vos sources locales (custom sources), et si elle fonctionne, n’hésitez pas à la poster via le dépôt Framagit du projet (pour la retrouver dans la prochain version si elle est compatible avec les principles du projet).

La prochaine mise à jour devrait embarquer le reste du formulaire, permettant d’ajouter quasiment toutes les sources de la terre (RSS, CSS, JSON… GET and POST…). Mais pour l’instant, je serai demain au MCH2022 pour y présenter Meta-Press.es lundi.

Figure 1. Source creation form

Version 1.8.3 : translations and investigation

2022-06-01T00:00:00+02:00

Version 1.8.3 brings an updated and complete french transalation of Meta-Press.es. But, what’s interesting is how this translation was made.

Meta-Press.es have been elected for Libre hosting plan by Weblate.org. Weblate is a great translation platform that provide smooth work flows in a dedicated user interface.

The Weblate arms are wide open to your contributions for any language you like. You can work on it on your side as long as you want, and you’ll be helped away by Weblate automated checks (about string ending spaces or colons or comas…).

I’ve been impressed by the auto-detection of my locale folder, locale files and native support of my JSON format. Regarding work flow, Weblate creates an internal Git repository to store contributions and then tries to push or merge back changes (and one might have to clone the Weblate repository to fix merge-conflicts, but it’s easy and once in front of this you already know how to fix it, no wheel re-invention).

I’ve setup a Framagit / GitLab webhook to allow Weblate to pull changes from the main repository as soon as they arrives, and I’m still working on getting merge requests back (instead of opening a full push access).

Widgets have been added to Meta-Press.es README, like this one (its part of the requirements to get the Libre hosting plan ;-) ) :

I hope it will bring a lot of new languages for Meta-Press.es interface. For the moment, Meta-Press.es knows how fetch sources from 50+ languages, but is only presented in 4.

By the way this new release brings the number of sources up to 450, including a new source theme called investigation.

It gather international sources such as :

Mediapart
The Intercept
Correctiv

But not :

Disclose.ngo (no search feature)
Propublica.org (not own search)

Newly listed among the incompatible sources.

And also some french sources :

Reporterre
Blast
60 Millions de consommateurs
Bastamag
Fakir
Le Poulpe
Le Ravi
Le Sans-Culotte (85)
MarsActu
Leglob Journal (53)

If you know more of them (great, independent, investigation newspapers) don’t hesitate to send your recommendations.

Version 1.8.3 : traductions et investigation

2022-06-01T00:00:00+02:00

La version 1.8.3 apporte une traduction française complétée et mise à jour de Meta-Press.es. Mais ce qui est intéressant, c’est comment cette traduction a été réalisée.

Meta-Press.es a été élue au tarif "Logiciel Libre" de Weblate.org. Weblate est une super plateforme de traduction en ligne, qui simplifie grandement le travail des traducteurs et propose une bonne expérience utilisateur.

Les bras de Weblate vous sont désormais grand ouverts pour contribuer à la traduction de Meta-Press.es, dans toutes les langues que vous voulez. Vous pourrez travailler de votre côté aussi longtemps que nécessaire et serez aidé par les vérifications automatiques de Weblate (concernant les espaces en fin de chaîne de caractère, les « : » et es virgules…).

J’ai été assez impressionné par leur auto-détection des locales et de mon format JSON lors de l’inscription. De plus, Weblate commence par cloner votre dépôt de code pour y stocker les contributions reçues, puis essaye de les renvoyer par push ou merge. Si quelque chose coince (parce que mal configuré) il est toujours possible de cloner leur version du dépôt et d’y travailler localement avec les commandes git qu’on maîtrise déjà, pas de nouvelle API à apprendre.

J’ai mis en place une boucle de rétro-action webhook entre Framagit (GitLab) et Weblate afin que ce dernier puisse aller puiser au plus tôt les changements intervenus dans le dépôt principal, et je travaille encore à faire revenir correctement les merge requests dans l’autre sens (au lieu d’ouvrir simplement un accès push).

Des gadgets ont été ajoutés au README de Meta-Press.es pour rendre compte de l’état d’avancement des traductions (et puis ça fait partie des pré-requis pour obtenir l’hébergement gratuit pour les projets Libres) :

J’espère que ça motivera à créer plein de nouvelles langues pour l’interface de Meta-Press.es. Parce que pour l’instant, Meta-Press.es sait chercher dans des sources de plus de 50 langues mais son interface n’est disponible qu’en 4.

À ce propos, cette nouvelle version embarque quelques nouvelles sources (pour atteindre un total de 450) incluant un nouveau thème de sources appelé investigation.

Il rassemble des sources internationales comme :

Mediapart
The Intercept
Correctiv

Mais pas :

Disclose.ngo (pas de fonctionnalité de recherche)
Propublica.org (pas souverain sur sa recherche)

Et qui ont donc été ajoutés à la liste des sources incompatibles (wiki/) dans le dépôt de code.

Et aussi des sources françaises comme :

Reporterre
Blast
60 Millions de consommateurs
Bastamag
Fakir
Le Poulpe
Le Ravi
Le Sans-Culotte (85)
MarsActu
Leglob Journal (53)

Si vous connaissez d’autres journaux d’investigation, indépendants, n’hésitez pas à m’en faire la recommandation.

[Vivant-le-media] Ethical digital: read the news without GAFAMs

2022-05-18T00:00:00+02:00

Energy hungry data centers, private life impairments, sharp user targeting based on searches… GAFAMs are calling for both ethical and environnemental stakes. To help user accessing GAFAM emancipated news, Simon Descarpentries, computer science engineer, made Meta-Press.es. This decentralized search engine lets you explore the press without any third-parties between the newspapers and your web browser. Meeting and explanations from his company located at Pougne-Hérisson (79).

How your search engine is working ?
How Meta-Press.es can work without datacenters ?
Why is it better on a ecological and ethical points of view than traditional search engines ?
Why Meta-Press.es puts forward it free / libre software status ?
Why did you make Meta-Press.es ?

Numérique éthique : s’informer en marge des GAFAMs (fr)

And you can find where Pougne-Herisson is on their map of local initiatives : https://vivant-le-media.fr/la-carte/

[Vivant-le-media] Numérique éthique : s’informer en marge des Gafam

2022-05-18T00:00:00+02:00

Data centers énergivores, atteintes à la vie privée, ciblage précis de l’utilisateur selon ses recherches… Les GAFAMs soulèvent des enjeux à la fois éthiques et environnementaux. Pour faciliter l’accès à une information émancipée de ces géants du web, Simon Descarpentries, ingénieur en informatique a développé Meta-Press.es. Ce moteur de recherche décentralisé permet d’explorer la presse sans intermédiaire entre les journaux et son navigateur web. Rencontre et explications depuis son entreprise située à Pougne-Hérisson (79).

Comment fonctionne ce moteur de recherche ?
Comment fait Meta-Press.es pour s’affranchir des data centers ?
En quoi est-ce plus écologique et éthique d’éviter de passer par un moteur de recherche traditionnel ?
Pourquoi Meta-Press.es se revendique-t-il comme un logiciel libre ?
Qu’est-ce qui vous a incité à créer Meta-Press.es ?

Numérique éthique : s’informer en marge des GAFAMs

Et Meta-Press.es est désormais référencé sur la carte des initiatives locales de Vivant-le-media : https://vivant-le-media.fr/la-carte/

Version 1.8.1 : less bugs, more sources and no more month_nb

2022-05-12T00:00:00+02:00

Index

1. month_nb
- 1.1. Name of languages and countries
2. Dependency updates and bugs fix
- 2.1. Browser storage limitations
3. New sources
4. New files

This new version 1.8.1 was intended as maintenance release:

updating dependencies
fixing induced bugs
adding sources

But it turned out to become the release that got rid of one of my own dependencies : month_nb.

At first launch, this version opens tabs frenetically… Sorry for the inconvenience it won’t happen at 2nd launch (it’s a problem linked to automated search and summer time).

Users reported a frantic tab opening on the Setting page, that persisted at each page opening. This bug is fixed in version 1.8.2.

1. month_nb

This library, presented here and there, allows to convert a month name in its corresponding month number, without having to know the month name language. It’s working for 72 languages. It was a minimalistic approach based on a compact RegExp tree of month-name starting-letters…

It was interesting in JavaScript as it was 20x smaller than alternatives and unique regarding the language knowledge-free approach.

Using the Intl.DateTimeFormat API (which might have been operational since 2014 but was still moving in last august), it’s now possible to replace the ~300 lines of month_nb by 5 lines of JavaScript code encapsulated in 3 functions (as this first commit showed).

The principle is simple, the web browser is knowing how month names are written for 218 locales (in Firefox 102.0a1) so when a month name needs to be converted into its number, Firefox can provide the list of the month names of this language and I check the index of the good one in the list. It worked out of the box for most sources.

Notable exceptions were:

the Esperanto version of Le Monde Diplomatique, which uses English month names for its dates (so I introduced a new date_locale property in source descriptions)
the Dutch (nl) language, which uses an abbreviated version of "marsh" which is not just the 3-first letters of the month name: maart abbreviation is mrt. (so I also compare with browser’s provided "short" versions of the month names)
Russian month names from Wikipedia weren’t recognized. After some exchanges on Mastodon I learnt that it was due to declinations of the names in this context of their usage. I decided to add the list of the declined month names at the right spot in the code to support this case.
And the Arabic languages, such as the Egyptian Wikipedia (ar-eg) or the Iranian Le Monde Diplomatique (fa-ir) and I think I’ll need help for those ones as I tooted via the Meta-Press.es official Mastodon account.

I created month_nb for the early prototypes of Meta-Press.es and was working on it since 2013. It costed me nightly tears of blood (and recently daily ones for Christopher) but after hours of right-to-left quirks in our editors, not really knowing what we were doing, we managed to get those Arabic languages working via month_nb… but abbreviations could not be supported for all languages (too many collisions). With the new solution, the correct list of the 12 strings used by Wikipedia for the different Arabic locales might be enough (like for Russian).

1.1. Name of languages and countries

Then, as I was in the momentum for it, I also replaced our interns-made list of language names by similar Intl.DisplayNames browser introspections and added country names that we previously decided to skip. Both are now shown in the browser locale (so supposedly in your language), while precedent list was presented in the language’s locale only.

By the way, all in all (and per cloc measurements) I already trashed 25% of interns code lines (saving features, loosing hours).

I also wanted to go for a browser introspected list of all the timezones (used in Meta-Press.es settings) but the Intl.Locale.timeZones API is not supported by Firefox yet (so here we keep our own list for the moment).

I’ll keep an eye on this to drop this last list as soon as possible.

2. Dependency updates and bugs fix

Aside from removing month_nb, other dependencies were simply updated for this release:

Choices.js v10.1.0 (at last a new release after a long period of dead looking project, a new team gathered around the project)
Browser-polyfill.js v3.0.1
Gettext.js v1.1.0

Those updates bring small bugs to fix and deprecation warnings to manage. I also fixed a bug on the ListJS pagination (which was scrolling up to the top at each page change) using a solution that I took the time to report upstream. This bug, introduced by ListJS v2.3.1 might have been there for 9 months.

I also fixed the result-removing which was slow and did not work for sources with parenthesis in the name, like: "Wikipedia (pl)". The new system is 4x faster and displays a waiting cursor while you’re waiting.

Imports and exports of results should also display this waiting cursor. This might be the third time I announce this feature, mais it trickier than it might seem to achieve. The treatment covered should be asynchroneous, else the browser just perform the treatment and the cursor is not updated, and you must enforce the waiting cursor even when the mouse hovers links, where a link-signaling cursor is set by default (or by my class to get buttons looking like links). It might give the feeling that one must shake the mouse to get that damned waiting cursor !

2.1. Browser storage limitations

Another annoying bug was introduced by the previous version in the new list of sources. There is a button to remove all selection. It works well in the last two tabs (added sources and removed sources) but if you click on it on the list of all sources or on the list of all selected sources, you’ll create an empty selection and a popup tells you so and load the default tags to get you a non-empty selection of sources. Unfortunately, this action was trapping users in popup loops.

I fixed this, but it learnt me a lot. There should not have been a loop. It was created by the fact that you can’t save big strings (such as the big source exclusion list that the "remove all" button creates) in the browser.storage. You are limited to 512 elements of 8 ko each (for a total size of 100 ko max).

It represents approximately a custom selection list of 200 sources (added or removed). Bigger lists will work but won’t be saved.

If you avoid trying to save too big objects, it fixes the loop problem, but a better solution is yet to be found. Currently I use the main URL of the source as source-key, it allows to find a source from an RSS file and guaranties that old exports will be coherent with updated Meta-Press.es (it was "at no cost" before this browser.storage limit reaching).

Those limits are now monitored and reported in the JavaScript console when you open a new Meta-Press.es tab.

3. New sources

This release embed 62 more sources for a total of 378, 59 countries (+4) and 33 languages (+10).

The Agenda source type now includes agendamilitant.org (in addition of all the Demospheres instances for a total of 30 agendas, waiting for this feature request to get fixed in Mobilizon's developper).

The Encyclo. source type now includes 14 languages of Wikipedia for a total of 20 indexed encyclopedias.

And a Social Network source type is introduce in this release with 14 elements including Invidious and several languages of Dailymotion for the moment. Other "web" sources will follow and feel free to suggest a better name for this category.

But the new star is the Scrutari instance of the Coredem (Scrutari description in english) in a renammed Doc. source type (along with Wikileaks and ArretSurImages.net).

Scrutari is a libre software search engine indexing 58 663 resources from 38 sites promoting a world-wide democracy. It’s ventilated into 14 languages in Meta-Press.es.

4. New files

To finish, 3 files appeared in the repository:

.eslintrc.json which contains configuration directives for ESLint, to help enforcing some coding style rules
wiki/incompatible_sources.adoc which is not really new as it is the previous wiki page of the project that moved into the repository itself (might be more visible here, and easier for me to maintain)
json/broken_sources.json a file where I moved the remains of broken source definitions (around 50 of them) that were never finished or broke afterwards. The motivation was to avoid sending 1440 lines of JSON uselessly to users… and I fixed some of them by the way

Before trying to add a new source, one might not lost his time searching through those last two files for hints about hypothetical previous attempts.

Version 1.8.1 : moins de bugs, plus de sources, plus de month_nb (du tout)

2022-05-12T00:00:00+02:00

Index

1. month_nb
- 1.1. Nom des langues et des pays
2. Mise à jour des dépendances et petites réparations
- 2.1. Limitations du browser.storage
3. Nouvelles sources
4. Nouveaux fichiers

La v1.8.1 ne devait être qu’une opération de maintenance :

mettre à jour les dépendances
réparer les bugs introduits
ajouter des sources…

Mais les évènements prirent une toute autre tournure et cette version restera comme celle à laquelle j’ai pu me débarrasser d’une de mes propres dépendances : month_nb.

À la 1ère ouverture, cette version ouvre des onglets frénétiquement, ça n’arrive plus aux ouvertures suivantes (c’est un problème lié aux recherches automatiques et à l’heure d’été).

Des utilisateurs ont reporté une frénézie d’ouverture d’onglet depuis la page des réglages, persistante à chaque ouverture de page. Ce bug est corrigé avec la version 1.8.2

1. month_nb

Cette bibliothèque de fonction (une seule fonction…), présentée ici et là, permet de convertir un nom de mois en son numéro, sans même avoir à connaître la langue employée. Ça marche pour 72 langues. C’était une approche minimaliste (±300 lignes de code), basée sur un arbre compact d’expressions régulières attrapant, lettre par lettre, des débuts de nom de mois.

C’était intéressant en JavaScript parce que c’était 20x plus compacte que les alternatives et c’était unique par l’aspect : pas besoin de connaissance a priori de la langue des noms de mois convertis.

En utilisant l’API Intl.DateTimeFormat (qui étaient peut être déjà opérationnelle en 2014 mais bougeait encore en août dernier), il est désormais possible de remplacer les 300 lignes de month_nb par 5 lignes de JavaScript encapsulées dans 3 fonctions (comme le montre ce premier commit commit sur le sujet).

Le principe est simple ici : le navigateur sait comment les noms de mois s’écrivent pour 218 locales (dans un Firefox 102.0a1) alors quand il y a besoin d’en convertir un en son numéro, il suffit de parcourir la liste des mois d’une langue donnée et de voir quel est l’index du mois dans la liste… Ça a fonctionné du premier coup pour presque toutes les sources !

Voici les quelques exceptions notables :

la version espéranto du Monde Diplomatique utilise des noms de mois en anglais pour les dates de ses résultats (j’ai donc ajouté une propriété date_locale dans la définition des sources pour préciser la langue des dates quand ce n’est pas celle des résultats)
le néerlandais (nl) qui utilise une abréviation pour le mois de mars qui n’est pas le début du nom du mois tronqué : maart est abrégé en mrt. (j’ai donc ajouté une comparaison sur les versions courtes des noms de mois, que le navigateur peut aussi fournir, en cas d’échec avec la version longue)
les noms de mois en Russe sur Wikipedia n’étaient pas reconnus. Après quelques échanges sur Mastodon j’ai appris que c’était dû à un mécanisme de déclinaison "d’appartenance" des noms dans cette langue en fonction de leur contexte d’utilisation (on marque bien le genre et le nombre nous…). J’ai donc ajouté, à la suite des mois en version courte, une comparaison sur les noms de mois déclinés dans le cas du Russe
enfin, les langues arabes comme la version égyptienne de Wikipedia (ar-eg) ou la version iranienne du Monde Diplomatique (fa-ir) ne fonctionnent pas non plus et je pense que je vais avoir besoin d’aide pour les réparer (comme signalé sur le compte Mastodon officiel de Meta-Press.es).

J’ai créé month_nb avec les premiers prototypes de Meta-Press.es en 2013… ce projet m’a coûté des larmes de sang nocturne (et plus récemment diurnes pour Christopher), mais après des heures de pagaille de droite-à-gauche dans nos éditeurs et sans vraiment savoir ce qu’on faisait, au moins on avait réussi à faire fonctionner ces langues arabes avec month_nb. Toutefois, la gestion des abréviations dans toutes les langues n’était pas envisageable elle (trop de collisions).

Ce coup-ci, les bonnes listes de noms de mois, ajoutées au bon endroit, seront sûrement suffisantes pour faire à nouveau fonctionner ces langues (comme pour le Russe).

1.1. Nom des langues et des pays

Sur ma lancée j’ai aussi remplacé la liste des noms de langue (mise en place par l’un des stagiaires) par une approche similaire d’introspection du navigateur via l’API Intl.DisplayNames, et puis ajouté les noms de pays (que nous n’avions pas jugée suffisamment utile avant). Les deux sont désormais affichées dans la langue du navigateur de l’utilisateur (alors que les langues étaient affichées dans leur langue avant).

D’ailleurs dans l’ensemble (et comme le mesure la commande cloc) j’ai déjà "harmonisé" (vers le néant) 25% des lignes de code produites par les stagiaires (conservant les fonctionnalités, perdant plein de temps).

Je voulais aussi remplacer notre liste de fuseaux horaires (utilisée dans les réglages) mais l’API correspondante : Intl.Locale.timeZones ; n’est pas encore supportée par Firefox.

Je vais garder un œil là dessus pour éliminer cette surface de maintenance le plus vite possible.

2. Mise à jour des dépendances et petites réparations

Outre le retrait de month_nb certaines dépendances ont simplement été mises à jour pour cette nouvelle version :

Choices.js v10.1.0 (enfin une mise à jour disponible pour ce projet qui cherchait de nouveaux mainteneurs et semble les avoir trouvés)
Browser-polyfill.js v3.0.1
Gettext.js v1.1.0

Ces mise à jour ont entrainé quelques petites réparations et précautions à prendre suite à des annonces de fonctionnalités abandonnées prochainement. J’ai également réglé le problème avec la pagination de ListJS (qui entraînait un défilement en haut de page à chaque changement de page) par une solution que j’ai pris le temps de remonter au projet. Ce bug fut probablement introduit par la version 2.3.1 de ListJS, mise à jour il y a 9 mois dans Meta-Press.es…

La fonctionnalité de retrait des résultats d’une source a également été réparée pour les sources comportant des parenthèses dans leur nom comme : "Wikipedia (pl)". La nouvelle méthode est nettement plus rapide et affiche désormais un curseur d’attente pendant l’opération.

Les imports et les exports aussi affichent un curseur d’attente. Ça doit faire 3x que j’annonce cette fonctionnalité mais c’est moins simple qu’il n’y parait. Il faut que le traitement derrière le changement de curseur soit asynchrone, sinon le navigateur se lance dans le calcul avant que le curseur d’attente ne soit rendu visible et il faut forcer ce curseur d’attente même sur les liens (et les boutons que je maquille en lien) car le curseur signalant le lien reste affiché sinon (ce qui peut donner l’impression qu’il faut secouer la souris pour que le curseur d’attente s’affiche…).

2.1. Limitations du `browser.storage`

Un autre bug assez pénible fut introduit avec la précédente version de Meta-Press.es et sa nouvelle liste des sources. Un bouton de cette interface permet de retirer toutes les sources de la sélection courante (en les ajoutant à la liste des sources explicitement dé-selectionnées). Ça fonctionne bien avec les deux derniers onglets (les sources ajoutées ou les sources retirées de la sélection courante), mais si on clique dessus sur l’un des deux premiers onglets (toutes les sources ou toutes les sources sélectionnées) cela abouti à une sélection vide et Meta-Press.es le signale puis restaure les tags par défaut. Le problème c’était que les utilisateurs se retrouvaient bloqués dans une boucle infinie de popup signalant une sélection vide.

J’ai réparé ça et ai beaucoup appris ce faisant. Il n’y aurait pas dû y avoir cette boucle, elle était créée par une limitation du stockage proposé par le navigateur aux WebExtensions. Ces limites sont : 512 objets, de 8 ko maximum chacun, pour un total ne dépassant pas 100 ko.

Ça représente une liste de ±200 sources (ajoutées ou retirées de la sélection). Les listes plus grosses fonctionnent mais ne sont plus sauvegardées.

En évitant de sauvegarder de trop gros objets dans le stockage de l’extension, il n’y a plus de boucle infinie, mais une meilleure solution est encore à trouver. Pour l’instant, j’utilise l’URL principale d’une source en guise de clé d’identification. Ça présente l’avantage de permettre de retrouver une source connue à partir d’un fichier RSS pris sur le web, ou de garantir qu’un vieil export sera encore reconnu par une version mise à jour de Meta-Press.es (et tout ça sans le moindre "coût" pensais-je jusqu’à ce qu’on atteigne une limite du browser.storage).

Ces limites sont désormais surveillées de près et un rapport s’affiche dans la console JavaScript quand on ouvre un nouvel onglet de Meta-Press.es.

3. Nouvelles sources

Cette nouvelle version embarque 62 sources de plus, pour un total de 378, de 59 pays (+4) et en 33 langues (+10).

Le type de source Agenda accueille l' agendamilitant.org (en plus de toutes les instances de Demosphère, pour un total de 30 agendas, et attendant que cette feature-request soit traitée du côté de Mobilizon).

Le type de source Encyclo. comporte désormais 14 langues de Wikipedia, pour un total de 20 sources encyclopédiques indexées.

Un type de source Réseaux sociaux fait son apparition, regroupant 14 sources dont Invidious et plusieurs langues de Dailymotion. D’autres sources "web" suivront et n’hésitez pas à proposer un meilleur nom pour cette catégorie.

Mais la nouvelle star des sources c’est l’instance Scrutari du Coredem dans le type de source renommé Doc. (incluant Wikileaks et ArretSurImages.net).

Scrutari est un moteur de recherche en logiciel libre qui indexe 58 663 ressources en provenance de 38 sites promouvant une démocratie mondiale. Cette source se retrouve ventilée en 14 langues.

4. Nouveaux fichiers

Pour finir, 3 fichiers ont fait leur apparition dans le dépôt :

.eslintrc.json qui contient des directives de configuration pour l’analyseur de code ESLint, pour aider à appliquer les règles de présentation du code
wiki/incompatible_sources.adoc qui n’est pas vraiment nouveau puisque c’est tout simplement la page du wiki du projet listant les sources qu’il n’a pas été possible d’ajouter… (elle sera probablement plus visible là, et assurément plus facile à maintenir pour moi)
json/broken_sources.json un fichier où j’ai déplacé les restes d’environ 50 définitions de sources impossibles à finir ou cassées depuis. La motivation était là de ne plus envoyer ces 1440 lignes de JSON pour rien aux utilisateurs… et j’en ai profité pour en réparer certaines.

Avant d’ajouter une nouvelle source, il est recommandé de jeter un œil à ces deux derniers fichiers pour trouver des traces d’hypothétiques essais précédents.

Version 1.8.0 : new source list, user feedback

2022-04-25T00:00:00+02:00

Index

1. Improving code architecture
2. Managing relative dates for all sources
3. Major improvements of the release
4. Other improvements (ergonomics, source fixes…)
5. What will come next ?
6. Donate to help the project

1. Improving code architecture

After a long work here is the version 1.8.0. It required longer than usual as I integrated work from interns. It lead me to establish coding style rules. It’s also the reflect of a big "under the surface" work to migrate the code base to the modern modular design of JavaScript. Meta-Press.es is now following this architecture, which helped to minimize redundancies in the code (you want redundancies in your hardware, but note in your code). This will help for the maintenance of the application.

2. Managing relative dates for all sources

Another "invisible" change occurred regarding the possible date format definitions in sources. Now documented here, this evolution of the source definitions allows to handle as many formats as needed for each source. This is the solution of the different relative date format that we could find on sources (such as : Published one hour ago) which no JavaScript date libraries were able to handle in different languages. This Meta-Press.es evolution is not a generic solution for everyone like month_nb but it allows to handle several problems with dates (such as relative dates or inconsistencies betweens dates in archives of a same source…).

3. Major improvements of the release

This new version also brings visible improvements:

export / import in CSV format (to easily reuse results)
per-source feedback mechanism (to report broken sources)
new list of sources (to fine tune source selection)

3.1. CSV format

CSV format appeared in the import and export drop-down format menus. It currently only includes results (excluding research parameters that can be exported via RSS, ATOM or JSON).

3.2. User feedback about sources

The source feedback mechanism is a new button that appears when hovering a source in the searched source list of a finished research (also knowns as meta finding list, first box at the right of finished search). Clicking on this button open a pop-in frame that allows to describe the problem encountered with this source and to send your feedback in one click. This is the only way to send a request to the https://meta-press.es server from the Meta-Press.es application.

From a technical point of view, this generates 404 HTTPS requests that I’ll review using goaccess, my web log analyser tool. This way, everything gets automatically erased (with the rest of the logs) after the default Debian erasing log period of time (currently 15 days). This way, with a minimal effort it’s goaccess that will perform on demand statistics over the feedbacks, allowing to focus on the most reported sources. Information must flow.

3.3. New source list and cherry-pick source selections

The new source list answers two needs:

users did ask for a human readable list of the available sources
this list is the new source cherry-pick mechanism

From this new source list you’ll be able to edit the tag-based source-selection. For instance, you chose to search only in french sources (via the french language tag), you can then click on the new list sources button (situated under the two rows of the tag selection mechanism) and you’ll open a new frame, with 4 tabs.

The 1st tab lists all the sources
the second tab lists only the selected sources
the 3rd tab lists only the explicitly added sources to the selection
the 4th tab lists only the explicitly removed sources from the selection

Figure 1. New source list

So you can add some English sources to your french selection, or remove some french sources.

On a technical point of view, sources are selected from their tags, and a remove sources from the selection is applied, then an add source to selection list. You can edit those lists and they are exported with RSS, ATOM or JSON exports, they are added to the parameters of the permalinks and so saved for your scheduled searches.

In each tabs you can filter out the content via a search input, or act on batches (all the listed sources or just the current page) to add or remove sources to / from the current selection.

So you can visually check in which sources the next search will perform and then you can edit this selection.

Those parameters will be kept for your next searches and the source list will be automatically re-opened if you are using an edited source selection to search in, at least to help you remembering the choices.

Also for each source in this list, a magnifier button allows you to search only in this source, in one click.

4. Other improvements (ergonomics, source fixes…)

This new release also brings presentation improvements : results are presented with more density, their background color now alternates to help the reading and a lot of small glitches have been fixed (button sizes, margins…).

The source creation page have been improved to allow searching in the source definitions listed here (the row JSON file of all the provided source definition accessible here, and searchable from Firefox CTRL+F mechanism).

The previous released version introduced a source-definition automatic reloading mechanism when Meta-Press.es tabs where let down for others (such as Custom Source ones) and so your custom sources where automatically reloaded in a quite slow way. The naive implementation have been improved to reload sources only if custom sources where actually modified.

This previous version also had a bug regarding all the RSS based sources (±25%) which is now fixed along with a lot of source fixes. So we are, at date, with more than 315 working sources.

5. What will come next ?

There is still of work to do, to improve source testing for instance, or to automate releases testing.

But I also have some new features in mind, such as:

a child mode to lock the source selection on child compatible ones to help schools using Meta-Press.es
a dynamic form to allow regular users to create new sources using their mouse only (in 80% of the cases)
a port of Meta-Press.es as a regular Android application (to target more audience)

6. Donate to help the project

To finish, every donations would be warmly welcome to push the project further, or to thanks Meta-Press.es for this great tip : Access content of 7400 from the French national library for 15 € / year.

Version 1.8.0 : nouvelle liste de sources, retours utilisateurs

2022-04-25T00:00:00+02:00

Index

1. Amélioration de l’architecture du code
2. Gestion des dates relatives pour toutes les sources
3. Améliorations principales de cette nouvelle version
4. Autres améliorations (ergonomie, sources réparées…)
5. Et pour la suite ?
6. Donnez pour soutenir le projet

1. Amélioration de l’architecture du code

Après un long travail, voici la version 1.8.0. Elle a nécessité plus de travail que d’habitude, notamment parce que j’ai intégré une grande partie du travail de mes précédents stagiaires. Cela m’a amené à établir des règles de bonne conduite dans l’écriture du code (coding style rules). Cela reflète également beaucoup de travail "sous la surface", notamment pour rendre le code compatible avec la vision moderne et modulaire du JavaScript. Meta-Press.es suis désormais cette architecture logicielle qui permet de minimiser les redondances dans le code (de la redondance, on en veut concernant le matériel, mais pas dans du code). Ce changement aidera à la maintenance du code.

2. Gestion des dates relatives pour toutes les sources

Un autre gros changement "invisible" concerne la possibilité de définir différents formats de date pour une même source. La documentation a été mise à jour en conséquences ici. Cette évolution du format de définition des sources permet de gérer autant de format de date que nécessaire pour chaque source. C’est la solution adoptée pour le problème des dates relatives (Il y a une heure) utilisée par certaines sources pour les résultats très récent. Or, aucune bibliothèque JavaScript de gestion de date n’offre de support pour l’analyse de ces dates, et encore moins dans un contexte multi-lingue. Cette évolution de Meta-Press.es n’est pas une solution aussi générique que month_nb, mais c’est une solution très souple, permettant de régler plusieurs problèmes d’un coup (dates relatives, formats de date inconsistants dans les archives d’une même source…).

3. Améliorations principales de cette nouvelle version

Cette nouvelle version apporte également son lot de changements visibles :

export / import au format CSV (permettant une réutilisation facile des résultats)
un méchanisme de retour utilisateurs source par source (pour rapporter une source cassée…)
une nouvelle liste des sources (pour gérer finement ses sélections de source)

3.1. Format CSV

Le format CSV apparait désormais dans les menu déroulant de choix de format des exports et imports de résultats. Il n’inclut pour l’instant que les résultats eux-même (excluant donc les paramètres de recherche, qui sont embarqués dans les exports aux format RSS, ATOM et JSON).

3.2. Retour utilisateur sur les sources

Il est désormais possible de signaler une source défectueuse en deux clics. Le mécanisme de retour utilisateurs sur les sources se matérialise par un bouton qui apparait au survol d’une source dans la liste des sources interrogées pour une recherche (première boîte de la colonne de gauche d’une recherche finie). En cliquant sur ce bouton on déplie un cadre permettant de préciser le problème rencontré et d’envoyer l’info. C’est le seul moyen de générer une requête depuis le logiciel Meta-Press.es vers les serveur https://meta-press.es.

D’un point de vue technique, ça génère une requête HTTPS 404, qui sera relevée lors de l’analyse des logs du serveur web par le logiciel libre goaccess. En procédent ainsi, tout est automatiquement effacé au bout du délais par défaut de conservation des logs dans Debian (15j actuellement). De plus, aucun logiciel supplémentaire n’est requis, c’est goaccess qui compile les statistiques de retour utilisateur (pour signaler les plus rapportées). L’information doit couler à flot. (mais ne pas s’accumuler sans raisons).

3.3. Nouvelle liste de source permettant la sélection à l’unité

La nouvelle liste de source répond à deux besoins :

des utilisateurs ont demandé une visualisation conviviale de la liste des sources
cette liste est le nouveau mécanisme de sélection des sources à l’unité

Depuis cette nouvelle liste des sources il est possible d’éditer une sélection de source à postériori de la sélection par étiquettes. Par exemple, si vous souhaitez ne chercher que dans les sources en français (via l’étiquette "français" du choix de langue), vous pouvez ensuite cliquer sur le nouveau bouton Liste des sources (situé sous les deux rangées de sélecteurs à choix multiples pour les étiquettes) et un nouveau cadre apparaitra, découpé en 4 onglets.

Le premier onglet liste toutes les sources
le second onglet liste les sources sélectionnées pour la prochaine recherche
le troisième onglet liste les sources explicitement ajoutées à la sélection
le quatrième onglet liste les sources explicitement retirées de la sélection

Figure 1. Nouvelle liste des sources

Il est donc possible d’ajouter quelques sources en anglais en plus d’une sélection des sources en français, ou de retirer certaines sources française.

D’un point de vue technique, les sources sont d’abord sélectionnées à partir de leurs étiquettes, puis les sources explicitement retirées sont retirées de la sélection, puis les sources à ajouter sont ajoutées. Vous pouvez éditer ces deux listes de sources (retirées et ajoutées) et elle sont exportées avec les résultats en RSS, ATOM et JSON. Elles sont également ajoutées en paramètre des permaliens et donc sauvées pour les recherches programmées.

Dans chaque onglet de cette nouvelle liste des sources vous retrouverez une case de recherche (pour filtrer les sources affichées) et des boutons d’actions groupées (jour ajouter ou retirer toutes les sources listées, ou seulement celle de la page courante).

Il est donc possible de vérifier visuellement dans quelles sources la prochaine recherche aura lieu avant de la lancer et d’éditer cette sélection finement.

Ces paramètres seront conservés pour vos prochaines recherches, et le volet de recherche avancée sera automatiquement rouvert tant que des paramètres spécifiques seront appliqués (ça permet de se souvenir qu’on changé les réglages).

Enfin, pour chaque source listée un bouton à l’effigie d’une loupe permet de régler la cherche pour cette unique source directement (c’est au moins pratique pour les développeurs !).

4. Autres améliorations (ergonomie, sources réparées…)

Cette nouvelle version apporte également des amélioration graphiques : les résultats sont présentés de manières plus compacte, leur couleur de fond alterne (pair / impair) pour aider à la lisibilité de la page de résultats (qui ne sont parfois pas tous de la même hauteur) et d’autres petites coquilles de l’affichage ont été corrigées (comme la taille de certains boutons, des marges…).

La page de création des sources a été améliorée pour permettre d’effectuer des recherche dans le texte de la liste des sources brutes présentées là à titre d’exemple. Une recherche est désormais possible là via la fonctionnalité de recherche dans une page proposée par Firefox : CTRL+F.

La précédente version introduisait un mécanisme de rechargement automatique des sources d’un onglet Meta-Press.es ouvert, si un changement d’onglet était détecté (par exemple après un passage sur un onglet de création de sources). Cela permet de garder les sources courantes d’un onglet ouvert à jour, mais c’était systématique et plutôt lent. Cette première implémentation naïve a été remplacées par un mécanisme qui ne recharge que les sources créées localement, seulement si elles ont été modifiées.

Enfin la précédente version embarquait un bug impactant toutes les sources définies à l’aide de leur flux RSS (±25%). Cette erreur est désormais corrigée, tout comme de nombreuses sources normale (mais ayant eu besoin de corrections). Nous en sommes donc à plus de 315 sources fonctionnelles.

5. Et pour la suite ?

Il y a toujours beaucoup de pain sur la planche : pour améliorer le test automatique des sources, mettre en place des tests automatiques de bout en bout…

Mais j’ai également de nouvelles grosses fonctionnalités en tête :

un mode enfant pour verrouiller la sélection de sources courante sur des sources pour enfant, pour aider les écoles et CDI souhaitant utiliser Meta-Press.es
un formulaire dynamique d’ajout de sources simplement à la souris (dans 80% des cas)
présenter Meta-Press.es comme une application Android standard (et augmenter ainsi drastiquement l’audience potentielle)

6. Donnez pour soutenir le projet

Pour finir, chaque don est chaudement accueilli aide le projet à avancer.

Vous pouvez aussi considérer un petit don pour me remercier de cette astuce qui fait gagner beaucoup d’argent : Accéder au contenu de 7400 journaux via PressReader et la BnF pour 15 € / an

Presentation of Meta-Press.es in Lyon at the JdLL 2022

2022-03-04T00:00:00+01:00

After the cancelations of the event in 2020 and 2021, the JdLL (Days of Libre Software in France) team accepted the Meta-Press.es presentation again this year.

This event is a part of the broader french Libre en Fête manifestation from 20 of march to 3 of april.

The event will take place the 2nd and 3rd april 2022.

The presentation is scheduled for :

2022-04-03 17:00 UTC+2 in Lyon, more info here : JdLL.org

I accumulated experience about this exercice during my previous presentations (in visio or in public) and I’m re-working the speech.

Présentation de Meta-Press.es à Lyon pour les JdLL 2022

2022-03-04T00:00:00+01:00

Après une annulation de l’évènement en 2020 et 2021 l’organisation des Journées du Logiciel Libre a de nouveau accepté ma proposition de présentation de Meta-Press.es à l’évènement qui aura lieu les 2 et 3 avril prochain.

Cette manifestation s’inscrit dans le cadre de l’opération Libre en Fête 2022 partout en France à partir du 20 mars.

La présentation de Meta-Press.es est prévue pour le :

2022-04-03 17:00 UTC+2 à Lyon : plus d’info sur JdLL.org

J’ai accumulé une certaine expérience lors de mes présentations précédentes (en visio ou en public) et retravaillé le fond et la forme en conséquences (merci à ceux qui m’y ont aidé).

Access content of 7400 from the French national library for 15 € / year

2022-02-02T00:00:00+01:00

This service is only accessible to french citizens, based on identity card review by humans at the Bibliothèque nationale de France.

Accéder au contenu de 7400 journaux via PressReader et la BnF pour 15 € / an

2022-02-02T00:00:00+01:00

Index

1. Première étape : PressReader.com
2. Deuxième étape : BnF.fr
3. Consultation : BnF → PressReader
4. Consultation rapide : EasyBnF.fr

Les amis de Revue-de-presse.org m’ont fait part de l’astuce micro-bloguée par @Silvae donnant accès à tout le bouquet de journaux du site PressReader.com pour une fraction du prix habituel de l’abonnement.

L’abonnement à PressReader, qui donne accès aux contenus de 7400 journaux, est fixé à 29€ / mois (en abonnement individuel) mais il est possible d’y avoir accès via la Bibliothèque nationale de France pour 1,25€ / mois (payés 15€ à l’année).

Il suffit pour cela de créer un compte sur PressReader.com, un autre BnF.fr et de se connecter aux deux successivement en commençant par la BnF.

1. Première étape : PressReader.com

Pour créer un compte sur PressReader vous avez le choix entre leur site web ou leur application mobile : c’est la partie facile.

La procédure valide l’adresse de courriel fournie.

2. Deuxième étape : BnF.fr

C’est la partie délicate, le site de la BnF est en effet très riche en fonctionnalités et il est facile de s’y perdre. De plus, la création du compte n’est pas automatique.

Rendez-vous sur : https://inscriptionbilletterie.bnf.fr/accueil

Choisissez « Accès tous publics Bibliothèque tous publics » en bleu à gauche de l’écran, puis « Pass BnF lecture / culture illimité » à 15 € en mauve au centre de l’écran suivant.

Un encart surgit en accroche de l’écran pour vous confirmer l’ajout d’un pass à votre panier et vous propose de vous y rendre. Vous avez alors la possibilité de valider le panier ce qui dirige vers l’écran de connexion à votre compte, ou d’ouverture. Plusieurs champs sont à remplir (notamment sur vos motivations) et il faut fournir deux documents dont votre carte d’identité (et un justificatif de domicile si ma mémoire est bonne). Ce service public n’est ouvert qu’aux résidents français.

Le service sera facturé dans les jours suivants, une fois la création du compte validée par un humain ^[1].

3. Consultation : BnF → PressReader

Une fois le compte BnF créé et l’abonnement réglé vous avez accès à toutes les bases de données de : https://bdl.bnf.fr

@Silvae note qu’il y a pas mal de choses cryptiques lorsqu’on est pas chercheur, mais en consultant la liste des ressources électroniques (externes) on retrouve, à la lettre « P », un lien vers PressReader ^[2].

En cliquant dessus la BnF demande une authentification puis redirige vers PressReader qui demande la sienne… et là, c’est la fête, il y a 430 publications francophones (dont les principaux titres de la presse nationale).

Si PressReader vous parle d’un quota de lecture atteint, il suffit de vous déconnecter et d’y revenir.

4. Consultation rapide : EasyBnF.fr

Pour gagner du temps à la consultation @jeremypgn a créé le site : EasyBnF.fr

Il donne accès aux principales ressources (PressReader en tête) via une interface prévue pour petits écrans tactiles.

1. Prenez garde à démarrer l’opération dans un navigateur capable de suivre des redirections et de faire des paiements en lignes, ce qui n’est plus vraiment le cas d’un Firefox à sécurité renforcée et équipé de Multi-Account Containers, j’utilise alors une fenêtre privée de Firefox…

2. Un PressReader proxyfié par la BnF

2021 recap

2021-12-14T00:00:00+01:00

A new version of Meta-Press.es will soon be released (but maybe just after the end-year celebrations). A lot of things happened this year, including during the last 3 months.

2021 seen 9 releases of Meta-Press.es publishing 541 commits from 14 forks on Framagit.

4 people worked with me on Meta-Press.es in my Deux-Sèvres' office :

Christopher Gauthier (apprentice)
Marin Portet (intern)
Hugo Porchet (intern)
Aurèle Motard (intern)

We went from 500 daily users to 750 daily users in average over worked days, with more 1100 downloads of the WebExtension in 2021 and more 400 kilometers run with Christopher.

6 online presentations of Meta-Press.es (some french-speaking replays are available here) and 2 on-stage presentations occurred (I wrote about the B-Boost one in Linux Pratique #128, available online here behind a paywall).

All the previous NLnet-bound roadmap was covered, and the NLnet renewed its support to me for one more year.

During this year, a Patreon page was opened in addition to the Liberapay one. 22 recurrent donors are giving a total of around 120 € by month to the Meta-Press.es project, and I thank them a lot !

A Meta-Press.es non-for-profit association was created during the summer and it allowed to open an HelloAsso one-shot credit-card donation mechanism. Contributions are coming from here also.

It’s time to publish a new roadmap for the year to come :

First, the v1.7.9 (to come soon) will bring some cool features (mainly from Hugo Porchet’s internship work) :
- users will be able to generate feedback about deceitful sources (off-topic results, inappropriate content, broken source…)
- a better source cherry-picking feature, with personal collections
- support for a CSV format in import/export operations
- better support for relative dates in results (e.g. "1 hour ago", "yesterday"…)
Then, Meta-Press.es will be fitted with a child mode to comply school needs (limiting sources to advised ones for children)
The general purpose news loading feature will be reworked from RSS feeds to get more news from the sources, and more stability over the time (as the biggest news presentation is what changes the most in newspapers)
Then come big things, such as a source creation dynamic form, to help regular users to add new sources to Meta-Press.es. It will allow automatic creation of RSS served result sources, and point-and-click definition of regular sources. It’s Marin Portet whom spent it’s whole internship prototyping this ambitious feature.
Improving the source testing framework, because the current one takes around 10 minutes to tests 300 sources.
End to end testing of primary features to ensure stability of features over the time.

But the best is to come, with business models that start to outline themself for the Meta-Press.es project :

Port of Meta-Press.es for Android platform to install it like regular applications (might be a Progressive Web Application) because around 80% of the world population uses a smartphone, and 80% of them are using Android for the moment, while the best WebExtension of Firefox (the add blocker uBlock) is used by around 5 000 000 users (so 0,1% of the internet users).
A standalone server-side version of Meta-Press.es, because it’s what the general population is expecting, and because too many people still report me that the internal Meta-Press.es blog search feature did not returned results for hot press topics…
An independent press review hosting platform, with good integration from Meta-Press.es, to easily push selected results to your paid hosting account, with private and public reviews and the possibility to show your press review on your website.

To finish, the Meta-Press.es project is seeking partnerships in the context of a French administration funding support.

Don’t hesitate to contact (at meta-press.es) me about it and to spread the news around !

2021 recap

2021-12-14T00:00:00+01:00

Une nouvelle version de Meta-Press.es sera bientôt publiée (mais peut être juste après les fêtes de fin d’année). Il y a déjà beaucoup de choses qui ont eu lieu cette année, et y compris durant les 3 derniers mois !

2021 a vu défiler 9 nouvelles versions de Meta-Press.es, publiant 541 commits depuis les 14 forks du projet sur Framagit.

4 personnes sont venues travailler avec moi sur Meta-Press.es dans mon bureau dans les Deux-Sèvres :

Christopher Gauthier (en apprentissage)
Marin Portet (stage)
Hugo Porchet (stage)
Aurèle Motard (stage, de 3e ;-)

Le nombre d’utilisateurs a grimpé de 500 en début d’année à 750 utilisateurs quotidiens en moyenne, en semaine, avec plus de 1100 téléchargements de l’extension et plus de 400 km courus avec Christopher.

6 présentations de Meta-Press.es en vision conférence ont eu lieues (quelques enregistrements sont consultables par ici) ainsi que deux présentations en public (j’ai raconté celle du B-Boost dans le numéro 128 du magazine Linux Pratique, article consultable ici sur abonnement). Un bel enregistrement audio (podcast) est également dans les tuyaux chez Vivant, le média, une source qui pourrait bien se retrouver dans la porchaine version de Meta-Press.es.

Tous les objectifs de la planification annoncée avec le financement de la NLnet ont été atteint.

Durant cette année, une page Patreon a été ouverte, en plus de la page Liberapay et 22 donateurs récurrents ont donné une moyenne de 120 € par mois au projet Meta-Press.es, je les en remercie grandement ! (pour être honnête, il y a aussi des membres de ma famille dans le décompte).

Une association Meta-Press.es, sans but lucratif a également vu le jour cet été, et c’est sous ce régime fiscal qu’arrivent les dons réalisés via le compte HelloAsso associé, ce qui ouvre une porte de collecte de dons ponctuels. C’est une demande qui a été formulée au projet, et des dons arrivent effectivement par ce biais.

Il est désormais temps de publier une nouvelle projection du travail à accomplir pour le développement de Meta-Press.es pour l’année qui vient :

Tout d’abord, la version 1.7.9 de Meta-Press.es apportera quelques chouettes fonctionnalités (principalement tirées du travail de Hugo Porchet) :
- les utilisateurs vont pouvoir signaler les sources décevantes (hors-sujet, offensantes ou cassées)
- un meilleur mécanisme de sélection des sources à l’unité va venir remplacer l’actuel (qui montre ses limites maintenant que le projet compte plusieurs centaines de sources)
- le support d’un format CSV pour les exports (et les imports)
- un meilleur support des dates relatives pour les résultats de recherche (ex: « il y a 1h » ; « hier »)
Ensuite, Meta-Press.es sera enrichi d’un mode « enfant » (limitant les sources interrogées à celles conseillées pour les enfants) afin de répondre aux besoins exprimés par des enseignants et responsables de CDI de collège
La fonctionnalité de chargement de gros titres va muscler son jeu en se basant sur les flux RSS des sources pour charger plus d’actu et simplifier la maintenance associée (car la façon d’afficher un gros titre en Une d’un journal est probablement ce qu’il y a de moins stable dans la présentation d’un journal en ligne)
Viendrons ensuite de gros chantiers, comme l’ajout d’un formulaire dynamique de création de sources pour Meta-Press.es. Avec une gestion complètement automatique des sources servant leurs résultats de recherche en RSS, et du "tout à la souris" pour la plupart des sources (collectées via sélecteurs CSS). C’est pour l’instant surtout Marin Portet qui a travaillé sur le sujet, dédiant quasiment tout son stage à cette cause ambitieuse.
Il est encore prévu d’améliorer la fonctionnalité de test automatique des sources, entre autre parce qu’elle prend actuellement environ 10 minutes pour tester les 300 sources
Une suite de test de bout en bout est également au programme, pour assurer la pérennité des fonctionnalités dans le temps.

Mais le meilleur est encore à venir, plusieurs modèles économiques se dessinent pour Meta-Press.es :

Un portage de Meta-Press.es pour la plate-forme Android, afin de pouvoir installer Meta-Press.es comme une application normale (probablement à base de progressive web application) car 80% de la population mondiale utilise un ordiphone, et que 80% de ces ordiphones tournent (pour l’instant) sous Android, alors que la meilleure extension de Firefox (le bloqueur de pub uBlock) compte environ 5 millions d’utilisateurs (soit 0,1% des utilisateurs d’Internet).
Une version serveur de Meta-Press.es (basée sur NodeJS) est également au programme, parce que c’est ce que les internaute s’attendent à trouver, et que trop de personnes me signalent que le moteur interne de recherche du blog de Meta-Press.es ne leur a pas fourni de résultat concernant un sujet brûlant d’actualité.
Une plate-forme indépendante d’hébergement de revues de presse, bien intégrée dans Meta-Press.es (sans pas encombrante) afin de permettre la publication d’une sélection de résultats d’un clic vers le compte payant d’un utilisateur de cette plate-forme. Des revues de presse privées et publiques sont au programme avec une intégration facilité d’une revue de presse publique dans votre site web.

Pour finir, le projet Meta-Press.es est à la recherche de partenariats, dans le contexte d’une demande de subvention auprès de la région Nouvelle-Aquitaine.

N’hésitez pas à m’écrire à contact (à meta-press.es) à ce propos et surtout à faire passer le mot !

Version 1.7.8 : ergonomic enhancements

2021-10-01T00:00:00+02:00

A month and a half after the last release, the version 1.7.8 of Meta-Press.es is now online. This new version is bringing ergonomic enhancements and a major round of fix for the known sources.

The enhancements are including some long awaited requests :

a slice date filter, with two inputs, to work on local results
a search input to easily find a particular source in the source box of a finished search, when there are more than 30 sources listed here
some "select all" / "select none" and "toggle selection" buttons when selecting results to export. Those buttons only affect the results visible in the current page (and it’s still possible to choose how many elements are listed on a page)
the list of the sources we’re waiting for, when a search is taking a noticeable time (which can be expanded from the search status line when there are less than 30 awaited sources)
a Cancel button that actually stops the running search where it is and let you work on the results (the previous solution was just refreshing the page, loosing the results, this is done via the recent JavaScript promise aborting API, thanks to a mention from @lutindiscret)
- subsequently, a new setting appeared : a request timeout ; which automatically finish a search after 90s (but can be set to 0 to wait "forever")
a new source statistic line which displays the number of selected sources and the number of needed permissions to perform the next search, along with a button to give those permissions

In addition, every regular expressions of the 314 sources (which represent already 10k lines of formated JSON) have been screen for ReDOS vulnerabilities using RegexStaticAnalysis.

25 regex were flagged with exponential degree of ambiguity (EDA) or infinite degree of ambiguity (IDA) over 180 regex analysed. Each time it was related to unclear boundaries, multiple infinite quantifiers * or +, or an OR construct (a|a)* with an infinite quantifier.

Surprisingly it have been possible for each case to improve the RegExp and have it passing the test and running faster (being more tightly bound to the subject to capture). For example, this simple and easy to read regular expression :

(\d+) (.) (\d) ^[1] ;

Captures a date (for instance : '23 july 2021') and was replaced by :

^(\d{1,2}) ([^ ]{3,9}) (\d{4})$ ^[2] ;

Which captures the same date but with boundaries around the portion of string (^ at the beginning and $ at the end) and sharper descriptions of each field to capture (sharp number of digits), month name that can contain french accented letters (like décembre) but no spaces… Real life examples are usually a bit more complex but the main idea is here.

Again, like with the Accessibility audit, this work generally resulted in improvements in the parsing of the concerned source so a general improvement for Meta-Press.es.

1. The 1st symbols between parenthesis are capturing a number, here it’s the date number, the second parenthesis group is capturing everything between the two spaces, here it’s the month name, and the last parenthesis group captures another number, the year number

2. There are still 3 parenthesis groups, the first can only be two digits long (we only need to capture a 31 as the biggest number here), then the month can’t contain spaces in its name (and can be 3 to 9 characters long) and the year is expected to be four digits long. I would be happy to fix this 'bug' myself when years will be 5 digits long, provided that no other religion messes with the currently used Gregorian calendar

Version 1.7.8 : améliorations d'ergonomie

2021-10-01T00:00:00+02:00

Un mois et demi après la précédente release, la version 1.7.8 de Meta-Press.es est maintenant en ligne. Cette nouvelle version apporte des améliorations d’ergonomie et un gros effort de mise à jour des sources connues.

Ces améliorations étaient pour certaines attendues de longue date :

un filtre par tranche de date, avec deux sélecteurs de date, pour travailler sur les résultats locaux
une recherche dans les noms des sources ayant donné des résultats (visible si plus de 30 sources ont donné des résultats)
des aides à la sélection de résultats pour l’export avec un bouton "sélectionner tout", ou rien, ou inverser la sélection. Ces boutons ne concernant que les résultats visibles sur la page courante (et il est toujours possible de choisir combien d’éléments sont listés par page)
la liste des sources en attente, lorsqu’une recherche prends suffisamment de temps pour qu’on puisse cliquer sur le petit bouton "+" apparu dans la ligne de statistiques d’une recherche en cours, dès lors que moins de 30 sources sont encore attendues
un bouton "Annuler" qui stoppe la recherche là où elle en est et vous laisser travailler sur les résultats déjà récupérés (quand la précédente implémentation rafraichissait simplement la page, perdant les résultats) Meta-Press.es utilise pour ce faire la récente API JavaScript permettant d’annuler une promesse (qui avait envie de rendre ça possible ?). Un grand merci à @lutindiscret pour nous l’avoir signalée.
- En conséquence, un nouveau réglage est apparu : un délais maximum de recherche ; qui termine automatiquement une recherche au bout de 90s (mais peut être réglé sur 0 pour attendre "à tout jamais" si vous le souhaitez)
une nouvelle ligne de statistiques affichant le nombre de sources sélectionnées ainsi que le nombre de permissions requises pour réaliser la prochaine recherche, le tout avec un bouton pour donner directement les permissions en question

De plus, les expressions régulières des 314 sources actuelles (qui représentent déjà 10k lignes de JSON formaté) ont toutes été scannées par l’outil RegexStaticAnalysis pour vérifier leur vulnérabilité aux attaques de type ReDOS.

25 regex ont été signalées par l’outil comme contenant un degré exponentiel ou infini d’ambiguité (EDA ou IDA) sur les 180 expression analysées. Il s’agissait chaque fois de bornes manquantes, d’utilisation de plusieurs quantificateurs infinis (* or +) à la suite ou d’une construction en 'ou' logique (a|a)* avec en plus un quantificateur infini.

De manière assez surprenante, il a été possible à chaque fois d’améliorer l’expression en question, à la fois pour quelle passe le test et qu’elle fonctionne plus vite (étant définie plus précisément). Par exemple, voici une expression régulière simple et lisible :

(\d+) (.) (\d) ^[1] ;

Qui capture une date (par exemple '23 juillet 2021'), et a été remplacée par :

^(\d{1,2}) ([^ ]{3,9}) (\d{4})$ ^[2] ;

Qui capture la même date, mais avec des bornes autour de la portion de chaîne de caractère (^ pour le début de la chaîne, parce que dans ce cas là on commence au tout début, et $ pour la fin et donc il n’y a rien après le numéro de l’année) et une description plus précise des champs à attraper (nombres précis de chiffres à capturer), nom de mois ne contenant pas d’espace, mais pouvant contenir des lettres accentuées comme ça peut être le cas en français (pour décembre par exemple…). Les exemples trouvés dans les définitions de sources sont généralement un peu plus complexes, mais l’idée principale est bien là.

À nouveau, comme lors de l’audit d’accessibilité, ces modifications résultent en un meilleur code, plus robuste et plus rapide et donc une amélioration globale de Meta-Press.es.

1. Ici les 1ers symboles entre parenthèse permettent de capturer un nombre, celui du jour de la date traitée, la seconde parenthèse attrape n’importe quoi entre deux espaces et dans notre cas ça tombe sur un nom de mois et la dernière parenthèse capture un autre nombre qu’on espère être l’année

2. Où il y a toujours 3 groupes de symboles entre parenthèses, le premier capturant des nombres d’un à deux chiffres (ce qui est suffisant pour capture un 31), puis le nom du mois ne peut plus contenir d’espace (et mesure entre 3 et 9 caractères), et enfin le numéro de l’année comporte forcément 4 chiffres. Je serai très heureux de corriger ce 'bug' moi-même dès que les années seront comptées avec des nombres à 5 chiffres, à conditions qu’aucune religion ne vienne perturber le calendrier grégorien utilisé actuellement)

Version 1.7.7 : security audit

2021-08-11T00:00:00+02:00

As a last step planned in late 2019 and announced here, the NLnet (via the NGI0 consortium which was granted funds from the European Horizon 2020 project) and the RadicallyOpenSecurity company was providing Meta-Press.es a security audit.

The new v1.7.7 release is the result of this audit, with mainly (small) security improvements.

After some delays (in months) in the planning of the audit, everything went smoothly. First I provided credentials to get an account in RadicallyOpenSecurity infrastructure (including a private GitLab repository hosting the audit results and a web chat).

Then came some more waiting (in weeks) for a penetration tester to select Meta-Press.es for its next task (and reviewing a WebExtension seemed not so common). Once a courageous pen.-tester showed up, we started with a video-conference during which we discussed about what Meta-Press.es is and what it intends to do. I was also asked about what potential security issues I would foresee and I was pleased to list points I was wanting to get checked.

Results came during the next weeks with some text chat to keep heading in the right direction. The collaboration was efficient : I learnt a lot, was happy to get mainly good results and finally quite occupied with the effective findings to fix and the recommendations to implement.

The methodology was simple : inspect the castle walls. What comes in, what goes out. All the dependencies were checked, and then the data from fetched sources (with an elaborated network frame inspection setup) and the exported files.

The basics principles of Meta-Press.es were confirmed (no third-party trackers are activated while using Meta-Press.es), source data were correctly sanitized (except in the exotic scenario of JSON-responding sources, which is fixed by this release) and the recommended Two-Factor Authentication (2FA) was already activated for all online services Meta-Press.es relies on (domain name registration, web hosting, Mozilla Addons repository…).

I was advised to further document intended behavior regarding security aspects in addition to how-to report security issues to the project. Stricter Content Security Policy (CPS) rules were also advised as this was already my naïve implementation of this mechanism that got me covered against severe issues in the JSON-responding sources scenario. A fire-wall approach with everything disabled by default and only what’s needed allowed was elected and implemented (which required quite some work to avoid inline CSS for instance).

To finish with security, I’ve been introduced to ReDOS attacks : denial of service through regular expression slow edge-case feeding. Now on, Meta-Press.es source-definitions will be tested against Nicolaas Weidman RegexStaticAnalysis tool (despite the fact that it’s written in Java :-p).

Then, as I updated dependencies I activated the CodeMirror json-lint plugin which allows to underline malformed JSON content in the source creation textarea. I also traded 15 small try/catch blocks in the code against one big that ensure every searches will now have an end (even if a source is causing a bug in Meta-Press.es with an unanticipated answer). Try/catch blocks were non-optimizable portions of code since a long time but things have evolved. Let me know if you hit measurable performance penalties.

A last word about statistics, we can guess that the majority of the users are French (not only because Mozilla reports 75% of french-speaking users, or because I mainly presented Meta-Press.es to french audiences) but also because statistics are dramatically dropping during holidays : from 800 users a day to 550 in mid-august.

Fortunately, the number of sources is still growing, with currently 310 !

PS: A new way of supporting Meta-Press.es has recently been introduced, it’s HelloAsso. It allows one shot donations and to get 100% of your donation sent to the new Meta-Press.es non-profit association (if you click to remove their self-added tip). For the record, the complete list of how to support Meta-Press.es is available here.

Version 1.7.7 : l'audit de sécurité

2021-08-11T00:00:00+02:00

Pour la dernière étape du planning prévisionnel de 2019 annoncé ici, la NLnet (via le consortium NGI0, qui a reçu des fonds de la commission européenne via le projet européen Horizon 2020) et la société RadicallyOpenSecurity engageaient le projet Meta-Press.es dans un audit de sécurité.

La version 1.7.7 est donc le résultat de cet audit, apportant principalement de petits renforts à la sécurité du projet.

Après un certain délais (en mois) dans la planification de l’audit tout s’est bien passé. J’ai fourni des identifiants pour l’ouverture d’un compte sur l’infrastructure de RadicallyOpenSecurity (qui comprend un GitLab privé pour stocker les résultats de l’audit et un web chat).

Une fois cette étape passé, quelques semaines d’attente supplémentaires furent nécessaires pour qu’un analyste en sécurité se planifie Meta-Press.es comme prochaine tâche (et force est de constater que l’analyse d’une WebExtension semblait sortir de l’ordinaire). Un courageux penetration tester s’est finalement signalé et nous avons pu faire connaissance lors d’une visio-conférence inaugurale, au cour de laquelle nous avons pu discuter de la nature du projet Meta-Press.es et de ses objectifs. J’ai également été consulté sur ce qui me semblaient être les points faibles du projet, et j’étais bien content de pouvoir fournir une liste de points délicats à vérifier (ou contre-vérifier).

Les premiers résultats sont arrivés la semaine suivante, guidés par quelques séances de claviotage pour rester en phase entre les attentes et le terrain exploré. La collaboration fut efficace, j’ai beaucoup appris, j’étais content d’avoir principalement de bons retours, et fut finalement fort occupé à régler les quelques problèmes rencontrés et implémenter les recommandations.

La méthodologie était simple : faire le tour des remparts, inspecter ce qui entre et ce qui sort de l’extension. Les dépendances furent passées au crible, puis les données obtenues depuis les sources interrogées (via un environnement élaboré d’interception de trafic réseau) et enfin les fichiers exportés.

Les principes de bases de Meta-Press.es furent confirmés, comme le fait que les mécanismes de suivi publicitaire des journaux ne sont pas activés par l’utilisation de Meta-Press.es, les données étaient correctement nettoyées à l’entrée (sauf dans un cas exotique de source répondant en JSON, ce qui a été corrigé avec cette nouvelle version) et les authentifications à deux facteurs (2FA) recommandées pour les services en ligne auxquels Meta-Press.es fait appel (réservation du nom de domaine, hébergement web, envoi des nouvelles versions à Mozilla…) étaient déjà activées.

Il m’a également été recommandé de documenter un peu plus ce que Meta-Press.es est sensé faire ou ne pas faire et comment prendre contact avec le projet en cas de découverte d’un problème. Ces deux initiatives servant à encourager les experts en sécurité à regarder le code et rapporter leurs découvertes. Il m’a également été conseillé de mettre en place des règles CSP (Content Security Policy) plus strictes, ce que je me suis empressé de faire vu que c’est déjà l’implémentation initiale de ce mécanisme dans le projet qui nous a protégé d’une faille qui aurait pu être sévère dans le traitement des résultats des sources répondant en JSON. Sur ce point une approche en fire-wall a donc été adoptée en désactivant tout par défaut (y compris les règles inutilisées ou à venir) et en ré-autorisant un par un les cas utiles. Cela a demandé pas mal de travail, par exemple pour éviter les règles CSS embarquées dans le HTML, mais c’est à ce prix qu’on s’assure qu’une nouvelle règle CSS ne sera injectée avec un fragment de HTML dans la page…

Pour en finir avec la sécurité, j’ai découvert un nouveau type d’attaque contre un logiciel, le ReDOS. Un déni de service engendré par un traitement trop long d’une entrée par une expression rationnelle (ou régulière). Cela peut se produire lorsqu’on envoi une chaîne de caractères forgée spécialement pour représenter un cas extrême de difficulté pour l’expression régulière qu’on suppose appliquée à un champs de saisie. À partir de maintenant, les définitions de source de Meta-Press.es seront vérifiées à l’aide de l’outil RegexStaticAnalysis (malgré le fait qu’il soit écrit en Java :-p).

Pour cette nouvelle version j’ai également mis à jour les dépendances qui pouvaient l’être (en me notant de le faire à chaque nouvelle version). J’ai aussi activé le module json-lint de l’éditeur de code CodeMirror qui aide à définir de nouvelles sources dans Meta-Press.es afin d’avoir un signalement rapide des erreurs dans le format du JSON saisi. Enfin j’ai échangé 15 petits blocs try/catch contre un gros pour couvrir un peu plus de code et garantir que toutes les recherches aient une fin (même quand une source déclenche un bug dans le code de Meta-Press.es en fournissant une réponse d’un format inattendu). Les blocs try/catch du JavaScript n’étaient pas optimisables par les navigateurs web jusqu’à il y a peu, la modification devrait donc faire gager du temps, mais n’hésitez pas à m’indiquer si vous mesurez au contraire une perte de performance gênante.

Un dernier mot à propos des statistiques d’utilisation, on imagine bien que la majorité des utilisateurs sont français (non seulement parce que Mozilla m’indique que 75% des utilisateurs ont un navigateur réglé en français, ou parce que j’ai principalement présenté Meta-Press.es à des audiences francophones) mais aussi parce que les statistiques s’écroulent durant les vacances d’été : de 800 utilisateurs quotidiens à 550 mi-août.

Heureusement, le nombre de sources continue de grandir lui, avec plus de 310 sources actuellement !

PS: Une nouvelle façon de soutenir le projet Meta-Press.es a récemment vu le jour sur ce site, il s’agit d' HelloAsso. Ce mécanisme permet aux dons ponctuels d’arriver entiers (sans commission) sur le compte de l’Association Meta-Press.es (si vous retirez le pourboire ajouté par la plate-forme). Pour mémoire, la liste complète des moyens de soutenir Meta-Press.es est disponible ici.

3 presentations of Meta-Press.es in public this year

2021-07-28T00:00:00+02:00

Three presentations of Meta-Press.es are already scheduled (or in process to be scheduled) before the end of the year:

2021-10-14 15:00 UTC+2 at La Rochelle : B-Boost.fr (it’s a thursday)
2021-10-21 11:00 UTC+2 at Niort : 6th ForumESS (social economy and solidarity) (in the program)
2021-11-09 --:-- at Paris : Open Source Experience

3 présentations de Meta-Press.es en public cette année

2021-07-28T00:00:00+02:00

Trois présentations publiques de Meta-Press.es sont prévues (ou en candidatures) pour avant la fin de l’année :

2021-10-14 15:00 UTC+2 à La Rochelle : B-Boost.fr
2021-10-21 11:00 UTC+2 à Niort : 6th Forum ESS (dans le programme)
2021-11-09 --:-- à Paris : Open Source Experience

[Ouest-France] Pougne-Herisson: "Defend net neutrality"

2021-06-08T00:00:00+02:00

Simon Descarpentries, computer science engineer, created it’s compagny Meta-Press.es. He made a search engine for the press, an alternative solution to Google News.

Portrait of a free / libre software developer.

Pougne-Hérisson. « Défendre la neutralité du net » (fr)

[Ouest-France] Pougne-Hérisson. « Défendre la neutralité du net »

2021-06-08T00:00:00+02:00

Simon Descarpentries, ingénieur en informatique, vient de créer son entreprise Meta-press.es. Il a créé un moteur de recherche dédié à la presse, une solution alternative à Google actualités.

Portrait d’un développeur de logiciels libres.

Pougne-Hérisson. « Défendre la neutralité du net »

[ZDNet France] Almost a Google News in free software: Meta-Press.es, tailor-made news aggregator

2021-04-28T00:00:00+02:00

Open Source : Firefox’s extension, under a free / libre licence and to configure by yourself, Meta-Press.es aims to replace news aggregators like Google News for Bing News "in most occasions".

300 sources
Impossible to track users
Press review helper
[About] opposition between Google and online press editors
Light budget for XXL project

Presque un Google Actus libre: Meta-Press.es, agrégateur de news sur mesure (fr)

[ZDNet France] Presque un Google Actus libre: Meta-Press.es, agrégateur de news sur mesure

2021-04-28T00:00:00+02:00

Open Source : Extension de Firefox, sous licence libre et à paramétrer soi-même, Meta-Press.es ambitionne de remplacer les agrégateurs d’actus comme Google News ou Bing News « dans la plupart des cas ».

300 sources
Traçage impossible des utilisateurs
Aide à la réalisation de revues de presse
[À propos du] Bras de fer entre Google et les éditeurs de presse en ligne
Budget light pour projet XXL

Presque un Google Actus libre: Meta-Press.es, agrégateur de news sur mesure

6 presentations of Meta-Press.es via visio-conference in 5 weeks

2021-04-27T00:00:00+02:00

Six online events are scheduled for Meta-Press.es :

thursday the 25th of march 2021 at 21h00 (Paris time) on the impulsion of Goagul for its usual "3rd thursday of Free Software" and held via Meet Jit.si:
- Click here to join (fr)
- Click here for more info… (fr)
saterday the 27th of march 2021 at 19h30 (Paris time) on the impulsion of FACiL for the "State of Free culture in 2021" event:
- Click here to join (fr)
- Click here for more info… (Confirmed) (fr)
- Click here for the replay (fr)
tuesday the 6 avril 2021 at 23h59 (so wed. early morning, Paris time) Meta-Press.es at the Linux-Meetup Montréal via BigBlueButton:
- Click here to join (fr)
- Click here for more info… (fr)
saterday 10th of april 2021 at 9h30 (Paris time) on the impulsion of Oisux for their usual "evening chats" saterday of Free Software" and held via BigBlueButton:
- Click here to join (fr)
- Click here for more info… (fr)
thursday 15th of april 2021 at 20h30 (Paris time) on the impulsion of Parinux for their usual "Free software evening chats" and held via BigBlueButton:
- Click here for more info… (fr)
- Click here for the replay (fr)
wednesday 21st of april 2021 at 18h00 (Paris time) on the impulsion of Montpel’Libre via Meet Jit.si:
- Click here to join (fr)
- Click here for more info… (fr)

For each events regular members of each associations will be connected, but the servers are open and capable of hosting numerous participants. Don’t hesitate to note the date that suits you.

The idea is simple, to present Meta-Press.es : why, how to install it, working principles, choices of architecture, new features, how to join the team and contribute…

Don’t hesitate to handover this announcement, and to contact me if you want to setup other events like this worldwide and in english or spanish (or even in esperanto).

6 présentations de Meta-Press.es en visioconférences en 5 semaines

2021-04-27T00:00:00+02:00

Six évènements en ligne sont prévus pour Meta-Press.es :

le jeudi 25 mars 2021 à 21h00 à l’initiative de Coagul lors de son habituel 3e jeudi du libre et via Meet Jit.si :
- Cliquez ici pour rejoindre l’évènement
- Cliquez ici pour plus d’informations…
le samedi 27 mars 2021 à 19h30 (heure de Paris) à l’initiative de FACiL pour l’évènement « L’état du libre en 2021 » :
- Cliquez ici pour rejoindre l’évènement
- Cliquez ici pour plus d’informations… (la participation de Meta-Press.es est confirmée)
- Cliquez ici pour revoir l’évènement
le mardi 6 avril 2021 à partir de 23h59 (donc le mercredi 7 avril, très tôt, heure de Paris) présentation Meta-Press.es au Linux-Meetup Montréal via BigBlueButton :
- Cliquez ici pour rejoindre l’évènement
- Cliquez ici pour plus d’information…
le samedi 10 avril 2021 à 9h30 à l’initiative d’Oisux à l’occasion de ses évènements réguliers les « samedi(s) du libre » et via BigBlueButton :
- Cliquez ici pour rejoindre l’évènement
- Cliquez ici pour plus d’informations…
le jeudi 15 avril 2021 à 20h30 à l’initiative de Parinux à l’occasion de ses évènements réguliers « SCL » (Soirées Conversation autour du Libre) et via BigBlueButton :
- Cliquez ici pour plus d’informations…
- Cliquez ici pour revoir l’évènement
le mercredi 21 avril 2021 à 18h00 à l’initiative de Montpel’Libre via Meet Jit.si :
- Cliquez ici pour rejoindre l’évènement
- Cliquez ici pour plus d’information…

Dans chaque cas des membres des associations organisatrices seront présents mais les serveurs sont ouverts et capables d’accueilir de nombreux participants. N’hésitez donc pas à retenir la date qui vous convient.

L’idée est simple, présenter Meta-Press.es : quel est le besoin, comment on l’installe, son architecture, ses nouvelles fonctionnalités, comment contribuer…

N’hésitez pas à relayer cette annonce, et contactez-moi si vous souhaitez vous aussi organiser un évènement de ce type.

Video of the Meta-Press.es' presentation for Parinux

2021-04-20T00:00:00+02:00

The Parinux association just uploaded the video of the presentation of Meta-Press.es held for their "Free software evening chat" of the thursday 15th of april 2021.

Meta-Press.es : decentralized and ecological search engine protecting your privacy, by Simon D. (1h 28min 24sec) (fr)

More than 160 people attended Meta-Press.es presentations so far and there were 600 downloads during the last 90 days.

By the way, the next presentation will take place the wednesday 21st of april 2021 at 18h00 (Paris time) on the impulsion of Montpel’Libre via Meet Jit.si. Click here to join. Click here for more info… (fr)

Vidéo de la présentation de Meta-Press.es pour Parinux

2021-04-20T00:00:00+02:00

L’association Parinux a mis en ligne la vidéo de la présentation de Meta-Press.es réalisée lors de la « Soirée Conversation autour du Libre » du jeudi 15 avril 2021.

Meta-Press.es : moteur de recherche décentralisé, écologique et protégeant la vie privée, par Simon D. (1h 28min 24sec)

Plus de 160 personnes ont assisté aux présentations de Meta-Press.es cette année et il y a eu 600 téléchargements dans les 90 derniers jours.

Au passage une présentation aura encore lieu le mercredi 21 avril 2021 à 18h00 à l’initiative de Montpel’Libre via Meet Jit.si. Cliquez ici pour rejoindre l’évènement. Cliquez ici pour plus d’information…

[C mon Territoire 79] Europe funds a project made in the Belly button of the World

2021-03-30T00:00:00+02:00

Offering an alternative solution to the digital giant Google News, Simon Descarpentries, computer science engineer, did it !

This web enthusiast just created meta-press.es, a decentralized search engine that helps to automatize press reviews. Settled with his little familly at Pougne-Hérisson since 5 years, his home is also his work place. Hours dedicated to the developpement of free software that help to liberate from Google.

1. Free access for all

« During 5 years I’ve been benevolant in an association to make its press review, so I had the opportunity to imagine the perfect tool. In 2019, the dutch foundation NLnet accepted my application and helped me to set up the project with european funds. »

Without middleman and freely distributed, once installed on Firefox meta-press.es is decentralized. Respecting your private life and without advertisement, it’s your computer that handle the searches, with no need for an server somewhere else. You can select the sources to search in, export your results, it’s simple with just a few clicks ! Today 285 newspapers are accessible from 53 countries and in 22 languages ^[1]. Allow the medias to gain independence from digital giants, it might be the solution !

2. Call for donations

Sponsorships, partnerships and donations are now essential to perpetuate this economic model, which already attracts more than 550 users per day ^[2] ^[3]

L’Europe finance un projet réalisé dans le Nombril du Monde (fr)

1. At the time of copying this, it’s 326 sources.

2. The original article mistakenly reported the user count as users by week.

3. The 2021-03-30 Meta-Press.es has 700 daily users.

[C mon Territoire 79] L'Europe finance un projet réalisé dans le Nombril du Monde

2021-03-30T00:00:00+02:00

Proposer une solution alternative au géant du numérique, Google Actualités, Simon Descarpentries, ingénieur en informatique l’a fait !

Ce passionné du web vient de créer meta-press.es, un moteur de recherche décentralisé et une revue de presse automatisée. Installé avec sa petite famille à Pougne-Hérisson depuis bientôt 5 ans, son domicile est aussi son lieu de travail. Des heures consacrées à développer des logiciels libres et ainsi éviter Google.

1. Accès libre tout public

« Bénévole pendant 5 ans dans une association à m’occuper de la revue de presse, j’ai pu imaginer l’outil. En 2019, la fondation néerlandaise NLnet a retenu ma candidature et m’a aidé à monter mon projet sur des fonds européens. »

Sans intermédiaire et distribué gratuitement, une fois installé sur Firefox, meta-press.es est décentralisé. Dans le respect de votre vie privée, sans publicité, c’est votre ordinateur qui fait la recherche sans passer par un serveur. Filtrer les sources, les thèmes recherchés, exporter l’information, c’est simple en un clic ! Aujourd’hui 285 journaux sont accessibles dans 53 pays et 22 langues ^[1]. Permettre aux médias de gagner en indépendance vis-à-vis du géant du numérique, c’est peut-être ça, la solution !

2. Un appel aux dons

Mécénats, partenariats, dons sont aujourd’hui indispensables pour pérenniser ce modèle économique, qui séduit déjà plus de 550 utilisateurs par jours ^[2] ^[3].

L’Europe finance un projet réalisé dans le Nombril du Monde

1. Au moment de recopier cet article, Meta-Press.es compte 326 sources.

2. Correction apportée sur l’article original qui mentionnait par erreur un décompte d’utilisateurs par "semaines".

3. Au 30 mars 2021 Meta-Press.es compte 700 utilisateurs quotidiens.

CANCELLED : Meta-Press.es at the JDLL 2021

2021-03-22T00:00:00+01:00

The exact date and time are not known yet, but a presentation of Meta-Press.es will take place at the JDLL 2021, the saterday 3rd of April 2021 or sunday the 4th.

"22nd days of Free Software in Lyon : concrete and accessible utopias Utopies"

The event, that the association ALDIL has the courage to organise despite the risk of sanitary lock-in, is calling for crowdfunding.

This blog entry will be updated as soon as the exact date and time of Meta-Press.es presentation will be known.

PS the 2021-02-19 : the Meta-Press.es presentation will be saterday the 3rd of april 2021 in the « Vie citoyenne » space.

PPS the 2021-03-22 : the JDLL team just announced to speakers that the event is cancelled (due to restrictive measures running against COVID-19 sanitary crisis). The JDLL website will soon presents the subjects that should have been discussed.

ANNULÉ : Meta-Press.es aux JDLL 2021

2021-03-22T00:00:00+01:00

La date exacte et le créneau horaire ne sont pas encore connus, mais une présentation de Meta-Press.es aura lieu aux JDLL 2021 les samedi 3 avril 2021 et dimanche 4.

« Les 22e Journées du Logiciel Libre, Lyon : Utopies concrètes et accessibles »

L’évènement, que l’ALDIL a le courage de s’organiser malgré le risque de reconfinement, fait d’ailleurs l’objet d’une campagne de financement participatif.

Ce billet sera mis à jour dès que le créneau de la présentation de Meta-Press.es sera connu.

PS du 2021-02-19 : la présentation de Meta-Press.es aura lieu le samedi 3 avril 2021 à 12h30 dans l’espace « Vie citoyenne ».

PPS du 2021-03-22 : l’équipe d’organisation des JDLL vient d’annoncer aux conférenciers que l’évènement n’aura pas lieu (pour cause de restrictions dues à la crise sanitaire engendrée par le COVID-19). Le site web de l’évènement se fera prochainement l’écho des sujets qui auraient dûs être présentés.

[Sources!] Siltaar presents Meta-Press.es

2021-03-19T00:00:00+01:00

Podcast : Siltaar presents meta-press.es (fr)

Siltaar presents us the meta-press.es WebExtension for Firefox, that he developped starting from the laquadrature press review needs.

Meta-Press.es ease the search and monitoring of news, querying directly the search feature of newspaper websites (285 sources are available currently), or other (date driven) contents like scientific publications or agendas (Demosphere.net).

From the 1st version released of Meta-Press.es, it was possible, for tech savvy users to add their own sources to Meta-Press.es, with a dedicated interface in the WebExtension, and the existing sources as example. This task is also well documented.

In addition to browse search results from the differents sources, and present them to the user in chronological order, this WebExtension protects the users against ad-trackers, newspapers and social ones too.

To finish Meta-Press.es is working on Tor Browser!

[Sources!] Siltaar présente Meta-Press.es

2021-03-19T00:00:00+01:00

Podcast : Siltaar présente meta-press.es

Siltaar nous présente l’extension meta-press.es qu’il a développé en partant des besoins de revue de presse de laquadrature.

Elle facilite la recherche et le suivi d’actualités en allant interroger les fonctions de recherche directement disponibles sur les différents sites de presse (285 sources actuellement) ou d’autres contenus comme certaines publications scientifiques ou les agendas de Demosphère.

Dès la première version chaque utilisateur·ice qui ne craint pas quelques lignes de codes, peut ajouter ses propres sources et peut s’inspirer des sources déjà présentes dans l’extension. Cette partie est bien documentée.

En plus d’aller parcourir les résultats de recherche des différentes sources pour en ramener un contenu triés par date de publication, elle protège contre les traqueurs publicitaires.

L’extension fonctionne sur Tor Browser !

Version 1.7.1 : ergonomic improvements and feedback from Rochelug

2021-03-16T00:00:00+01:00

The Meta-Press.es v1.7.1 has just been validated by Mozilla and will arrives in the web browsers of its users in the next hours (but you can still uninstall and re-install it to get the update sooner ^_^ or if you encounter a problem with scheduled searches :-/).

This new version brings a lot of under the surface things (like the automated test of sources, at last, acceleration of some treatments…), fix of dozens of sources (consequently), but most of all ergonomic improvements :

the main interface is now more sober
a welcome page has been added, which opens up only after the installation and tells the user to click on the button in the toolbar
the source creation feature is now separated from the regular settings in its own page
the headlines (now news) have a better presentation (border, width…)
better presentation also for the results, especially with images and/or long texts

The screenshots have been updated accordingly here : https://addons.mozilla.org/en-US/firefox/addon/meta-press-es/

Moreover, the communication efforts of the last months are fruitful with more than 500 downloads within 90 days and a recent record of 690 users in 24h. This last statistic may be surprising while compared with the ciphers announced last year, but Mozilla changed its way count users this summer ^[1] and rewrote the history of statistics of Meta-Press.es, cutting it by a half (ouch !). So we will soon reach 800 daily users, again, and it’s just a beginning.

Most of the ergonomic improvements bring by this new version are in fact due to feedback from the members of the 3 associations which where represented during the video-presentation of Meta-Press.es organized last week by the Rochelug association.

Ten persons were connected and I met different profiles : retired users, web developers, researchers and even an university librarian ! Talks were constructives et already turn into new lines of code in this new version.

Don’t forget the live presentation of Meta-Press.es next sat. 10th of april.

To finish, don’t hesitate to test Meta-Press.es again, to talk about it around you and to financially support it if you can.

1. Seems to have been the sun. 9th of august 2020 as I haven’t any previous download history

Version 1.7.1 : améliorations d'ergonomie et retours du Rochelug

2021-03-16T00:00:00+01:00

La version 1.7.1 de Meta-Press.es vient d’être validée par Mozilla et arrivera dans les navigateurs des utilisateurs l’ayant installé dans les prochaines heures (il est sinon possible de retirer et ré-installer Meta-Press.es pour l’avoir plus vite ^_^ ou si vous rencontrez un problème avec les recherches programmées :-/).

Cette nouvelle version ajoute pas mal de choses sous la surface (test automatisé des sources, enfin, accélération de certains traitements…), réparation de dizaines de sources (du coup), mais surtout beaucoup d’améliorations concernant l’ergonomie de l’extension :

une page d’accueil plus sobre par exemple
une page de bienvenue, qui ne s’ouvre qu’à l’installation et rappelle de cliquer sur l’icône de la barre d’outils
la fonctionnalité d’ajout des sources séparée dans une page dédiée (pour ne pas encombrer les réglages)
une meilleure intégration des actualités dans l’interface principale
une meilleure présentation des résultats comportant des images et/ou un long texte.

Les captures ont été mises à jour ici : https://addons.mozilla.org/fr-FR/firefox/addon/meta-press-es/

De plus, les efforts de communication des derniers mois portent leurs fruits, avec plus de 500 téléchargements en 90 jours et une récente pointe à 690 utilisateurs sur 24 heures. Cette dernière statistique peut paraître surprenante par rapport aux chiffres avancés l’année dernière, mais cet été ^[1] Mozilla a changé de méthode de comptage des utilisateurs et a ré-écrit son historique de données en le divisant par deux (ouch !). Du coup nous allons bientôt à nouveau arriver à 800 utilisateurs quotidiens, et ce n’est qu’un début !

La plupart des améliorations ergonomiques apportées par cette nouvelles version correspondent à des retours des membres des trois associations représentées lors de la présentation de Meta-Press.es organisée en visio-conférence par l’association Rochelug.

10 personnes étaient connectées pour cette présentation. J’ai pu y rencontrer divers profils : utilisateurs retraités, développeurs, chercheurs et même un bibliothécaire universitaire ! Les échanges furent très constructifs et ont donc déjà débouchés sur des améliorations concrêtes dans cette nouvelle version.

N’oubliez pas la prochaine présentation de Meta-Press.es en visio-conférence le samedi 10 avril prochain.

Pour finir, n’hésitez pas à tester à nouveau Meta-Press.es, à présenter ce projet autour de vous et à le soutenir financièrement si vous le pouvez.

1. A priori le 9 août 2020, vu que je n’ai plus d’historique de téléchargement avant cette date.

Two presentations of Meta-Press.es via visio-conference this spring

2021-02-24T00:00:00+01:00

Two online events are scheduled for Meta-Press.es :

thursday the 4th of march 2021 at 20h00 (Paris time) on the impulsion of Rochelug for its usual "1st thursday of Free Software" and held via Jit.si Meet ^[1]
saterday 10th of april 2021 at 9h30 (Paris time) on the impulsion of Oisux for their usual "saterday of Free Software" and held via BigBlugButton

For both events regular members of each associations will be connected, but the servers are open and capable of hosting numerous participants. Don’t hesitate to note the date that suits you : a week evening or a saterday morning.

The idea is simple, to present Meta-Press.es : installation, working principles, choice of architecture, new features, how to join the team and contribute…

Don’t hesitate to handover this announcement, and to contact me if you want to setup other events like this worldwide and in english or spanish (or even in esperanto).

1. Contact meta-press.es arobase d12s.fr to get the URL of the right channel.

Deux présentations de Meta-Press.es en visioconférences ce printemps

2021-02-24T00:00:00+01:00

Deux évènements en ligne sont prévus pour Meta-Press.es :

le jeudi 4 mars 2021 à 20h00 à l’initiative du Rochelug lors de son habituel 1er jeudi du libre et via Jit.si Meet ^[1]
le samedi 10 avril 2020 à 9h30 à l’initiative d’Oisux à l’occasion de ses évènements réguliers les « samedi(s) du libre » et via BigBlugButton

Dans les deux cas des membres des associations organisatrices seront présents, mais les serveurs sont ouverts et capables d’accueilir de nombreux participants. N’hésitez donc pas à retenir la date qui vous convient, un soir en semaine ou un samedi matin.

L’idée est simple, présenter Meta-Press.es : son installation pas à pas, son fonctionnement, ses choix d’architecture, ses nouvelles fonctionnalités, comment contribuer…

N’hésitez pas à relayer cette annonce, et contactez-moi si vous souhaitez vous aussi organiser un évènement de ce type.

1. Contacter meta-press.es arobase d12s.fr pour avoir l’adresse du salon utilisé.

Version 1.7 : scheduled searches and agenda source type

2021-02-10T00:00:00+01:00

A lot of work was needed to add a simple ⏰ schedule search button in the main interface. It required quite some design work to keep things simple in appearance, a shipment of WebExtension specific code (quite different from usual web code) and it required dealing with time zones…

Here is an extract from the newly written documentation about it :

Once you typed your search terms and selected the sources you wanna search in, it’s possible to save the search for later instead of launching it immediately. It’s the role of the ⏰ Schedule search button under the source selection. This button opens a new tab on the "Settings" scrolled to the Scheduled searches part.

Figure 1. Scheduled searches, on dark background interface

This table shows a scheduled search by line. When created, a scheduled search is in "Stop" state, but you just have to select the date, time and periodicity you want for this search to have it activated.

So you can schedule a daily search in a few clicks.

Actions are possible on scheduled searches:

the ✏️ "pen" button allows to edit the search, it opens the main search interface with the scheduled search settings (search terms, source selection). Once modified, your search settings can be saved clicking on the "Schedule search" button of the main interface ;
the 2nd button, with a copy/paste icon, allows to clone a scheduled search to get another one, that you can configure with the previously described button ;
the 3rd button, with a cross on it allows to delete a scheduled search ;
the 4th and last button allows to manually start the search from the table.

You can also schedule many different searches, or use the feature just to bookmark your favorite searches. But in this last case, you might prefer to check the documentation on 🔗 permalinks and bookmarks :

When a search is finished a statistics line appears on top of the listed results. This line is fitted with a 🔗 "chain link" icon at the end. This icon allows you to launch the same search again.

Figure 2. Search permalink icon

So it’s possible to create bookmarks for your favorite searches (sparing configuration time).

To get back to the scheduled searches, an interesting feature is that they come with own notifications, which only pops up if news results where found since the last occurrence of the search. This feature is a big step toward the claimed "Automatized press reviews".

About documentation, the source "cherry-picking" feature has also been added to the documentation page :

It is possible to select the sources you wanna query, one by one.

To do so, you first need to deploy the advanced search panel, clicking on the [ + ] sign in "Advanced search [+]" title. This will display 2 lines of source filtering criterion, and a line of buttons :

reset filters
list source
add source
scheduled search

A click on the "list source" button displays a 2nd panel showing the list of all the sources. Different tabs allow you add a specific source to the next search, or remove some others.

The "magnifier" icon, on each source line, set the next search to be performed in this specific source only.

Figure 3. Cherry-pick sources

This was very easy to implement, but still it represents a huge difference between Google News and Meta-Press.es. With this feature in particular, and the whole tag-based source filtering mechanism, Meta-Press.es is giving control back to the users instead of popping up results out of the blue. With Meta-Press.es, you know in which sources you searched in, with Google News you have to believe that the selection made was the good one.

And it’s still this tag-based source filtering mechanism which allows to add more and more source types. After the newspapers, the scientific press, the photos and videos, here comes the new Agenda source type, illustrated by nothing less than 28 instances of the militants online agendas Demosphere.net, from 4 different countries. Waiting for Peertube v3 to add a global search feature across all its instances, Meta-Press.es allows you today to search in all the instances of Demosphere (or in the 286 registered sources).

Imagination is the main limitation of the source types that can be added to Meta-Press.es, every date-driven contents can be queried. Don’t hesitate to suggest new source types opening "issues" in the code repository.

To finish, you might have to set back some of your parameters in the settings as the persist() storage mechanism changed its behavior during the new year celebrations, obliging us to switch to another browser storage API. Your custom defined sources should remain safe (but what, you have some sources that you didn’t sent to us ;-).

Version 1.7 : recherches programmées et type de sources Agenda

2021-02-10T00:00:00+01:00

Il aura fallu beaucoup de travail pour ajouter ce simple bouton ⏰ recherche programmée dans l’interface principale. Cela demandait pas mal de travail de conception pour garder les choses simples en apparence, une cargaison de code spécifique aux WebExtensions (différent du code habituel des pages web) et enfin il fallu affronter l’enfer des fuseaux horaire.

Voici un extrait de la documentation (rédigée pour l’occasion) :

Une fois les termes de recherche saisis et la sélection des sources faites, vous pouvez sauver ces réglages et programmer la recherche pour plus tard au lieu de la lancer immédiatement. Il suffit pour ça de cliquer sur le bouton ⏰ Recherche programmée. Ce bouton ouvre l’onglet des réglages sur la partie réservée à la gestion des recherches programmées.

Figure 1. Recherches programmées, avec interface en fond sombre

Ce tableau montre une ligne par recherche programmée. À sa création, une recherche programmée est "Désactivée", mais il suffit de régler la date et l’heure de sa prochaine exécution et de choisir sa périodicité pour qu’elle s’active.

Vous pouvez ainsi programmer une recherche quotidienne en quelques clics.

Des actions sont possibles sur chaque recherche :

le 1er bouton, avec un crayon ✏️, ouvre un onglet sur l’interface principale, configurée avec les paramètres de cette recherche (termes de recherche, choix des sources). Si vous modifiez ces réglages vous pouvez les sauver en cliquant sur le bouton de recherches programmées de l’interface principale ;
le 2e bouton, avec une icône copier/coller permet de cloner une recherche programmée pour en faire une deuxième, configurée différemment ;
le 3e bouton, avec une croix, permet de supprimer une recherche programmée ;
le 4e et dernier bouton permet de lancer manuellement la recherche en question.

Vous pouvez donc programmer différentes recherches sur différents sujets à différentes fréquences, ou encore simplement utiliser cette fonctionnalité en guise de marque-pages pour vos recherche favorites. Toutefois, si vous voulez vraiment créer des 🔗 marque-pages, c’est aussi prévu :

Lorsqu’une recherche est terminée une ligne de statistiques apparait au dessus des premiers résultats. Cette ligne comporte une icône "maillons de chaîne" 🔗 en fin de ligne. Cette icône est un lien permettant de lancer cette recherche à nouveau.

Figure 2. Icône "maillons de chaîne" du permalien

Il est ainsi possible de créer un marque page sur sa recherche favorite, sans avoir à la configurer à chaque fois.

Pour en revenir aux recherches programmées, un détail important est qu’elles viennent avec leur propre notifications, qui n’apparaissent que si de nouveaux résultats ont été trouvés lors de la recherche, par rapport à sa dernière exécution programmée. Cette fonctionnalité est un grand pas en avant sur le chemin des « Revues de presse automatisées ».

À propos de documentation, la sélection de source à l’unité est elle aussi désormais documentée :

Il est possible de choisir une par une les sources dans lesquelles ont souhaite chercher.

Pour cela, il faut déplier le panneau de recherche avancée, en cliquant sur le [ + ] du titre "Recherche avancée [+]". Deux lignes apparaissent alors comportant divers critères et une 3e ligne présente des boutons :

remise à zéro des filtres,
lister les sources,
ajouter une source,
automatiser une recherche.

Un clic sur le bouton "Liste des sources" fait apparaitre un 2e volet permettant de parcourir la liste des sources, d’ajouter des sources à la sélection courante ou d’en retirer.

L’icône de loupe, sur chaque ligne de source, permet de régler la prochaine recherche sur cette source uniquement.

Figure 3. Recherche avancée

Ça c’était facile à implémenter et pourtant ça représente une grosse différence entre Google Actualités et Meta-Press.es. Avec cette fonctionnalité en particulier, et sinon tout le mécanisme de sélection des sources par étiquettes, Meta-Press.es redonne à l’utilisateur le contrôle de ses sources d’information, au lieu de se contenter de résultats venus d’on ne sait où. Avec Meta-Press.es, vous savez dans quelles sources la recherche s’est effectuée, alors qu’avec Google vous devez espérer que leur sélection soit la bonne.

Et c’est à nouveau ce mécanisme de sélection de sources par étiquettes qui permet d’ajouter toujours plus de types de sources. Après les journaux, la presse scientifique, les photos et les vidéos, cette version ajoute le type de source Agenda, représenté en premier lieu par la collection complète des 28 instances de Demosphere.net (étalées sur 4 pays). En attendant que Peertube v3 ajoute une fonctionnalité de recherche à travers toutes ses instances, Meta-Press.es permet dès aujourd’hui de faire des recherche à travers toutes les instances de Demosphere, ou dans l’ensemble des 286 sources référencées.

D’ailleurs c’est surtout notre imagination qui limite les types de source qu’il est possible d’ajouter à Meta-Press.es. Tous les contenus dont la date fait la pertinence peuvent être traités par Meta-Press.es. N’hésitez pas à en suggérer de nouveaux, en ouvrant un ticket (en français) dans le dépôt de code.

Pour finir, vous aurez peut être à remettre en place quelques réglages avec cette nouvelle version car la méthode d’enregistrement des paramètres (API storage et méthode persist()) a changé de comportement pendant les vacances de fin d’année, nous obligeant à changer d’API. Vos sources personnalisées ne seront toutefois pas impactées (mais comment !? vous avez des sources que vous n’avez pas encore envoyées à Meta-Press.es ? ;-).

[La voix est libre - Picasoft] Meta-press.es, a tool to search in news

2021-02-07T00:00:00+01:00

Podcast : Meta-Press.es, a tool to search in news (fr)

The guest : Simon Descarpentries aka Siltaar, CEO at Acoeuro.com, main developper of Meta-Press.es

Questions of the interview :

Why wanting to avoid Google News ? What is the power of News search engines ?
What is Meta-Press.es ? Why is it a good answer ?
How to use Meta-Press.es ?
How are sources of Meta-Press.es keept up to date ?
How are chosen the available sources of Meta-Press.es and how to choose in which you want to search ?
Why a Firefox add-on ?
What are AMPs and what troubles do they make for newspapers ?
Why certains sources are incompatible with Meta-Press.es ?
How many users do Meta-Press.es already count ?
How to help and support the project ?

[La voix est libre - Picasoft] Meta-press.es, un outil de recherche dans l'actualité

2021-02-07T00:00:00+01:00

Podcast : Meta-Press.es, un outil de recherche dans l’actualité

L’invité : Simon Descarpentries aka Siltaar, associé d’Acoeuro.com, développeur principal de Meta-Press.es

Principaux points abordés :

Pourquoi ne plus vouloir utiliser Google Actualités ? Quel pouvoir ont les moteurs de recherche d’actualité ? Pourquoi l’article 11 ?
Qu’est-ce que méta presse ? En quoi est-ce une bonne réponse ?
Pourquoi développer méta-presse ? En quoi est-il fondamentalement différent de méta press.es ?
Comment utiliser Meta-Press.es
Comment sont choisies les sources disponibles sur Meta press.es
Pourquoi un add-on mozilla ?
Que sont les AMP ? En quoi sont-elles un problème pour les patrons de presse ?
Certains journaux comme le monde sont incompatibles, pourquoi ?
Combien d’utilisateurs sur Méta press.es ?
Comment soutenir méta press.es ?

[Underscore] Émission Underscore #214 of the 31st jan. 2021

2021-01-31T00:00:00+01:00

Radio podcast.

Here is a transcription of the big lines :

1. Subject : Meta-Press.es (interview Siltaer)

1.1. How can we introduce you ?

Web artisan…

1.2. How came the idea of Meta-Press.es ?

From 5 years of press review of La Quadrature du Net…

1.3. What is it userful for ?

To search in newspapers…

1.4. How is it different from RSS readers ?

It use newspapers own search engines…

1.5. How to help you ? (giving money ?)

The best way to help me is to contribute, source code, or new sources.

Then one can help getting Meta-Press.es known.

Lastly, you can help me dedicating time to the project via Patreon (or Liberapay).

1.6. You have other projects if I’m right, can you tell us about them ?

There are Meta-Press.es side projects : month_nb, and gettext_html_auto.

But also the Grimoire-Command.es blog.

Émission Underscore #214 du 31 janvier 2021 (fr)

[Underscore] Émission Underscore #214 du 31 janvier 2021

2021-01-31T00:00:00+01:00

1. Actu

[…]

2. Sujet : Meta-Press.es (interview Siltaer)

2.1. Comment te présente-t-on ?

Artisan du web (à mon compte via Acoeuro.com), ingénieur en informatique, engagé dans des associations (April, FDN, LQDN…).

Aujourd’hui, plus localement sur Bressuire, je m’investi dans le LUG de la ville GEBULL (qui couvre toute la moitier nord du département) et j’y répare entre autre bénévolement des Fairphones…

2.2. Comment t’es venue l’idée de Meta-Press.es ?

Justement en travaillant sur la revue de presse de la Quadrature du Net (pendant 5 ans). Il y avait beaucoup de travail et un outil sur mesure m’aurait permis d’être plus efficace et d’économiser du sommeil. Meta-Press.es c’est cet outil, il permet d’économiser 80% du temps qu’il me fallait pour réaliser la revue de presse en s’affranchissant de la plupart des copier/coller.

Mais Meta-Press.es, c’est aussi l’outil dont j’ai rêvé à l’époque pour remettre de la cohérence dans ma tâche. En effet, jusque là la revue de presse de la Quadrature s’appuyait surtout sur Google Actualités, alors que Google c’est le fer de lance des GAFAM, et donc une entreprise qui se retrouve souvent sous le feu des critiques de la Quadrature du Net. C’était assez inconfortable de dépendre d’un outil fourni par un ennemi.

C’est l’occasion de dire que la revue de presse c’est une action assez méconnue mais essentielle dans le fonctionnement de LQDN, qui permet notamment de monter en compétence sur des sujets puisqu’on est obligé du coup de lire tous les articles qui en parlent et s’en imprégner. (Coucou quota, coucou G0f !) C’est donc un bon point de départ pour contribuer à La Quadrature !

2.3. Et ça sert à quoi ? À qui s’adresse cet outil ?

Alors Meta-Press.es, ça sert à effectuer des recherches dans plusieurs journaux en même temps. Des centaines de journaux, qui permettrent de récupérer des milliers de résultats. Meta-Press.es les trie par ordre chronologique et on retrouve rapidement ce qui fait l’actualité d’un sujet.

Meta-Press.es va vite, protège la vie privée de ses utilisateurs (en évitant de charger les trackers publicitaires des journaux) et permet de s’affranchir de tout intermédiaire entre votre ordinateur et les journaux consultés. Rien ne passe par les serveurs de Meta-Press.es avec la promesse qu’on y touche pas, car il n’y a pas de serveurs pour Meta-Press.es. C’est bon pour le climat, exit les datacenters au cercle polaire… L’outil est véritablement décentralisé, c’est votre ordinateur qui bosse.

Meta-Press.es s’adresse à tous ceux qui utilisent Google Actualités, ou qui se retenaient de l’utiliser parce que c’était un outil Google. À toutes les associations qui ont une revue de presse à faire, à tous les journalistes qui font de la veille sur la presse… À tous ceux qui veulent approfondir un sujet d’actualité et croiser les sources. Ou encore à ceux qui contribuent à Wikipedia et cherchent plus de sources pour un article. Les usages sont nombreux.

Après, l’outil s’adresse à ceux qui utilisent Firefox, puisqu’il s’agit d’une extension du navigateur web Firefox. On l’installe depuis le magasin d’extensions de Mozilla, ça ajoute une icône à la barre de tâche et on ouvre le moteur de recherche en cliquant sur cette icône.

Au delà des simples recherches, il est possible d’exporter et importer des résultats (tous où une sélection seulement), de les filtrer par date ou par mots-clés, de choisir finement de quels sources chercher (il y a des journaux, des photos de la presse scientifique), et on pourra même prochainement programmer une recherche pour qu’elle se lance toute seule !

2.4. En quoi est-il différent d’outils comme Flus ou des aggrégateurs RSS ?

(On rappelle qu’on a fait une émission au sujet des flux RSS)

Un agrégateur de flux RSS permet de s’abonner à des “sites webs” pour aller en chercher le nouveau contenu régulièrement. Il conserve ces contenus et permet de parcourir l’historique. Meta-Press.es par contre, va chercher du contenu (éventuellement ancien) à partir des moteurs de recherche des journaux référencés.

Une fois la recherche terminée, quand on lance une nouvelle recherche, les précédents résultats récupérés sont évacués.

La confusion pourrait venir du fait que Meta-Press.es utilise le format RSS pour exporter les résultats d’une recherche, et donc les ré-importer.

Et même encore mieux, Meta-Press.es permet de sélectionner des résultats, pour n’exporter que les résultats voulus.

2.5. D’ailleurs, techniquement, on utilise aussi les flux RSS ? Y en a pas toujours à disposition, si ?

Parmis les 250 sources dans lesquelles Meta-Press.es sait chercher, un quart proposer un flux RSS des résultats d’une recherche. On utilise alors prioritairement ces flux, car leur mise en forme est standard et constante. Pour les autres sources, il faut analyser l’interface web de la page des résultats, et cette interface est susceptible de changer au gré des caprices du département marketing…

Donc non, il n’y a pas toujours un flux de dispo, et c’est bien dommage, car ça nous simplifie bien la vie quand il y en a un.

2.6. Comment peut-on t’aider ? On peut donner des pépètes ?

Le meilleur moyen de m’aider, c’est de contribuer, par exemple en ajoutant de nouvelles sources à l’outil.

Après, si on est pas développeur web, on peut quand même aider à faire connaître l’outil.

Et enfin, si c’est plus facile, on peut aussi donner des sous (via Patreon ou Liberapay) pour que je puisse avec le temps de faire tout ça moi.

2.7. Tu as d’autres projets il me semble, et tu contribues aussi à d’autres logiciels libres ?

Il y a des petits projets issus de Meta-Press.es, qui bénéficient de leur propres dépôt de code sur Framagit. Il s’agit d’outils réutilisables, écrits en JavaScript :

month_nb : permet retrouver le numéro d’un mois dont on connait le nom, en toutes lettres, quelque soit sa langue ;
gettext_html_auto : permet de trouver et de remplacer toutes les chaînes de caractère d’une page web (pour gérer les traductions d’une extension web, à partir d’une structure JSON à GNU Gettext, plus simple que celle prévue pour les WebExtensions).

J’écris également un blog un peu technique pour partager mes découvertes en ligne de commande GNU+Linux, il s’appelle Grimoire-Command.es.

Enfin je n’hésite jamais à dégainer un rapport de bug ou une demande de fonctionnalité (et ça prends du temps !)

Émission Underscore #214 du 31 janvier 2021

Bonus : Astrologeek

[…]

libriste : Meta-Press.es … que réussi à m’avoir !

[…]

Now is the time…

2021-01-17T00:00:00+01:00

Meta-Press.es is approaching the end of it’s NLnet support. We’ve done a lot of work thanks to them, and some cool features (such as automatic scheduled research) are to be released in the coming weeks.

2020 should have been a year full of public presentations for me, but everything have been canceled. I only managed to speak at an online event in July, which promised videos are still not online. So I call for a crowd-spreading of Meta-Press.es ! (and I hope I’ll be received for 2021 JDLL)

So now is a good time for the small but faithful community to engage and help Meta-Press.es reaching it’s target audience : everyone making press reviews !

Step up, speak about Meta-Press.es, to your family and friends, to your NGO, to local communities… Become an ambassador.

I had contacts with school documentation centers using Meta-Press.es, with researchers, with a literary blog maker, a Thomson-Reuters journalist. They all use Meta-Press.es and plan to use it more. This is always a great encouragement.

We plan to reach 300 sources this semester, but special efforts (setting field, full documentation…) were made to allow web developers to easily integrate new sources, and around 50 sources were already contributed. You can help us discovering and integrating more source.

A last but new way to help the project is to register for a small Patreon monthly support. Liberapay is still great, libre and available, but I opened a Patreon page to circumvent its current lack of recurring donations. The future of the project is in your clicks now !

C'est le bon moment…

2021-01-17T00:00:00+01:00

Meta-Press.es approche de la fin de son soutien par la NLnet. Ils nous ont permis de réaliser de grands travaux et de nouvelles fonctionnalités arriveront encore dans les prochaines semaines (comme les recherche programmées).

J’espérais courir d’évènement libriste en évènement libriste à travers l’Europe en 2020 pour présenter Meta-Press.es à un public plus large, mais les évènements ont été annulés les uns après les autres, et je n’ai pu courir qu’un km autour de chez moi. J’ai à peine réussi à parler lors d’un évènement en ligne en juillet (les vidéos sont d’ailleurs encore en attente de publication). Alors, j’en appel à un crowd-spreading ^[1] de Meta-Press.es ! (et j’espère être retenu pour les JDLL 2021)

Ce début d’année est un bon moment pour faire connaître Meta-Press.es plus largement, et le projet compte sur sa petite mais fidèle communauté pour l’aider a atteindre son public.

N’hésitez plus, parlez de Meta-Press.es autour vous, dans la famille, dans vos associations… devenez un ambassadeur.

J’ai eu des contacts avec un responsable de CDI, des chercheurs, une auteure de blog littéraire, et un journaliste de Thomson-Reuters… Tous utilisent Meta-Press.es et projettent de l’utiliser encore plus. Ces contacts sont toujours un grand encouragement.

Un autre moyen d’aider, c’est d’ajouter des sources au projet. Nous devrions atteindre 300 sources dans le premier semestre 2021, mais des efforts ont été menés dès le début du projet pour aider les développeurs web à intégrer de nouvelles sources (champs dédié dans les réglages, documentation complète). Plus de 50 sources ont d’ailleurs déjà été contribuées bénévolement. Vous pouvez nous aider à en découvrir et en intégrer de nouvelles.

Enfin, il est également possible d’aider le projet en réalisant un petit don mensuel via Patreon. Liberapay reste disponible, c’est libre et c’est chouette, mais un compte a été ouvert sur Patreon pour palier à l’absence des dons récurrents. L’avenir du projet est entre vos clics !

1. Diffusion par la communauté

[Radio Gâtine] Meta-Press.es alternative solution to Google News

2020-12-28T00:00:00+01:00

And it’s at Pougne-Hérisson that happens. Hence, Simon Descarpentries is a web developper for Acoeuro, a free software compagny which he is one of the associates. Since 2013, Simon worked on the creation of search engine dedicated to the press. Now besided by Christopher, it’s apprentice, Simon propose this solution, militant and alternative to Google News. Called Meta-Press.es, this search engine for the press was officially launched late last year. Met at his office, in the heart of the Gâtine, this 36 y.o. entrepreneur presents us this project came true. Audio portrait.

Meta-Press.es la solution alternative à Google Actualités (fr)

Note that Meta-Press.es, the press search engine dedicated to press, is accessible via an addon for the web browser Mozilla Firefox. It works without ad and need your support to continue. To learn more about it, one address : www.meta-press.es

[Radio Gâtine] Meta-Press.es la solution alternative à Google Actualités

2020-12-28T00:00:00+01:00

Et c’est à Pougne-Hérisson que ça se passe. En effet, Simon Descarpentries est développeur web pour le compte d’Acoeuro, une société de services en logiciels libres dont il est l’un des quatre associés. Depuis 2013, Simon a travaillé sur la création d’un moteur de recherche dédié à la presse. C’est accompagné de Christopher son apprenti, que ce Sarthois d’origine propose cette solution alternative et militante au fil d’actualités de Google. Baptisé Meta-press.es ce moteur de recherche dédié à la presse a officiellement été lancé en fin d’année dernière. Rencontré dans son bureau, au cœur de la Gâtine, l’entrepreneur de 36 ans nous présente ce projet devenu réalité. Portrait audio.

Meta-Press.es la solution alternative à Google Actualités

Notez que Meta-press.es, le moteur de recherche dédié à la presse, est accessible via une extension du navigateur web Mozilla Firefox. Il fonctionne sans publicité, mais grâce aux dons que vous pouvez faire lorsque vous installerez le logiciel. Pour en savoir plus, une adresse, le : www.meta-press.es