Ce séminaire mettra en perspectives les principes du web sémantiques à partir de réalisations concrètes et de travaux de recherche. Il s’adresse aux professionnels de l’information, aussi bien producteurs d’information, éditeurs, gestionnaires et utilisateurs finaux.

Le projet Datalift sera présenté, notamment comme solution concrète de passage de l’Open Data au Linked Open Data, de la donnée brute à la donnée liée.

De plus en plus d’administrations et d’entreprises ont à prendre en compte des données hétérogènes, non normalisées, produites par des acteurs de leur écosystème proche comme lointain.

Dans ce contexte, le projet Datalift crée un système logiciel pour a) capter des jeux de données provenant de multiples sources internes et externes, notamment opendata b) les convertir à l’aide de vocabulaires (ontologies) c) afin d’obtenir leur équivalent exprimé dans les formats du web des données d) permettant alors leur enrichissement croisé et e) l’exploitation de cette nouvelle richesse.

Tout nouveau jeu de données bénéficient de ceux déjà « liftés » et ceux-ci bénéficient de tout nouveau jeu entrant. Datalift, c’est le cercle vertueux dans le web des données.

Mais justement, parlons un peu de ce cahier des charges. Il y a comme une partie importante du problème qui est oubliée. Le jeu de données, le dataset, doit être intrinsèquement de qualité et cette qualité semble ne pas être clairement définie.

Aujourd’hui, le dataset est de mieux en mieux défini extérieurement. Il a un nom, des dates (création, mise(s) à jour, péremption), des acteurs de référence (créateur, diffuseur, administrateur, etc.), une typologie (format, domaines, etc.) … mais si on veut travailler avec autrement que manuellement, là, ça se complique. En effet, que sait-on de sa qualité interne ?

Or précisément, un bon dataset n’est-il pas fait pour être utiliser, pour permettre des nouveaux traitements, pour innover et servir à une entreprise, une organisation… Les gouvernements qui poussent à l’ouverture des données attendent qu’un développement économique effectivement en découle. Si les jeux de données ne sont pas exploitables, ou à des coûts trop élevés, ne risque t-on pas de perdre l’élan actuellement suscité ?

Par exemple, un fichier produit par un traitement de textes a peu de chance de servir à quelque chose dans un dispositif de traitement automatique sauf si on a déjà l’application faite juste pour ce fichier. Avec un fichier PDF, c’est pareil … En fait, les bons formats, on les connait mais ils sont encore trop peu utilisés dans la publication de jeux de données ;-( On a encore du chemin à faire avant de trouver quelques datasets dans les formats du web des données (en RDF, N3,Turtle…) De fait, actuellement, les développements réalisés sur la base de datasets opendata sont pour grande part des travaux spécifiques de conversion de données.

Un deuxième critère est l’utilisation d’un vocabulaire (ontologie) dans l’expression des données. C’est par ce moyen que les interconnexions de jeux de données deviennent possibles. (Pensez aux mashups).

Un autre critère de qualité des données est leur exactitude. Par exemple, dans l’étude toute récente réalisée par des étudiants de l’Ecole des Ponts, on peut lire que “les données sur le système
national de transports publics en Grande-Bretagne, mises en ligne en 2010, contenaient près de 6% de localisations d’arrêts de bus erronées”. Et ces inexactitudes n’ont pu être relevées que par des usagers.

Une autre qualité est la fraîcheur du dataset. Actuellement, nombre de jeux de données ne semblent être exposés qu’a des fins de test et leur données ne sont pas mises à jour. Que vaut un dataset sur les prix du carburant dans telle région quand il a plus d’un an d’âge ?

C’est grâce à des plateformes comme Datalift que les datasets actuels pourront être “élevés” pour devenir des objets du web des données. Le lifting des jeux de données permet en effet de satisfaire toutes ces exigences de qualité.

1 – Publier dans un format dédié au traitement automatique des données : la plateforme automatise les processus d’élévation dans des formats du web des données.

2 – Référer les données à un vocabulaire : les datasets contiennent des données, des valeurs. L’utilisation d’un vocabulaire (ontologie), c’est un peu comme donner une valeur avec son unité de mesure. Par exemple, c’est plus parlant de savoir que le “mur mesure 4m” plutôt que d’avoir seulement la valeur 4. La plateforme gère un catalogue de vocabulaires de référence.

3 – Distinguer les données : c’est par exemple permettre de s’assurer que deux applications parlent bien de la même chose quand elles désignent un objet. Techniquement, c’est l’utilisation d’URI.

4 – Vérifier l’exactitude des données : les datasets élevés dans des formats idoines peuvent être interconnectés et les incohérences peuvent être détectées (par exemple par inférence).

5 – Rafraîchir les données : c’est un disposant d’une plateforme automatisant le lifting qu’on peut mettre à jour facilement les datasets qui dans le cas contraire nécessiteraient des manipulations manuelles et donc longues et onéreuses.

La satisfaction de ces 5 qualités permet le passage effectif de l’Opendata au Linked Opendata.

Or, il me paraît de plus en plus évident que nous avons besoin de croiser nos Opendata respectifs dans un vaste LinkedOpendata. Quelles sont les conditions de son émergence ?

a) Mettre en évidence et partager les bonnes pratiques

Un travail très intéressant est en cours sur le site https://checklists.opquast.com/opendata/workshop/. Je vous invite à participer.

b) Mettre au point les technologies de l’interconnexion

Je ne peux que recommander la recherche effectuée dans le projet Datalift.

c) Politiquement, ne faut-il pas aussi une méta-entité indépendante ?

Ca y est, je rêve … Thomas More aurait bien écrit une page là-dessus, non ? Sérieusement, peut-on penser que les datasets de valeur et portée internationale ne devraient pas être publiés de façon supranationale ? D’ailleurs, nous avons déjà un exemple … wikipedia et son alter ego dbpedia ! Pas de régulation autre qu’une autorégulation, une crowdregulation ? Avez-vous des modèles à proposer ?

Mais la grosse majorité a choisi de faire autrement. Dommage ! Cela aurait été une bonne façon de faciliter l’ouverture … Au lieu de cela, il faut avoir la bonne URL ou bien chercher, et cela peut prendre du temps.

Ce sont les URI qui ne vont pas y trouver leur compte, donc le Linked Open Data. Au moment d’ouvrir ses données, pourquoi il n’y a pas de réflexion sur la liaison des données ?

Vous serez étonnés de voir certains pays être très en avance et d’autres à la traine …

Au 6 juillet 2011, voici ce que j’ai récolté. N’hésitez pas à m’envoyer des compléments et vos remarques !

1. Allemagne ; 0 datasets – C’est la ville de Berlin qui avance le premier pion … on réfléchit
2. Angleterre ; 5138 datasets primaires; 2012 datasets secondaires – Pionnier, après les Etats-Unis
3. Australie ; 1240 datasets
4. Autriche ; 0 datasets mais on en se prépare
5. Canada ; 801 datasets
6. Catalogne ; quelques datasets
7. Danemark ; 0 datasets – et aussi http://data.digitaliser.dk/
8. Espagne ; 0 datasets – voir aussi Catalogne et Pays basque
9. Estonie ; 0 datasets – Le projet se met en place
10. Etats-Unis ; 3301 datasets – Le pionnier !
11. Finlande – Région d’Helsinki : 2011, un environnement de test ; 2012, ouverture du service
12. France ; 0 datasets – On commence par Etalab … puis viendra data.gouv.fr – En France, ce sont les villes de Rennes et Paris qui ont exposé les premiers datasets
13. Grèce Un premier effort pour libérer les données géospatiales disponibles
14. Hong Kong ; 0 datasets – Annonce faite le 31 mars 2011
15. Irlande ; 75 datasets
16. Irlande du Nord ; 6 datasets
17. Italie ; 220 datasets – et ses régions : Piémont ; 230 datasets ; Portail italien et Datasets italiens référencés
18. Kénya ; 164 datasets
19. Maroc ; 24 datasets
20. Moldavie ; 132 datasets
21. Norvège ; 11 datasets
22. Nouvelle Zélande ; 594 datasets
23. Pays basque ; 1630 datasets
24. Pologne ; 0 datasets – Annonce le 9 juin 2011 du gouvernement polonais
25. Russie ; 5 datasets
26. Singapour ; 5978 datasets
27. Suède ; 20 datasets
28. Thaïlande ; 26 datasets
29. Timor-Leste (oriental) ; manque d’info, mais il semble qu’il y ait déjà un projet

Le web des données s’organise. Tout le monde en parle, et plusieurs solutions émergent de ci de là. Mais qu’est-ce que cela veut dire que le web des données s’organise ?

Trouver des vocabulaires (des ontologies) existants qui se rapportent au domaine de vos données ou créer vos vocabulaires. Vous pouvez utiliser

• le Linked Open Vocabularies (LOV) de Mondéca,
• le moteur de recherche swoogle,
• consulter la liste publiée par Protégé,
• ou celle de Co-ode
• il doit bien y avoir encore d’autres outils… cherchez bien
• pour aligner vos ontologies, vous pouvez regarder par exemple ici.

Il faut alors utiliser des “convertisseurs” pour transformer les données initiales en données sémantisées. Des bibliothèques commencent à se constituer. Elles sont très inégales.

• RDFizer
• Virtuoso Sponger
• Triplify
• Triplisty
• Ici encore, vous en trouverez d’autres en cherchant…

Dans tous les cas, avancer de façon agile, c’est à dire mesurée. Cela vous donnera des idées …

Le projet de recherche et développement DataLift réalise une infrastructure open source dont les premiers étages sont consacrés 1) à la sélection d’ontologie et 2) à la conversion.

Je suis intéressé par le phénomène et l’usage qui, tous les deux, informent nos décisions d’adhérer ou de refuser le 3.0. Je suis persuadé que l’ouverture des données est une chance. Mais adviendra-t-elle ? Comment ? A quelles conditions ?

Et il y a des réponses :

• techniques : le web des données, l’open data, les bases non SQL, des projets comme Datalift, etc.
• organisationnelles : la création d’agences, de portails comme Data Publica, etc.
• économiques : pour l’instant, ce sont essentiellement les états qui financent, les réutilisateurs privés attendent du gratuit
• normatives : le W3C a déjà produit un important travail
• pratiques : les usages se cherchent encore, mais des mashups intéressants montrent des pistes prometteuses

En France, après l’APIE, nous avons depuis une semaine Etalab qui font suite à des initiatives locales avant-gardistes à Rennes et Paris. Ca bouge aussi à Nantes, Bordeaux, Toulouse, Marseille, Montpellier, Toulon, Le Havre …

Des conférences sont proposées sur le sujet par différentes organisations, comme par exemple :

• SemWeb.Pro, une conférence dédiée à l’univers du Web Sémantique, le lundi 17 janvier 2011
• La réutilisation des données publiques : quels défis pour les archives ?, Journée d’étude, Calenda, le vendredi 11 mars 2011
• Picolibre (Apéro Numérique) du 11 mars : L’ouverture des données publiques
• SemanticCamp à Paris 3 le 16 avril 2011
• Référentiels et données d’autorité à l’heure du web sémantique, journée annuelle AFNOR/BnF le 27 mai à Paris

• TaskForces CommunityProjects LinkingOpenData DataSets Statistics
• Datasets in the next LOD Cloud
• A listing of datasets published at http://data.gov and converted into RDF
• Research Pipeline’s wiki
• StatLib—Datasets Archive
• StatLib—JASA Data Archive

Voici une requête SPARQL qui permet d’interroger le data.gov américain :

PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>
SELECT ?g ?number_of_triples
WHERE
{GRAPH ?g
{
?s a <http://data-gov.tw.rpi.edu/2009/data-gov-twc.rdf#Dataset> .
?s <http://data-gov.tw.rpi.edu/2009/data-gov-twc.rdf#number_of_triples> ?number_of_triples.
filter ( regex( str(?g) , "Dataset") )
}
}
order by ?g