cobots
Cobots.org est un projet de moteur de recherche collaboratif
Cobots.org is a collaborative search engine project
CoBots = Collaborative Robots

Pourquoi un moteur de recherche collaboratif ?

Google s’est imposé comme le moteur de recherche le plus puissant et il est omniprésent depuis 10 ans sur le web. Entre temps, les moteurs se sont raréfiés, Bing et Yahoo qui se partageaient les miettes ont fusionné et les moteurs alternatifs restent confidentiels, ne pouvant rivaliser devant la puissance de calcul des centaines de millers de serveurs de Google.

Ce quasi monopole de Google dans l’accès à l’information classée sur internet pose un gros problème : trop de pouvoir se trouve concentré entre quelques mains, tant au niveau du choix des informations à mettre en avant ou à censurer, que du fichage des internautes. Ce regroupement centralisé d’informations n’est pas sans rappeler le Big Brother décrit par Georges Orwell dans 1984.

En dehors de l’aspect dangereux de toute concentration de pouvoir, il est aussi possible d’avoir un moteur de recherche beaucoup plus puissant, plus dynamique et plus fiable, en se basant sur une mutualisation décentralisée, sur le principe du Peer to Peer.

Le SETI proposait un soft à installer sur son PC pour participer à la recherche d’intelligence extra-terrestre . Ce logiciel se servait d’une partie de la mémoire vive inutilisée pour analyser des données en réseau. Ce réseau de plusieurs milliers d’ordinateurs permettait d’atteindre une puissance de calcul que le SETI n’avait pas en interne.
Si on peut utiliser ce principe pour chercher de l’intelligence dans l’espace, pourquoi ne pas l’utiliser pour chercher de l’intelligence sur terre : Une application mutualisée et coopérative de recherche d’information sur internet.

Cahier des charges de COBOTS.

(en construction)

Le support idéal pour une application de moteur de recherche collaboratif serait un module Firefox :
Simple à installer et à utiliser avec une barre de recherche et quelques options décrites plus bas.
Le but étant d’avoir plusieurs millions d’utilisateurs en réseau pour dépasser la puissance de calcul de Google, il sera indispensable de s’appuyer sur la communauté Mozilla (100 millions d’utilisateurs de Firefox au total)

Les fonctionnalités de COBOTS:

Partie collecte :

Récupérer les informations contenues dans les sites web visités par l’ensemble du réseau
Indexer ces informations et les traduire en base de données dans un Cloud

Algorithme de classement :

Classer les données en fonction de la recherche, par ordre de pertinence et les afficher, avec le lien de la page son titre et sa description (meta-tags)

Cette partie est la plus délicate, celui de google travaille sur des centaines de critères pour évaluer l’intérêt de la page par rapport à la recherche. COBOTS devra donc retrouver tous les éléments (au moins les 200 premiers au début) permettant le tri des données et le classement des sites (backlinks, densité de mots clés, ancienneté, originalité du contenu (duplicate), architecture, page rank, trust rank, et autres critères de SEO)

Une fonction d’annuaire collaboratif pourrait être également développée (type stumbleupon) pour profiter du facteur humain (dont ne dispose pas Google). Chaque site découvert pouvant être commenté, noté, taggué… par la personne qui souhaite le soumettre à l’index.

Cette fonction pourra être couplée avec celle de proposition de lien par les webmasters (submit, add url…)

Le niveau d’allocation de ressources par l’utilisateur peut être choisi (mémoire vive, espace disque)

Les COBOTS ne devront pas effectuer une copie du site sur les espaces disques utilsateurs, mais résumer un site sur un fichier de données (type txt) en reprenant les éléments nécessaires (url, titre, description, contenu texte, balise, alt et title des éléments, sitemap...)

coops.fr