Les big data, littéralement les grosses données, est une expression anglophone utilisée pour désigner des ensembles de données qui deviennent tellement volumineux qu’ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l’information. L’on parle aussi de datamasse en français par similitude avec la biomasse.
Dans ces nouveaux ordres de grandeur, la capture, le stockage, la recherche, le partage, l’analyse et la visualisation des données doivent être redéfinis. Les perspectives du traitement des big data sont énormes, notamment pour l’analyse d’opinions politiques ou de tendances industrielles, la génomique, l’épidémiologie ou la lutte contre la criminalité ou la sécurité.
Le phénomène big data est considéré comme l’un des grands défis informatiques de la décennie 2010-2020. Il engendre une dynamique importante tant par l’administration, que par les spécialistes sur le terrain des technologies ou des usages.
En 2001, un rapport de recherche du META Group (devenu Gartner) définit les enjeux inhérents à la croissance des données comme étant tri-dimensionnels : les analyses complexes répondent en effet à la règle dite « des 3V », volume, vélocité et variété. Ce modèle est encore largement utilisé aujourd’hui pour décrire ce phénomène.VolumeLe volume des données stockées aujourd’hui est en pleine expansion. Selon une étude IDC sponsorisée par EMC Gartner, les données numériques créées dans le monde seraient passées de 1,2 zettaoctets par an en 2010 à 1,8 zettaoctets en 2011, puis 2,8 zettaoctets en 2012 et s’élèveront à 40 zettaoctets en 2020. À titre d’exemple, Twitter génère à l’heure actuelle 7 teraoctets de données chaque jour et Facebook 10 teraoctets.
Ce sont pourtant les installations scientifiques qui produisent le plus de données. De nombreux projets, de dimension pharaonique, sont ainsi en cours. Le radiotelescope “Square Kilometre Array” par exemple, produira 50 teraoctets de données analysées par jour, à un rythme de 7 000 teraoctets de donnée brutes par seconde!VariétéLe volume des Big Data met les data centers devant un réel défi : la variété des données. Il ne s’agit pas de données relationnelles traditionnelles, ces données sont brutes, semi-structurées voire non structurées (cependant, les données non-structurées devront, pour utilisation, être structurées. Ce sont des données complexes qui proviennent du web (Web Mining), au format texte (Text Mining) et images (Image Mining). Elles peuvent être publiques (Open Data, Web des données), géo-démographiques par îlot (adresses I.P), ou relever de la propriété des consommateurs (Profils 360°). Ce qui les rend difficilement utilisables avec les outils traditionnels.
La démultiplication des outils de collecte sur les individus et sur les objets permettent d’amasser toujours plus de données. Et les analyses sont d’autant plus complexes qu’elles portent de plus en plus sur les liens entre des données de natures différentes.
Vélocité
La vélocité représente à la fois la fréquence à laquelle les données sont générées, capturées et partagées. Les données arrivent par flux et doivent être analysées en temps réel pour répondre aux besoins des processus chrono-sensibles. Les systèmes mis en place par les entreprises doivent être capables de traiter ces données avant qu’un nouveau cycle de génération n’ait commencé, elles doivent autrement dit effectuer du Data Stream Mining.
Différence avec le Business Intelligence
Si la définition du Gartner en 3V est encore largement reprise (voire augmentée de “V” supplémentaires selon l’inspiration des services marketing), la maturation du sujet fait apparaitre un autre critère plus fondamental de différence d’avec le Business Intelligence et concernant les données et leur utilisation :
Business Intelligence : utilisation de statistique descriptive, sur des données à forte densité en information afin de mesurer des phénomènes, détecter des tendances… ;
Big Data : utilisation de statistique inférentielle, sur des données à faible densité en information dont le grand volume permet d’inférer des lois (régressions….) donnant dès lors (avec les limites de l’inférence) au big data des capacités prédictives.
Représentation
Modèles
Les bases de données relationnelles classiques ne permettent pas de gérer les volumes de données du Big Data. De nouveaux modèles de représentation permettent de garantir les performances sur les volumétries en jeu. Ces technologies, dites de Business Analytics & Optimization (BAO) permettent de gérer des bases massivement parallèles. Des patrons d’architecture “Big Data Architecture framework (BDAF)” sont proposés par les acteurs de ce marché comme MapReduce développé par Google et utilisé dans le framework Hadoop. Avec ce système les requêtes sont séparées et distribuées à des nœuds parallélisés, puis exécutées en parallèles (map). Les résultats sont ensuite rassemblés et récuperés (reduce). Teradata, Oracle ou EMC (via le rachat de Greenplum) proposent également de telles structures, basées sur des serveurs standards dont les configurations sont optimisées. Ils sont concurrencés par des éditeurs comme SAP et plus récemment Microsoft. Les acteurs du marché s’appuient sur des systèmes à forte scalabilité horizontale et sur des solutions basées sur du NoSQL (MongoDB, Cassandra) plutôt que sur des bases de données relationnelles classiques.
Stockage
Pour répondre aux problématiques Big Data l’architecture de stockage des systèmes doit être repensée et les modèles de stockage se multiplient en conséquence.
le cloud computing : l’accès se fait via le réseau, les services sont accessibles à la demande et en libre service sur des ressources informatiques partagées et configurables. Les services les plus connus sont ceux de Google BigQuery, Big Data on Amazon Web Services, microsoft Windows Azure.
les super calculateurs hybrides : Les HPC pour High Performance Computing, qu’on retrouve en France dans les centres nationaux de calculs universitaire tels quel’IDRIS, le CINES, mais aussi au CEA ou encore le HPC-LR.
Applications des Big Data
Les Big Data trouvent une application dans de nombreux domaines : De grands programmes scientifiques (CERN Mastodons), de grandes entreprises (IBM,Amazon Web Services, BigQuery, SAP HANA) des entreprises spécialisées (Teradata, Jaspersoft, Pentaho…) de l’Open Source (Apache Hadoop, Infobright, Talend…) et des Start-up (Bionatics, Hariba Médical, SafetyLine, KwypeSoft, Vigicolis):
Recherche scientifique
Les expériences du Large Hadron Collider représentent environ 150 millions de capteurs délivrant des données 40 millions de fois par seconde. Il y a autour de 600 millions de collisions par seconde, et après filtrage, il reste 100 collisions d’intérêt par seconde. En conséquence, il y a 25 Po de données à stocker chaque année, et 200 Po après réplication.
Quand le Sloan Digital Sky Survey (SDSS) a commencé à collecter des données astronomiques en 2000, il a amassé plus de données en quelques semaines que toutes les données collectées dans l’histoire de l’astronomie. Il continue à un rythme de 200 Go par nuit, et a aujourd’hui stocké plus de 140 teraoctets d’information. Des prévisions annoncent que le Large Synoptic Survey Telescope, dont la mise en route est prévue en 2015, amassera ce même montant tous les cinq jours.
Décoder le génome humain a originellement pris 10 ans, cela peut désormais être fait en moins d’une semaine : les séquenceurs d’ADN ont progressé d’un facteur 10 000 les dix dernières années, soit 100 fois la loi de Moore (100 environ sur 10 ans). En biologie, les approches massives basées sur une logique d’exploration des données et de recherche d’induction sont légitimes et complémentaires des approches classiques basées sur l’hypothèse initiale formulées.
Le NASA Center for Climate Simulation (NCCS) stocke 32 Po de données d’observations et de simulations climatiques.
Politique
L’analyse de Big Data a joué un rôle important dans la campagne de ré-élection de Barack Obama, notamment pour analyser les opinions politiques de la population.
Le gouvernement américain possède six des dix plus puissants supercalculateurs de la planète.
La National Security Agency est actuellement en train de construire le Utah Data Center. Une fois terminé, ce data center pourra supporter des yottaoctets d’information collectés par la NSA sur internet.
Secteur privé
Walmart traite plus d’un million de transactions client par heure, celles-ci sont importées dans des bases de données dont on estime qu’elles contiennent plus de 2,5 Po d’information.
Facebook traite 50 milliards de photos.
D’une manière générale le data mining de Big Data permet l’élaboration de profils clients dont on ne supposait pas l’existence.
Perspectives et évolutions
Afin de pouvoir exploiter au maximum le Big Data, de nombreuses avancées doivent être faites, et ce en suivant trois axes :
Modélisation de données
Les méthodes actuelles de modélisation de données ainsi que les systèmes de gestion de base de données ont été conçus pour une utilisation à des fins commerciales de l’information. La fouille de données a des caractéristiques fondamentalement différentes et les technologies actuelles ne permettent pas de les exploiter. Dans le futur il faudra des modélisations de données et des langages de requêtes permettant :
une représentation des données en accord avec les besoins de plusieurs disciplines scientifiques;
de décrire des aspects spécifiques à une discipline (modèles de métadonnées) ;
de représenter la provenance des données ;
de représenter des informations contextuelles sur la donnée ;
de représenter et supporter l’incertitude ;
de représenter la qualité de la donnée.
Gestion de données
Le besoin de gérer des données extrêmement volumineuses est flagrant et les technologies d’aujourd’hui ne permettent pas de le faire. Il faut repenser des concepts de base de la gestion de données qui ont été déterminés dans le passé. Pour la recherche scientifique, par exemple, il sera indispensable de reconsidérer le principe qui veut qu’une requête sur un SGBD fournisse une réponse complète et correcte sans tenir compte du temps ou des ressources nécessaires. En effet la dimension exploratoire de la fouille de données fait que les scientifiques ne savent pas nécessairement ce qu’ils cherchent. Il serait judicieux que le SGBD puisse donner des réponses rapides et peu coûteuses qui ne seraient qu’une approximation, mais qui permettraient de guider le scientifique dans sa recherche.
Dans le domaine des données clients, il existe également de réels besoins d’exploitation de ces données, en raison notamment de la forte augmentation de leur volume des dernières années. Le big data et les technologies associées permettent de répondre à différents enjeux tels que l’accélération des temps d’analyse des données clients, la capacité à analyser l’ensemble des données clients et non seulement un échantillon de celles-ci ou la récupération et la centralisation de nouvelles sources de données clients à analyser afin d’identifier des sources de valeur pour l’entreprise.
Outils de gestion des données
Les outils utilisés à l’heure actuelle ne sont pas en adéquation avec les volumes de données engendrés dans l’exploration de Big Data. Il est nécessaire de concevoir des instruments permettant de mieux visualiser, analyser, et cataloguer les ensembles de données afin de permettre une optique de recherche guidée par la donnée.
Source : wikipedia.fr