Le marché du Big Data va rester très porteur durant les 5 prochaines années. Il va bénéficier de la combinaison de diverses technologies. Les analystes prévoient un marché mondial qui dépassera les 50 milliards de dollars d’ici à 2018, avec un taux de croissance annuel moyen de + 40%.

Big Data : l'analyse de données en masse

Pour faire face à l'explosion du volume des données, de nouvelles technologies regroupées sous le vocable « Big Data », l'analyse de données en masse (Analytics), ont vu le jour.

Inventées par les géants du web, ces solutions sont destinées à offrir un accès en temps réel à des bases de données géantes.

Le Big Data vise à proposer une alternative aux solutions traditionnelles de bases de données et d'analyse (serveur SQL, plate-forme de Business Intelligence...).

Confrontés à des problématiques de traitement de très gros volumes, les géants du Web, notamment Yahoo (mais aussi Google et Facebook), ont été les tous premiers à développer ce type de technologies.

Selon Gartner, le Big Data regroupe une famille d'outils qui répondent à un triple problématique :

ð un Volume de données important à traiter,

ð une grande Variété d'informations (en provenance de plusieurs sources, non-structurées, structurées, Open...),

ð et un certain niveau de Vélocité à atteindre 

C'est-à-dire de fréquence de création, collecte et partage de ces données.

C'est la règle dite des 3V.

Un marché de 125 milliards de dollars d’ici à trois ans.

En incluant Big data et Analytics, IDC prévoit un marché de 125 milliards de dollars d’ici à trois ans.

En Europe de l'Ouest, malgré une conjoncture économique toujours précaire, le Big data devrait continuer de croître en moyenne de +24,6% chaque année d'ici à 2018.

Selon IDC, d'ici 2018, toutes les grandes organisations auront intégré l'analyse de leurs données «rich media » (vidéo, audio, images) dans leurs projets de « Big data & Analytics ».

A ce jour, 50% des organisations nord-américaines déclarent utiliser déjà le « rich media».

IDC précise également que, dans les cinq ans à venir, les investissements dans les solutions Big data & Analytics sur le Cloud vont croitre trois fois plus vite que ceux sur les solutions sur site (on premise) :

«La multiplication d’infrastructures Big Data & Analytics accessibles en cloud (Amazon Redshift, Azure ML, Google BigQuery…), devrait inciter les entreprises à migrer progressivement vers des infrastructures hybrides – on premise et cloud ».

« Dans les trois prochaines années, « toutes les entreprises auront intégré des solutions data sur le Cloud ».

Analyse prédictive et «machine learning »

Les applications intégrant des solutions de «machine learning»  vont croître 65% plus vite que les applications traditionnelles selon IDC.

Les millions de données produites et échangées chaque minute vont être analysées et recoupées à une vitesse toujours plus rapide.

Des corrélationsvont pouvoir être établies grâce à des algorithmes, parfois systématisées dans le « machine learning » capables de réagir automatiquement.

Cette méthode nouvelle d'analyse prédictive va être utilisée de plus en plus dans divers secteurs comme la santé, l'agriculture, l'administration des collectivités et surtout le marketing.

Le « deep learning»

Sur cette base, a été élaboré un autre concept connexe, celui de « Deep learning ».

Il repose sur des techniques de réseaux dit « neuronaux » et d’approche cognitive.

Il s'agit de permettre aux ordinateurs de reconnaître, parmi d'énormes quantités de données, des points d'intérêt ou des indices binaires ou non structurées et de déduire des corrélations sans passer par des modèles particuliers ni par des instructions préprogrammées.

Les technologies du Big data utiliseront de plus en plus des techniques analytiques avancées comme le deep learning pour différencier, par exemple, différents types de données en incluant des formes, des couleurs, des indications sur des images ou des vidéos.

Les évolutions techniques vont notamment porter sur les solutions d’analyse des données à la volée  permettant d’obtenir les résultats d’une requête en quelques secondes (technologies Hive, ou Hanna).

L’Internet des objets ou « IoT »

Le développement du Big data va être influencé par la progression de l’Internet des objets (IoT, Internet of things).

Selon IDC, avec un taux de croissance annuel moyen de + 30% sur les 5 prochaines années, ce marché de l’IoT va se renforcer et évoluer vers des plateformes standard.

Par ailleurs, si la tendance était jusqu’ici plutôt portée sur l'aspect production des données (essentiellement à partir de capteurs), de nombreuses entreprises se concentrent aujourd’hui sur les «Analytics of Things », une branche particulière des sciences de la donnée (data science), centrée, par exemple sur la détection d’anomalies ou l’optimisation de process en temps réel.

D’après le Cabinet  Gartner, l'analyse des informations collectées en très gros volumes, d'ici à 2020, va d’ailleurs supprimer 80% des processus métier :

« Ces informations en très grandes quantités proviendront de l'Internet des objets (Internet of things), des devices intelligents et des processus d'automatisation et de numérisation des flux métier ».