Big Data

BIG DATA

Cours 1

Evolution : CPU, RAM , Taux de transfert et capacité disque → beaucoup plus grand qu’avant.

Variablility = Si le sens de la donnée change

Imagine avion : (rond bleu = capteur de moteur)

Vol de 6h entre deux pays, chaque heure on a 20TB (tera byte)

Variabilty graphe (p.13)

Taux de chômage → très difficile à interpréter car trop instable (donc beaucoup de variance).

Salaire minimum → Plus facile à voir les variances car plus stable.

Value

Donne du sens aux données

Mieux comprendre la chaîne de production → comprendre et analyser les différentes étapes d’une chaîne afin de l’améliorer.

Correction prédictive (véhicule) → problème d’éthique (Ex : véhicule autonome, risque d’accident).

Catastrophe : éviter les risques de catastrophes

Slide 39 : Le modèle représente l’ensemble de poids + le fonction d’activation

TP 2 : Gephi 0.9.2

14) On observe un regroupement de noeuds “id = null” lorsque l’on jette un coup d’oeil au client. cad qu’il y’a une forte apparition de ce type d’id.

Interprétation

[pic 1]

Degré d’un noeud → nb de liens entrants et sortants

Ici on regarde le nombre de noeuds ayant un nb de liens /arêtes défini.

Ex :

• 2 noeuds à 0 lien.
• 19 noeuds à 1 lien.
• …

Degré moyen = 0.880

Degré max = 10

Degré min = 0

Graph de gauche[pic 2]

point rouge = centrale.

radius (rayon) = 2 , car on pars du centre → excentricité minimale

diamètre = 4  plus long chemin passant par le centre → excentricité maximale

Graph de droite

Même raisonnement que graph gauche, sauf qu’ici on cherche l’excentricité min/max avec deux point central.

Normaliser est très important dans les calculs

Ex : Opérations supplémentaire afin de rendre le résultat entre une intervalle (0 et 20 pour des notes, 0 et 1 pour des distances)

[pic 3]

Closeness centrality = CC

CC =  (nb de noeuds) - 1 / (somme des distances d’un noeud par rapport à tous les autres noeuds)

Pour le point C → CC = 5-1 / 2+1+1+2 = 4/6 = 0.66

[pic 4]

Normalize harmonic Centrality = sum(1/distances d’un noeud par rapport à tous les autres noeuds) / nb noeuds - 1

On choisit un noeud en particulier.

...