Introduction à Spark

Installation de Spark et du projet

Pour pouvoir exécuter les exemples de ce projet, il faut disposer d'un environnement Spark/Jupyter. Pour cela, vous pouvez utiliser pyspark avec un environnement virtuel Python. Vous devez également disposer d'un JRE (ou d'un JDK) sur la machine.

python3 -m venv sparkenv # Création d'un environnement virtuel
source sparkenv/bin/activate # Activation de l'environnement
python3 -m pip install -r requirements.txt # Installation des bibliothèques (pyspark, ...)

Utilisation du projet

Avant de lancer pyspark ou un notebook, il faut activer l'environnement virtuel créé ci-dessus.

source sparkenv/bin/activate # Activation de l'environnement

Construction du support de cours

Les slides sont au format asciidoctor.

bundle install
bundle exec rake

Mettre à jour le projet

• Les versions de asciidoctor sont configurables dans Gemfile (cf. rubygems.org)

bundle update --bundler
bundle update