Vous désirez des renseignements supplémentaires? Vous aimeriez discuter d’un projet? Recherchez-vous un éventuel prestataire de service IT ou un partenaire? Avez-vous une question d’intérêt général ou un commentaire? vous avez un projet? Quelle que soit le cas, j'aimerais vous entendre.

Step 1:  Installer OpenJDK 8 from a PPA repository:

L’installation de Java est l’une des choses obligatoires lors de l’installation de Spark.
Si Java est déjà installé sur votre système, vous allez voir la réponse suivante:

$java -version 

java version "1.7.0_121"
OpenJDK Runtime Environment (IcedTea 2.6.8) (7u121-2.6.8-1ubuntu0.14.04.1)
OpenJDK Server VM (build 24.121-b00, mixed mode)

Pour la dernière version de Scala il faut obligatoirement installer OpenJDK 8 :

sudo add-apt-repository ppa:openjdk-r/ppa
sudo apt-get update 
sudo apt-get install openjdk-8-jdk

sudo update-alternatives --config java
sudo update-alternatives --config javac
java -version

Step 2:  installation de scala

le lanaguage de programmation scala est obligatoire pour l’implémentation de Spark, vérifier l’installation de scala par cette commande :

$scala -version

si scala est dèja installé sur votre OS vous allez voir ce message :

 Scala code runner version 2.11.6 -- Copyright 2002-2013, LAMP/EPFL

Si Scala n’est pas installé sur votre système, passez à l’étape suivante pour l’installation de Scala.

Téléchargez la dernière version de Scala en visitant le lien suivant  (http://www.scala-lang.org/download/)

Après le téléchargement, décompresser les fichier et utilisez les commandes suivantes pour déplacer les fichiers du  Scala vers le répertoire (/usr/local), sachant que scala 2.12.1 nécessite openjDk 8.

$ cd /home/Downloads/ 
$ sudo mv scala-2.12.1 /usr/local/scala

Définir le PATH pour Scala par cette commande :

$ export PATH=$PATH:/usr/local/scala/bin

et après verifier l’installation de scala par :

 $scala -version

Step 3: Télécharger Apache Spark

Téléchargez la dernière version de Spark en visitant le lien suivant Télécharger (http://spark.apache.org/downloads.html)

Après le téléchargement, décomprisser les fichiers et utilisez les commandes suivantes pour déplacer les fichiers du  Spark vers le répertoire (/usr/local)

$ cd /home/Downloads/ 
$ sudo mv spark-2.0.2-bin-hadoop2.6 /usr/local/spark

Définir le PATH pour Scala par cette commande :

$ export PATH=$PATH:/usr/local/spark/bin

Utilisez la commande suivante pour recharger le fichier ~ / .bashrc.

$source ~/.bashrc

Après pour verifier l’installation de Apache Spark utiliser la commande suivante :

$spark-shell

Si Spark est installé correctement, vous allez voir le message suivant.

aitmlouk@ubuntu:~$ spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel).
16/12/17 04:20:40 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
16/12/17 04:20:40 WARN Utils: Your hostname, ubuntu resolves to a loopback address: 127.0.1.1; using 172.16.247.132 instead (on interface eth0)
16/12/17 04:20:40 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
16/12/17 04:20:41 WARN SparkContext: Use an existing SparkContext, some configuration may not take effect.
Spark context Web UI available at http://172.16.247.132:4040
Spark context available as 'sc' (master = local[*], app id = local-1481977241426).
Spark session available as 'spark'.
Welcome to
____              __
/ __/__  ___ _____/ /__
_\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 2.0.2
/_/
Using Scala version 2.11.8 (OpenJDK Server VM, Java 1.7.0_121)
Type in expressions to have them evaluated.
Type :help for more information.

scala> 100+15
res0: Int = 115

La prise d’écran suivante montre l’espace de stockage utilisé pour l’application, qui s’exécutent sur le shell Spark:

spark

About Author

You may also like

No Comment

You can post first response comment.

Leave A Comment

Please enter your name. Please enter an valid email address. Please enter a message.