HADOOP - Copier efficacement un fichier vers HDFS depuis SAS

Depuis SAS, il est possible de copier un fichier local dans HDFS en utilisant plusieurs méthodes. Toutefois, la plus efficace consiste à utilise la Proc Hadoop. En effet, La Proc HADOOP vous permet de soumettre des commandes HDFS, des programmes MapReduce et du code de langage Pig avec des données Hadoop. Voici un exemple de code pour copier un fichier local vers HDFS :
proc hadoop;
hdfs copyfromlocal="/tmp/mynewdata.csv" out="/tmp/";
run;
proc-hadoop_hadoop-fs-verif

Nicolas Housset

Passionné d'informatique, je suis Consultant et expert technique SAS VIYA, également co-fondateur de la société Flexcelite. Spécialisé dans les technologies SAS (Viya, 9.4) et les infrastructures associées (Linux, Hadoop, Azure), ce blog est mon espace pour partager mes mémos techniques et retours d'expérience.