digraph G {
0 [labelType="html" label="<b>Execute InsertIntoHadoopFsRelationCommand</b><br><br>task commit time: 1 ms<br>number of written files: 1<br>job commit time: 15 ms<br>number of output rows: 636,957<br>number of dynamic part: 0<br>written output: 134.1 MiB"];
1 [labelType="html" label="<br><b>WriteFiles</b><br><br>"];
2 [labelType="html" label="<br><b>Coalesce</b><br><br>"];
subgraph cluster3 {
isCluster="true";
label="WholeStageCodegen (1)\n \nduration: 14.3 s";
4 [labelType="html" label="<b>Scan ExistingRDD</b><br><br>number of output rows: 636,957"];
}
1->0;
2->1;
4->2;
}
5
Execute InsertIntoHadoopFsRelationCommand file:/data/output/export/csv/3797b009-53c1-4c20-b88d-52ceff2714c2, false, CSV, [path=file:///data/output/export/csv/3797b009-53c1-4c20-b88d-52ceff2714c2, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Date de l'acte 1, Quantité acte 1, Code acte 1, Date de l'acte 2, Quantité acte 2, Code acte 2, Date de l'acte 3, Quantité acte 3, Code acte 3, Date de l'acte 4, Quantité acte 4, ... 6 more fields]
WriteFiles
Coalesce 1
Scan ExistingRDD[ROW_NUMBER#6814,LigneType#6815,IdDossier-Full#6816,FINESS ePMSI#6817,FINESS géographique#6818,immatriculation assuré#6819,Clé immatriculation#6820,Rang de bénéficiaire#6821,N° d’entrée#6822,immatriculation individuel#6823,Clé immatriculation individuel#6824,Mode de traitement#6825,Discipline de prestation#6826,Date de l'acte 1#6827,Quantité acte 1#6828,Code acte 1#6829,Date de l'acte 2#6830,Quantité acte 2#6831,Code acte 2#6832,Date de l'acte 3#6833,Quantité acte 3#6834,Code acte 3#6835,Date de l'acte 4#6836,Quantité acte 4#6837,... 6 more fields]
WholeStageCodegen (1)
== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (4)
+- WriteFiles (3)
+- Coalesce (2)
+- * Scan ExistingRDD (1)
(1) Scan ExistingRDD [codegen id : 1]
Output [30]: [ROW_NUMBER#6814, LigneType#6815, IdDossier-Full#6816, FINESS ePMSI#6817, FINESS géographique#6818, immatriculation assuré#6819, Clé immatriculation#6820, Rang de bénéficiaire#6821, N° d’entrée#6822, immatriculation individuel#6823, Clé immatriculation individuel#6824, Mode de traitement#6825, Discipline de prestation#6826, Date de l'acte 1#6827, Quantité acte 1#6828, Code acte 1#6829, Date de l'acte 2#6830, Quantité acte 2#6831, Code acte 2#6832, Date de l'acte 3#6833, Quantité acte 3#6834, Code acte 3#6835, Date de l'acte 4#6836, Quantité acte 4#6837, Code acte 4#6838, Date de l'acte 5#6839, Quantité acte 5#6840, Code acte 5#6841, Numéro de facture#6842, Taille Ligne L#6843]
Arguments: [ROW_NUMBER#6814, LigneType#6815, IdDossier-Full#6816, FINESS ePMSI#6817, FINESS géographique#6818, immatriculation assuré#6819, Clé immatriculation#6820, Rang de bénéficiaire#6821, N° d’entrée#6822, immatriculation individuel#6823, Clé immatriculation individuel#6824, Mode de traitement#6825, Discipline de prestation#6826, Date de l'acte 1#6827, Quantité acte 1#6828, Code acte 1#6829, Date de l'acte 2#6830, Quantité acte 2#6831, Code acte 2#6832, Date de l'acte 3#6833, Quantité acte 3#6834, Code acte 3#6835, Date de l'acte 4#6836, Quantité acte 4#6837, ... 6 more fields], MapPartitionsRDD[104] at createDataFrame at AbsExportExecutor.java:55, ExistingRDD, UnknownPartitioning(0)
(2) Coalesce
Input [30]: [ROW_NUMBER#6814, LigneType#6815, IdDossier-Full#6816, FINESS ePMSI#6817, FINESS géographique#6818, immatriculation assuré#6819, Clé immatriculation#6820, Rang de bénéficiaire#6821, N° d’entrée#6822, immatriculation individuel#6823, Clé immatriculation individuel#6824, Mode de traitement#6825, Discipline de prestation#6826, Date de l'acte 1#6827, Quantité acte 1#6828, Code acte 1#6829, Date de l'acte 2#6830, Quantité acte 2#6831, Code acte 2#6832, Date de l'acte 3#6833, Quantité acte 3#6834, Code acte 3#6835, Date de l'acte 4#6836, Quantité acte 4#6837, Code acte 4#6838, Date de l'acte 5#6839, Quantité acte 5#6840, Code acte 5#6841, Numéro de facture#6842, Taille Ligne L#6843]
Arguments: 1
(3) WriteFiles
Input [30]: [ROW_NUMBER#6814, LigneType#6815, IdDossier-Full#6816, FINESS ePMSI#6817, FINESS géographique#6818, immatriculation assuré#6819, Clé immatriculation#6820, Rang de bénéficiaire#6821, N° d’entrée#6822, immatriculation individuel#6823, Clé immatriculation individuel#6824, Mode de traitement#6825, Discipline de prestation#6826, Date de l'acte 1#6827, Quantité acte 1#6828, Code acte 1#6829, Date de l'acte 2#6830, Quantité acte 2#6831, Code acte 2#6832, Date de l'acte 3#6833, Quantité acte 3#6834, Code acte 3#6835, Date de l'acte 4#6836, Quantité acte 4#6837, Code acte 4#6838, Date de l'acte 5#6839, Quantité acte 5#6840, Code acte 5#6841, Numéro de facture#6842, Taille Ligne L#6843]
(4) Execute InsertIntoHadoopFsRelationCommand
Input: []
Arguments: file:/data/output/export/csv/3797b009-53c1-4c20-b88d-52ceff2714c2, false, CSV, [path=file:///data/output/export/csv/3797b009-53c1-4c20-b88d-52ceff2714c2, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Date de l'acte 1, Quantité acte 1, Code acte 1, Date de l'acte 2, Quantité acte 2, Code acte 2, Date de l'acte 3, Quantité acte 3, Code acte 3, Date de l'acte 4, Quantité acte 4, ... 6 more fields]