SP1 - Details for Query 26

Submitted Time: 2026/08/26 14:00:10
Duration: 6 s
Succeeded Jobs: 15

Show the Stage ID and Task ID that corresponds to the max metric

digraph G { 0 [labelType="html" label="Execute InsertIntoHadoopFsRelationCommand task commit time: 1 ms number of written files: 1 job commit time: 17 ms number of output rows: 158,502 number of dynamic part: 0 written output: 25.3 MiB"]; 1 [labelType="html" label=" WriteFiles "]; 2 [labelType="html" label=" Coalesce "]; subgraph cluster3 { isCluster="true"; label="WholeStageCodegen (1)\n \nduration: 5.6 s"; 4 [labelType="html" label="Scan ExistingRDD number of output rows: 158,502"]; } 1->0; 2->1; 4->2; }

Execute InsertIntoHadoopFsRelationCommand file:/data/output/export/csv/38519d10-ff61-4641-84a9-4ecd8f2a71bf, false, CSV, [path=file:///data/output/export/csv/38519d10-ff61-4641-84a9-4ecd8f2a71bf, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep= , header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Date de l'acte, Code CCAM, Extension documentaire, Activité, Phase, Modificateur 1, Modificateur 2, Modificateur 3, Modificateur 4, Code association d'actes non prévue, Code remboursement sous condition, ... 18 more fields]

WriteFiles

Coalesce 1

Scan ExistingRDD[ROW_NUMBER#8439,LigneType#8440,IdDossier-Full#8441,FINESS ePMSI#8442,FINESS géographique#8443,immatriculation assuré#8444,Clé immatriculation#8445,Rang de bénéficiaire#8446,N° d’entrée#8447,immatriculation individuel#8448,Clé immatriculation individuel#8449,Mode de traitement#8450,Discipline de prestation#8451,Date de l'acte#8452,Code CCAM#8453,Extension documentaire#8454,Activité#8455,Phase#8456,Modificateur 1#8457,Modificateur 2#8458,Modificateur 3#8459,Modificateur 4#8460,Code association d'actes non prévue#8461,Code remboursement sous condition#8462,... 18 more fields]

WholeStageCodegen (1)

Details

== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (4)
+- WriteFiles (3)
   +- Coalesce (2)
      +- * Scan ExistingRDD (1)


(1) Scan ExistingRDD [codegen id : 1]
Output [42]: [ROW_NUMBER#8439, LigneType#8440, IdDossier-Full#8441, FINESS ePMSI#8442, FINESS géographique#8443, immatriculation assuré#8444, Clé immatriculation#8445, Rang de bénéficiaire#8446, N° d’entrée#8447, immatriculation individuel#8448, Clé immatriculation individuel#8449, Mode de traitement#8450, Discipline de prestation#8451, Date de l'acte#8452, Code CCAM#8453, Extension documentaire#8454, Activité#8455, Phase#8456, Modificateur 1#8457, Modificateur 2#8458, Modificateur 3#8459, Modificateur 4#8460, Code association d'actes non prévue#8461, Code remboursement sous condition#8462, N° dent 1#8463, N° dent 2#8464, N° dent 3#8465, N° dent 4#8466, N° dent 5#8467, N° dent 6#8468, N° dent 7#8469, N° dent 8#8470, N° dent 9#8471, N° dent 10#8472, N° dent 11#8473, N° dent 12#8474, N° dent 13#8475, N° dent 14#8476, N° dent 15#8477, N° dent 16#8478, Numéro facture#8479, Taille Ligne M#8480]
Arguments: [ROW_NUMBER#8439, LigneType#8440, IdDossier-Full#8441, FINESS ePMSI#8442, FINESS géographique#8443, immatriculation assuré#8444, Clé immatriculation#8445, Rang de bénéficiaire#8446, N° d’entrée#8447, immatriculation individuel#8448, Clé immatriculation individuel#8449, Mode de traitement#8450, Discipline de prestation#8451, Date de l'acte#8452, Code CCAM#8453, Extension documentaire#8454, Activité#8455, Phase#8456, Modificateur 1#8457, Modificateur 2#8458, Modificateur 3#8459, Modificateur 4#8460, Code association d'actes non prévue#8461, Code remboursement sous condition#8462, ... 18 more fields], MapPartitionsRDD[120] at createDataFrame at AbsExportExecutor.java:55, ExistingRDD, UnknownPartitioning(0)

(2) Coalesce
Input [42]: [ROW_NUMBER#8439, LigneType#8440, IdDossier-Full#8441, FINESS ePMSI#8442, FINESS géographique#8443, immatriculation assuré#8444, Clé immatriculation#8445, Rang de bénéficiaire#8446, N° d’entrée#8447, immatriculation individuel#8448, Clé immatriculation individuel#8449, Mode de traitement#8450, Discipline de prestation#8451, Date de l'acte#8452, Code CCAM#8453, Extension documentaire#8454, Activité#8455, Phase#8456, Modificateur 1#8457, Modificateur 2#8458, Modificateur 3#8459, Modificateur 4#8460, Code association d'actes non prévue#8461, Code remboursement sous condition#8462, N° dent 1#8463, N° dent 2#8464, N° dent 3#8465, N° dent 4#8466, N° dent 5#8467, N° dent 6#8468, N° dent 7#8469, N° dent 8#8470, N° dent 9#8471, N° dent 10#8472, N° dent 11#8473, N° dent 12#8474, N° dent 13#8475, N° dent 14#8476, N° dent 15#8477, N° dent 16#8478, Numéro facture#8479, Taille Ligne M#8480]
Arguments: 1

(3) WriteFiles
Input [42]: [ROW_NUMBER#8439, LigneType#8440, IdDossier-Full#8441, FINESS ePMSI#8442, FINESS géographique#8443, immatriculation assuré#8444, Clé immatriculation#8445, Rang de bénéficiaire#8446, N° d’entrée#8447, immatriculation individuel#8448, Clé immatriculation individuel#8449, Mode de traitement#8450, Discipline de prestation#8451, Date de l'acte#8452, Code CCAM#8453, Extension documentaire#8454, Activité#8455, Phase#8456, Modificateur 1#8457, Modificateur 2#8458, Modificateur 3#8459, Modificateur 4#8460, Code association d'actes non prévue#8461, Code remboursement sous condition#8462, N° dent 1#8463, N° dent 2#8464, N° dent 3#8465, N° dent 4#8466, N° dent 5#8467, N° dent 6#8468, N° dent 7#8469, N° dent 8#8470, N° dent 9#8471, N° dent 10#8472, N° dent 11#8473, N° dent 12#8474, N° dent 13#8475, N° dent 14#8476, N° dent 15#8477, N° dent 16#8478, Numéro facture#8479, Taille Ligne M#8480]

(4) Execute InsertIntoHadoopFsRelationCommand
Input: []
Arguments: file:/data/output/export/csv/38519d10-ff61-4641-84a9-4ecd8f2a71bf, false, CSV, [path=file:///data/output/export/csv/38519d10-ff61-4641-84a9-4ecd8f2a71bf, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Date de l'acte, Code CCAM, Extension documentaire, Activité, Phase, Modificateur 1, Modificateur 2, Modificateur 3, Modificateur 4, Code association d'actes non prévue, Code remboursement sous condition, ... 18 more fields]

SQL / DataFrame Properties

Name	Value
spark.sql.optimizer.nestedPredicatePushdown.supportedFileSources	parquet,orc,geoparquet