Show the Stage ID and Task ID that corresponds to the max metric
digraph G {
0 [labelType="html" label="<b>Execute InsertIntoHadoopFsRelationCommand</b><br><br>task commit time: 1 ms<br>number of written files: 1<br>job commit time: 18 ms<br>number of output rows: 5,556<br>number of dynamic part: 0<br>written output: 929.6 KiB"];
1 [labelType="html" label="<br><b>WriteFiles</b><br><br>"];
2 [labelType="html" label="<br><b>Coalesce</b><br><br>"];
subgraph cluster3 {
isCluster="true";
label="WholeStageCodegen (1)\n \nduration: 1.5 s";
4 [labelType="html" label="<b>Scan ExistingRDD</b><br><br>number of output rows: 5,556"];
}
1->0;
2->1;
4->2;
}
5
Execute InsertIntoHadoopFsRelationCommand file:/data/output/export/csv/a4a6173e-0bc9-4695-8ed5-3f69e45d5d7d, false, CSV, [path=file:///data/output/export/csv/a4a6173e-0bc9-4695-8ed5-3f69e45d5d7d, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdExpand, IdDossier-Full, FINESS ePMSI, FINESS géographique, immatriculation assuré, Clé du n° immatriculation, Rang de bénéficiaire, N° d'entrée, N° immatriculation individuel, Clé du n° immatriculation individuel, Taille Ligne P, Date de début de séjour, Code UCD, Coefficient de fractionnement, Prix d'achat unitaire TTC, Montant unitaire de l'écart indemnisable, Montant total de l'écart indemnisable, Quantité, Montant total facturé TTC, Indication, Numéro facture]
WriteFiles
Coalesce 1
Scan ExistingRDD[ROW_NUMBER#5811,LigneType#5812,IdExpand#5813,IdDossier-Full#5814,FINESS ePMSI#5815,FINESS géographique#5816,immatriculation assuré#5817,Clé du n° immatriculation#5818,Rang de bénéficiaire#5819,N° d'entrée#5820,N° immatriculation individuel#5821,Clé du n° immatriculation individuel#5822,Taille Ligne P#5823,Date de début de séjour#5824,Code UCD#5825,Coefficient de fractionnement#5826,Prix d'achat unitaire TTC#5827,Montant unitaire de l'écart indemnisable#5828,Montant total de l'écart indemnisable#5829,Quantité#5830,Montant total facturé TTC#5831,Indication#5832,Numéro facture#5833]
== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (4)
+- WriteFiles (3)
+- Coalesce (2)
+- * Scan ExistingRDD (1)
(1) Scan ExistingRDD [codegen id : 1]
Output [23]: [ROW_NUMBER#5811, LigneType#5812, IdExpand#5813, IdDossier-Full#5814, FINESS ePMSI#5815, FINESS géographique#5816, immatriculation assuré#5817, Clé du n° immatriculation#5818, Rang de bénéficiaire#5819, N° d'entrée#5820, N° immatriculation individuel#5821, Clé du n° immatriculation individuel#5822, Taille Ligne P#5823, Date de début de séjour#5824, Code UCD#5825, Coefficient de fractionnement#5826, Prix d'achat unitaire TTC#5827, Montant unitaire de l'écart indemnisable#5828, Montant total de l'écart indemnisable#5829, Quantité#5830, Montant total facturé TTC#5831, Indication#5832, Numéro facture#5833]
Arguments: [ROW_NUMBER#5811, LigneType#5812, IdExpand#5813, IdDossier-Full#5814, FINESS ePMSI#5815, FINESS géographique#5816, immatriculation assuré#5817, Clé du n° immatriculation#5818, Rang de bénéficiaire#5819, N° d'entrée#5820, N° immatriculation individuel#5821, Clé du n° immatriculation individuel#5822, Taille Ligne P#5823, Date de début de séjour#5824, Code UCD#5825, Coefficient de fractionnement#5826, Prix d'achat unitaire TTC#5827, Montant unitaire de l'écart indemnisable#5828, Montant total de l'écart indemnisable#5829, Quantité#5830, Montant total facturé TTC#5831, Indication#5832, Numéro facture#5833], MapPartitionsRDD[88] at createDataFrame at AbsExportExecutor.java:55, ExistingRDD, UnknownPartitioning(0)
(2) Coalesce
Input [23]: [ROW_NUMBER#5811, LigneType#5812, IdExpand#5813, IdDossier-Full#5814, FINESS ePMSI#5815, FINESS géographique#5816, immatriculation assuré#5817, Clé du n° immatriculation#5818, Rang de bénéficiaire#5819, N° d'entrée#5820, N° immatriculation individuel#5821, Clé du n° immatriculation individuel#5822, Taille Ligne P#5823, Date de début de séjour#5824, Code UCD#5825, Coefficient de fractionnement#5826, Prix d'achat unitaire TTC#5827, Montant unitaire de l'écart indemnisable#5828, Montant total de l'écart indemnisable#5829, Quantité#5830, Montant total facturé TTC#5831, Indication#5832, Numéro facture#5833]
Arguments: 1
(3) WriteFiles
Input [23]: [ROW_NUMBER#5811, LigneType#5812, IdExpand#5813, IdDossier-Full#5814, FINESS ePMSI#5815, FINESS géographique#5816, immatriculation assuré#5817, Clé du n° immatriculation#5818, Rang de bénéficiaire#5819, N° d'entrée#5820, N° immatriculation individuel#5821, Clé du n° immatriculation individuel#5822, Taille Ligne P#5823, Date de début de séjour#5824, Code UCD#5825, Coefficient de fractionnement#5826, Prix d'achat unitaire TTC#5827, Montant unitaire de l'écart indemnisable#5828, Montant total de l'écart indemnisable#5829, Quantité#5830, Montant total facturé TTC#5831, Indication#5832, Numéro facture#5833]
(4) Execute InsertIntoHadoopFsRelationCommand
Input: []
Arguments: file:/data/output/export/csv/a4a6173e-0bc9-4695-8ed5-3f69e45d5d7d, false, CSV, [path=file:///data/output/export/csv/a4a6173e-0bc9-4695-8ed5-3f69e45d5d7d, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdExpand, IdDossier-Full, FINESS ePMSI, FINESS géographique, immatriculation assuré, Clé du n° immatriculation, Rang de bénéficiaire, N° d'entrée, N° immatriculation individuel, Clé du n° immatriculation individuel, Taille Ligne P, Date de début de séjour, Code UCD, Coefficient de fractionnement, Prix d'achat unitaire TTC, Montant unitaire de l'écart indemnisable, Montant total de l'écart indemnisable, Quantité, Montant total facturé TTC, Indication, Numéro facture]