Show the Stage ID and Task ID that corresponds to the max metric
digraph G {
0 [labelType="html" label="<b>Execute InsertIntoHadoopFsRelationCommand</b><br><br>task commit time: 1 ms<br>number of written files: 1<br>job commit time: 13 ms<br>number of output rows: 870,333<br>number of dynamic part: 0<br>written output: 160.3 MiB"];
1 [labelType="html" label="<br><b>WriteFiles</b><br><br>"];
2 [labelType="html" label="<br><b>Coalesce</b><br><br>"];
subgraph cluster3 {
isCluster="true";
label="WholeStageCodegen (1)\n \nduration: 20.1 s";
4 [labelType="html" label="<b>Scan ExistingRDD</b><br><br>number of output rows: 870,333"];
}
1->0;
2->1;
4->2;
}
5
Execute InsertIntoHadoopFsRelationCommand file:/data/output/export/csv/4361a0ec-6e14-450d-bb06-4b253cf7d0bb, false, CSV, [path=file:///data/output/export/csv/4361a0ec-6e14-450d-bb06-4b253cf7d0bb, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS-ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Justification exo TM, Spécialité exécutant, Date des soins, Code acte, Quantité, Coefficient, Dénombrement, Taille Ligne B, Prix Unitaire, Montant Base remboursement, Taux applicable à la prestation, ... 7 more fields]
WriteFiles
Coalesce 1
Scan ExistingRDD[ROW_NUMBER#38857,LigneType#38858,IdDossier-Full#38859,FINESS-ePMSI#38860,FINESS géographique#38861,immatriculation assuré#38862,Clé immatriculation#38863,Rang de bénéficiaire#38864,N° d’entrée#38865,immatriculation individuel#38866,Clé immatriculation individuel#38867,Mode de traitement#38868,Discipline de prestation#38869,Justification exo TM#38870,Spécialité exécutant#38871,Date des soins#38872,Code acte#38873,Quantité#38874,Coefficient#38875,Dénombrement#38876,Taille Ligne B#38877,Prix Unitaire#38878,Montant Base remboursement#38879,Taux applicable à la prestation#38880,... 7 more fields]
== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (4)
+- WriteFiles (3)
+- Coalesce (2)
+- * Scan ExistingRDD (1)
(1) Scan ExistingRDD [codegen id : 1]
Output [31]: [ROW_NUMBER#38857, LigneType#38858, IdDossier-Full#38859, FINESS-ePMSI#38860, FINESS géographique#38861, immatriculation assuré#38862, Clé immatriculation#38863, Rang de bénéficiaire#38864, N° d’entrée#38865, immatriculation individuel#38866, Clé immatriculation individuel#38867, Mode de traitement#38868, Discipline de prestation#38869, Justification exo TM#38870, Spécialité exécutant#38871, Date des soins#38872, Code acte#38873, Quantité#38874, Coefficient#38875, Dénombrement#38876, Taille Ligne B#38877, Prix Unitaire#38878, Montant Base remboursement#38879, Taux applicable à la prestation#38880, Montant Remboursable par la caisse (AMO)#38881, Montant des honoraire - Montant total de la dépense pour PH#38882, Montant remboursable par l'organisme complémentaire (AMC)#38883, Filler#38884, Type d’unité fonctionnelle de consultations#38885, Coefficient MCO#38886, Numéro facture#38887]
Arguments: [ROW_NUMBER#38857, LigneType#38858, IdDossier-Full#38859, FINESS-ePMSI#38860, FINESS géographique#38861, immatriculation assuré#38862, Clé immatriculation#38863, Rang de bénéficiaire#38864, N° d’entrée#38865, immatriculation individuel#38866, Clé immatriculation individuel#38867, Mode de traitement#38868, Discipline de prestation#38869, Justification exo TM#38870, Spécialité exécutant#38871, Date des soins#38872, Code acte#38873, Quantité#38874, Coefficient#38875, Dénombrement#38876, Taille Ligne B#38877, Prix Unitaire#38878, Montant Base remboursement#38879, Taux applicable à la prestation#38880, ... 7 more fields], MapPartitionsRDD[1076] at createDataFrame at AbsExportExecutor.java:55, ExistingRDD, UnknownPartitioning(0)
(2) Coalesce
Input [31]: [ROW_NUMBER#38857, LigneType#38858, IdDossier-Full#38859, FINESS-ePMSI#38860, FINESS géographique#38861, immatriculation assuré#38862, Clé immatriculation#38863, Rang de bénéficiaire#38864, N° d’entrée#38865, immatriculation individuel#38866, Clé immatriculation individuel#38867, Mode de traitement#38868, Discipline de prestation#38869, Justification exo TM#38870, Spécialité exécutant#38871, Date des soins#38872, Code acte#38873, Quantité#38874, Coefficient#38875, Dénombrement#38876, Taille Ligne B#38877, Prix Unitaire#38878, Montant Base remboursement#38879, Taux applicable à la prestation#38880, Montant Remboursable par la caisse (AMO)#38881, Montant des honoraire - Montant total de la dépense pour PH#38882, Montant remboursable par l'organisme complémentaire (AMC)#38883, Filler#38884, Type d’unité fonctionnelle de consultations#38885, Coefficient MCO#38886, Numéro facture#38887]
Arguments: 1
(3) WriteFiles
Input [31]: [ROW_NUMBER#38857, LigneType#38858, IdDossier-Full#38859, FINESS-ePMSI#38860, FINESS géographique#38861, immatriculation assuré#38862, Clé immatriculation#38863, Rang de bénéficiaire#38864, N° d’entrée#38865, immatriculation individuel#38866, Clé immatriculation individuel#38867, Mode de traitement#38868, Discipline de prestation#38869, Justification exo TM#38870, Spécialité exécutant#38871, Date des soins#38872, Code acte#38873, Quantité#38874, Coefficient#38875, Dénombrement#38876, Taille Ligne B#38877, Prix Unitaire#38878, Montant Base remboursement#38879, Taux applicable à la prestation#38880, Montant Remboursable par la caisse (AMO)#38881, Montant des honoraire - Montant total de la dépense pour PH#38882, Montant remboursable par l'organisme complémentaire (AMC)#38883, Filler#38884, Type d’unité fonctionnelle de consultations#38885, Coefficient MCO#38886, Numéro facture#38887]
(4) Execute InsertIntoHadoopFsRelationCommand
Input: []
Arguments: file:/data/output/export/csv/4361a0ec-6e14-450d-bb06-4b253cf7d0bb, false, CSV, [path=file:///data/output/export/csv/4361a0ec-6e14-450d-bb06-4b253cf7d0bb, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS-ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Justification exo TM, Spécialité exécutant, Date des soins, Code acte, Quantité, Coefficient, Dénombrement, Taille Ligne B, Prix Unitaire, Montant Base remboursement, Taux applicable à la prestation, ... 7 more fields]