Show the Stage ID and Task ID that corresponds to the max metric
digraph G {
0 [labelType="html" label="<b>Execute InsertIntoHadoopFsRelationCommand</b><br><br>task commit time: 2 ms<br>number of written files: 1<br>job commit time: 17 ms<br>number of output rows: 84,725<br>number of dynamic part: 0<br>written output: 16.0 MiB"];
1 [labelType="html" label="<br><b>WriteFiles</b><br><br>"];
2 [labelType="html" label="<br><b>Coalesce</b><br><br>"];
subgraph cluster3 {
isCluster="true";
label="WholeStageCodegen (1)\n \nduration: 3.3 s";
4 [labelType="html" label="<b>Scan ExistingRDD</b><br><br>number of output rows: 84,725"];
}
1->0;
2->1;
4->2;
}
5
Execute InsertIntoHadoopFsRelationCommand file:/data/output/export/csv/dac75104-4dbf-4a9b-8358-c2699f6d938c, false, CSV, [path=file:///data/output/export/csv/dac75104-4dbf-4a9b-8358-c2699f6d938c, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS-ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Justification exo TM, Spécialité exécutant, Date des soins, Code acte, Quantité, Coefficient, Type de prestation intermédiaire, Coefficient MCO, Dénombrement, Prix Unitaire, Montant Base remboursement, ... 7 more fields]
WriteFiles
Coalesce 1
Scan ExistingRDD[ROW_NUMBER#3974,LigneType#3975,IdDossier-Full#3976,FINESS-ePMSI#3977,FINESS géographique#3978,immatriculation assuré#3979,Clé immatriculation#3980,Rang de bénéficiaire#3981,N° d’entrée#3982,immatriculation individuel#3983,Clé immatriculation individuel#3984,Mode de traitement#3985,Discipline de prestation#3986,Justification exo TM#3987,Spécialité exécutant#3988,Date des soins#3989,Code acte#3990,Quantité#3991,Coefficient#3992,Type de prestation intermédiaire#3993,Coefficient MCO#3994,Dénombrement#3995,Prix Unitaire#3996,Montant Base remboursement#3997,... 7 more fields]
== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (4)
+- WriteFiles (3)
+- Coalesce (2)
+- * Scan ExistingRDD (1)
(1) Scan ExistingRDD [codegen id : 1]
Output [31]: [ROW_NUMBER#3974, LigneType#3975, IdDossier-Full#3976, FINESS-ePMSI#3977, FINESS géographique#3978, immatriculation assuré#3979, Clé immatriculation#3980, Rang de bénéficiaire#3981, N° d’entrée#3982, immatriculation individuel#3983, Clé immatriculation individuel#3984, Mode de traitement#3985, Discipline de prestation#3986, Justification exo TM#3987, Spécialité exécutant#3988, Date des soins#3989, Code acte#3990, Quantité#3991, Coefficient#3992, Type de prestation intermédiaire#3993, Coefficient MCO#3994, Dénombrement#3995, Prix Unitaire#3996, Montant Base remboursement#3997, Taux applicable à la prestation#3998, Montant Remboursable par la caisse (AMO)#3999, Montant des honoraire (dépassement compris) ou Montant total de la dépense pour PH#4000, Montant remboursable par l'organisme complémentaire (AMC)#4001, Filler#4002, Numéro facture#4003, Taille Ligne B#4004]
Arguments: [ROW_NUMBER#3974, LigneType#3975, IdDossier-Full#3976, FINESS-ePMSI#3977, FINESS géographique#3978, immatriculation assuré#3979, Clé immatriculation#3980, Rang de bénéficiaire#3981, N° d’entrée#3982, immatriculation individuel#3983, Clé immatriculation individuel#3984, Mode de traitement#3985, Discipline de prestation#3986, Justification exo TM#3987, Spécialité exécutant#3988, Date des soins#3989, Code acte#3990, Quantité#3991, Coefficient#3992, Type de prestation intermédiaire#3993, Coefficient MCO#3994, Dénombrement#3995, Prix Unitaire#3996, Montant Base remboursement#3997, ... 7 more fields], MapPartitionsRDD[56] at createDataFrame at AbsExportExecutor.java:55, ExistingRDD, UnknownPartitioning(0)
(2) Coalesce
Input [31]: [ROW_NUMBER#3974, LigneType#3975, IdDossier-Full#3976, FINESS-ePMSI#3977, FINESS géographique#3978, immatriculation assuré#3979, Clé immatriculation#3980, Rang de bénéficiaire#3981, N° d’entrée#3982, immatriculation individuel#3983, Clé immatriculation individuel#3984, Mode de traitement#3985, Discipline de prestation#3986, Justification exo TM#3987, Spécialité exécutant#3988, Date des soins#3989, Code acte#3990, Quantité#3991, Coefficient#3992, Type de prestation intermédiaire#3993, Coefficient MCO#3994, Dénombrement#3995, Prix Unitaire#3996, Montant Base remboursement#3997, Taux applicable à la prestation#3998, Montant Remboursable par la caisse (AMO)#3999, Montant des honoraire (dépassement compris) ou Montant total de la dépense pour PH#4000, Montant remboursable par l'organisme complémentaire (AMC)#4001, Filler#4002, Numéro facture#4003, Taille Ligne B#4004]
Arguments: 1
(3) WriteFiles
Input [31]: [ROW_NUMBER#3974, LigneType#3975, IdDossier-Full#3976, FINESS-ePMSI#3977, FINESS géographique#3978, immatriculation assuré#3979, Clé immatriculation#3980, Rang de bénéficiaire#3981, N° d’entrée#3982, immatriculation individuel#3983, Clé immatriculation individuel#3984, Mode de traitement#3985, Discipline de prestation#3986, Justification exo TM#3987, Spécialité exécutant#3988, Date des soins#3989, Code acte#3990, Quantité#3991, Coefficient#3992, Type de prestation intermédiaire#3993, Coefficient MCO#3994, Dénombrement#3995, Prix Unitaire#3996, Montant Base remboursement#3997, Taux applicable à la prestation#3998, Montant Remboursable par la caisse (AMO)#3999, Montant des honoraire (dépassement compris) ou Montant total de la dépense pour PH#4000, Montant remboursable par l'organisme complémentaire (AMC)#4001, Filler#4002, Numéro facture#4003, Taille Ligne B#4004]
(4) Execute InsertIntoHadoopFsRelationCommand
Input: []
Arguments: file:/data/output/export/csv/dac75104-4dbf-4a9b-8358-c2699f6d938c, false, CSV, [path=file:///data/output/export/csv/dac75104-4dbf-4a9b-8358-c2699f6d938c, nullValue=, ignoreLeadingWhiteSpace=true, quoteAll=false, sep=;, quote=", emptyValue=, ignoreTrailingWhiteSpace=false, escape=\, charset=UTF-8, lineSep=
, header=true], ErrorIfExists, [ROW_NUMBER, LigneType, IdDossier-Full, FINESS-ePMSI, FINESS géographique, immatriculation assuré, Clé immatriculation, Rang de bénéficiaire, N° d’entrée, immatriculation individuel, Clé immatriculation individuel, Mode de traitement, Discipline de prestation, Justification exo TM, Spécialité exécutant, Date des soins, Code acte, Quantité, Coefficient, Type de prestation intermédiaire, Coefficient MCO, Dénombrement, Prix Unitaire, Montant Base remboursement, ... 7 more fields]