SP1 - Details for Query 3545

Submitted Time: 2026/08/26 10:44:35
Duration: 0.2 s
Succeeded Jobs: 3995

Show the Stage ID and Task ID that corresponds to the max metric

digraph G { 0 [labelType="html" label="Execute InsertIntoHadoopFsRelationCommand task commit time: 0 ms number of written files: 1 job commit time: 15 ms number of output rows: 30 number of dynamic part: 0 written output: 6.5 KiB"]; 1 [labelType="html" label=" WriteFiles "]; subgraph cluster2 { isCluster="true"; label="WholeStageCodegen (1)\n \nduration: 43 ms"; 3 [labelType="html" label=" Project "]; } 4 [labelType="html" label="Scan csv number of output rows: 30 number of files read: 1 metadata time: 0 ms size of files read: 5.4 KiB"]; 1->0; 3->1; 4->3; }

Execute InsertIntoHadoopFsRelationCommand file:/data/output/cache/parquet/uet/IDT_PERSONNES_T_66153, false, Parquet, [path=file:///data/output/cache/parquet/uet/IDT_PERSONNES_T_66153], Overwrite, [CODE_ETABLISSEM_66160, CODE_POSTAL_66164, COMMUNE_66163, DATE_DE_NAISSAN_66159, DPT_66167, IPP_IDENTIFIANT_66154, LATITUDE_ADRESS_66165, LIBELLE_ETABLIS_66161, LONGITUDE_ADRES_66166, NOM_DE_FAMILLE__66155, NOM_DE_NAISSANC_66157, PRENOM_PATIENT_66156, RUE_66162, SEXE_PATIENT_66158]

WriteFiles

Project [Code établissement#874859 AS CODE_ETABLISSEM_66160#874952, code postal#874863 AS CODE_POSTAL_66164#874953, commune#874862 AS COMMUNE_66163#874954, Date de naissance patient#874858 AS DATE_DE_NAISSAN_66159#874955, DPT#874866 AS DPT_66167#874956, IPP - Identifiant Patient#874853 AS IPP_IDENTIFIANT_66154#874957, cast(REFORMAT_FOR_DOUBLE(Latitude Adresse#874864) as double) AS LATITUDE_ADRESS_66165#874958, Libellé établissement#874860 AS LIBELLE_ETABLIS_66161#874959, cast(REFORMAT_FOR_DOUBLE(Longitude Adresse#874865) as double) AS LONGITUDE_ADRES_66166#874960, Nom de famille patient#874854 AS NOM_DE_FAMILLE__66155#874961, Nom de naissance patient#874856 AS NOM_DE_NAISSANC_66157#874962, Prénom patient#874855 AS PRENOM_PATIENT_66156#874963, rue#874861 AS RUE_66162#874964, Sexe Patient#874857 AS SEXE_PATIENT_66158#874965]

WholeStageCodegen (1)

FileScan csv [IPP - Identifiant Patient#874853,Nom de famille patient#874854,Prénom patient#874855,Nom de naissance patient#874856,Sexe Patient#874857,Date de naissance patient#874858,Code établissement#874859,Libellé établissement#874860,rue#874861,commune#874862,code postal#874863,Latitude Adresse#874864,Longitude Adresse#874865,DPT#874866] Batched: false, DataFilters: [], Format: CSV, Location: InMemoryFileIndex(1 paths)[file:/data/input/depot/csv/execution/IDT_PERSONNE_TE_65974/current/EXT..., PartitionFilters: [], PushedFilters: [], ReadSchema: struct<IPP - Identifiant Patient:string,Nom de famille patient:string,Prénom patient:string,Nom d...

Details

== Physical Plan ==
Execute InsertIntoHadoopFsRelationCommand (4)
+- WriteFiles (3)
   +- * Project (2)
      +- Scan csv  (1)


(1) Scan csv 
Output [14]: [IPP - Identifiant Patient#874853, Nom de famille patient#874854, Prénom patient#874855, Nom de naissance patient#874856, Sexe Patient#874857, Date de naissance patient#874858, Code établissement#874859, Libellé établissement#874860, rue#874861, commune#874862, code postal#874863, Latitude Adresse#874864, Longitude Adresse#874865, DPT#874866]
Batched: false
Location: InMemoryFileIndex [file:/data/input/depot/csv/execution/IDT_PERSONNE_TE_65974/current/EXT_Qualité_Data_Population_1.csv]
ReadSchema: struct<IPP - Identifiant Patient:string,Nom de famille patient:string,Prénom patient:string,Nom de naissance patient:string,Sexe Patient:string,Date de naissance patient:string,Code établissement:string,Libellé établissement:string,rue:string,commune:string,code postal:string,Latitude Adresse:string,Longitude Adresse:string,DPT:string>

(2) Project [codegen id : 1]
Output [14]: [Code établissement#874859 AS CODE_ETABLISSEM_66160#874952, code postal#874863 AS CODE_POSTAL_66164#874953, commune#874862 AS COMMUNE_66163#874954, Date de naissance patient#874858 AS DATE_DE_NAISSAN_66159#874955, DPT#874866 AS DPT_66167#874956, IPP - Identifiant Patient#874853 AS IPP_IDENTIFIANT_66154#874957, cast(REFORMAT_FOR_DOUBLE(Latitude Adresse#874864) as double) AS LATITUDE_ADRESS_66165#874958, Libellé établissement#874860 AS LIBELLE_ETABLIS_66161#874959, cast(REFORMAT_FOR_DOUBLE(Longitude Adresse#874865) as double) AS LONGITUDE_ADRES_66166#874960, Nom de famille patient#874854 AS NOM_DE_FAMILLE__66155#874961, Nom de naissance patient#874856 AS NOM_DE_NAISSANC_66157#874962, Prénom patient#874855 AS PRENOM_PATIENT_66156#874963, rue#874861 AS RUE_66162#874964, Sexe Patient#874857 AS SEXE_PATIENT_66158#874965]
Input [14]: [IPP - Identifiant Patient#874853, Nom de famille patient#874854, Prénom patient#874855, Nom de naissance patient#874856, Sexe Patient#874857, Date de naissance patient#874858, Code établissement#874859, Libellé établissement#874860, rue#874861, commune#874862, code postal#874863, Latitude Adresse#874864, Longitude Adresse#874865, DPT#874866]

(3) WriteFiles
Input [14]: [CODE_ETABLISSEM_66160#874952, CODE_POSTAL_66164#874953, COMMUNE_66163#874954, DATE_DE_NAISSAN_66159#874955, DPT_66167#874956, IPP_IDENTIFIANT_66154#874957, LATITUDE_ADRESS_66165#874958, LIBELLE_ETABLIS_66161#874959, LONGITUDE_ADRES_66166#874960, NOM_DE_FAMILLE__66155#874961, NOM_DE_NAISSANC_66157#874962, PRENOM_PATIENT_66156#874963, RUE_66162#874964, SEXE_PATIENT_66158#874965]

(4) Execute InsertIntoHadoopFsRelationCommand
Input: []
Arguments: file:/data/output/cache/parquet/uet/IDT_PERSONNES_T_66153, false, Parquet, [path=file:///data/output/cache/parquet/uet/IDT_PERSONNES_T_66153], Overwrite, [CODE_ETABLISSEM_66160, CODE_POSTAL_66164, COMMUNE_66163, DATE_DE_NAISSAN_66159, DPT_66167, IPP_IDENTIFIANT_66154, LATITUDE_ADRESS_66165, LIBELLE_ETABLIS_66161, LONGITUDE_ADRES_66166, NOM_DE_FAMILLE__66155, NOM_DE_NAISSANC_66157, PRENOM_PATIENT_66156, RUE_66162, SEXE_PATIENT_66158]

SQL / DataFrame Properties

Name	Value
spark.sql.optimizer.nestedPredicatePushdown.supportedFileSources	parquet,orc,geoparquet