diff --git a/draft.pdf b/draft.pdf index 877442b..d582190 100644 Binary files a/draft.pdf and b/draft.pdf differ diff --git a/src/chapter_3.md b/src/chapter_3.md index a69e133..c7180fc 100644 --- a/src/chapter_3.md +++ b/src/chapter_3.md @@ -75,6 +75,17 @@ Una situazione analoga si riscontra anche nell'analisi sulle linee (@fig:lines-e \label{fig:entropy} \end{figure} +Per verificare la rilevanza statistica di questa diversità sono stati svolti il *ranksum* test e il *Cliff's delta* i cui risultati sono riportati nella @tbl:test-entropy. +Nel caso dell'entropia sui file possiamo dire che la differenza è marginale poiché il *p-value* è prossimo a $0.05$, mentre nel caso dell'entropia calcolato sulle linee la differenza viene confermata dal test. +In entrambi i casi, l'*effect size* è trascurabile. + +| | ranksum p-values | Cliff's delta | +|--------------|:----------------:|:-------------:| +| file entropy | 0.059 | 0.044 | +| line entropy | 5.932e-06 | 0.105 | + +: Risultati dei test statistici per quanto riguarda l'entropia {#tbl:test-entropy} + ## RQ4: come varia il livello di discussione tra ML bug e altri bug? Per rispondere a questa domanda è stato necessario andare a valutare il numero di commenti presenti all'interno di ogni issues. @@ -108,6 +119,17 @@ I risultati di quest'ulteriore analisi sono riportati in @fig:discussion-words. Anche in questo caso si può vedere che nel caso di \ac{ML} *fix* la distribuzione presenta valori più elevati e maggiore varianza. Per cui non solo nei *fix* di \acl{ML} c'è maggiore discussione, ma la discussione è anche più *densa*. +Anche in questo caso sono stati svolti i test statistici. +In @tbl:test-discussion è possibile vedere come per entrambe le metriche considerate il *p-value* sia abbondantemente inferiore alla soglia di $0.05$ quindi abbiamo una conferma della diversità delle due distribuzioni riscontrata dal boxplot. +Inoltre, per entrambe le metriche, abbiamo un *effect size* medio. + +| | ranksum p-values | Cliff's delta | +|---------------------|:----------------:|:-------------:| +| commenti medi | 9.053e-75 | 0.425 | +| parole per commento | 2.889e-59 | 0.377 | + +: Risultati dei test statistici per quanto riguarda il livello di discussione {#tbl:test-discussion} + ## RQ5: come varia il time-to-fix tra ML bug e altri bug? In quest'ultima analisi si vuole andare a valutare se c'è differenza nel tempo necessario per eseguire il *fix*. @@ -128,3 +150,11 @@ Mentre nel caso dei *fix* di \acl{ML} per essere considerato outlier un *issue*, Il maggior tempo necessario ad attuare la correzione indica che i *bug* di \ac{ML} sono più difficili da individuare e correggere rispetto a quelli generici. Inoltre questo risultato contribuisce a spiegare il dato emerso dalla sezione precedente, in quanto per individuare la fonte del problema sembrerebbe essere necessaria una discussione più approfondita. +Anche per quest'ultima *RQ* sono stati svolti i test statistici illustrati precedentemente. +Dai risultati riportati in @tbl:test-time-to-fix è possibile notare un *p-value* inferiore a $0.05$ e un *effect size* medio. + +| | ranksum p-values | Cliff's delta | +|------------|:----------------:|:-------------:| +| day-to-fix | 7.354e-53 | 0.355 | + +: Risultati dei test statistici per quanto riguarda il time-to-fix {#tbl:test-time-to-fix}