<div dir="ltr"><div dir="ltr">On Sun, Feb 6, 2022 at 10:40 PM Friedrich W. H. Kossebau <<a href="mailto:kossebau@kde.org">kossebau@kde.org</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Am Montag, 24. Januar 2022, 01:06:40 CET schrieb Friedrich W. H. Kossebau:<br>
> Hi,<br>
> <br>
> since a long time there are lots of failing unit tests across multiple<br>
> repositories. Could the Windows platform maintainers/stakeholders please<br>
> look soonish into either fixing those tests or properly marking them as<br>
> expected to fail, so the resources the KDE CI spends on running the tests<br>
> every hour, day and week make some sense again, as well as having something<br>
> usable to diff results again, to notice any new regressions?<br>
> <br>
> Please see<br>
>  <br>
> <a href="https://build.kde.org/job/Frameworks/view/Platform%20-%20WindowsMSVCQt5.15/" rel="noreferrer" target="_blank">https://build.kde.org/job/Frameworks/view/Platform%20-%20WindowsMSVCQt5.15/</a><br>
> (best sort by "S" build status to get a list what need<br>
<br>
And those who believe in the broken windows theory also would claim this <br>
slacking now resulted in the regressions in the openSUSE builds, where 5 <br>
modules now have failing unit tests at time of release tagging, when it once <br>
was 0 thanks to hard work of David F. and others. :(<br>
<br>
Is it time to remove <br>
<a href="https://community.kde.org/Frameworks/" rel="noreferrer" target="_blank">https://community.kde.org/Frameworks/</a><br>
Policies#Frameworks_CI_failures_are_treated_as_stop_the_line_events<br>
because seemingly this is just old dead pixels on a web page and not the <br>
spirit these days?<br></blockquote><div><br></div><div>Not sure that is the ideal outcome here - preferrably our tests would continue to all pass.</div><div><br></div><div>I know some tests on certain platforms have been flaky and switch between failing/passing - are we sure that isn't the driver of people ignoring the results?</div><div><br></div><div>Cheers,</div><div>Ben</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
Friedrich<br>
<br>
<br>
<br>
</blockquote></div></div>