<div dir="ltr"><div dir="ltr">On Mon, Feb 7, 2022 at 10:56 PM Christoph Cullmann (<a href="http://cullmann.io">cullmann.io</a>) <<a href="mailto:christoph@cullmann.io">christoph@cullmann.io</a>> wrote:<br></div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 2022-02-07 10:35, Ben Cooksley wrote:<br>
> On Sun, Feb 6, 2022 at 10:40 PM Friedrich W. H. Kossebau<br>
> <<a href="mailto:kossebau@kde.org" target="_blank">kossebau@kde.org</a>> wrote:<br>
> <br>
>> Am Montag, 24. Januar 2022, 01:06:40 CET schrieb Friedrich W. H.<br>
>> Kossebau:<br>
>>> Hi,<br>
>>> <br>
>>> since a long time there are lots of failing unit tests across<br>
>> multiple<br>
>>> repositories. Could the Windows platform maintainers/stakeholders<br>
>> please<br>
>>> look soonish into either fixing those tests or properly marking<br>
>> them as<br>
>>> expected to fail, so the resources the KDE CI spends on running<br>
>> the tests<br>
>>> every hour, day and week make some sense again, as well as having<br>
>> something<br>
>>> usable to diff results again, to notice any new regressions?<br>
>>> <br>
>>> Please see<br>
>>> <br>
>>> <br>
>> <br>
> <a href="https://build.kde.org/job/Frameworks/view/Platform%20-%20WindowsMSVCQt5.15/" rel="noreferrer" target="_blank">https://build.kde.org/job/Frameworks/view/Platform%20-%20WindowsMSVCQt5.15/</a><br>
>>> (best sort by "S" build status to get a list what need<br>
>> <br>
>> And those who believe in the broken windows theory also would claim<br>
>> this<br>
>> slacking now resulted in the regressions in the openSUSE builds,<br>
>> where 5<br>
>> modules now have failing unit tests at time of release tagging, when<br>
>> it once<br>
>> was 0 thanks to hard work of David F. and others. :(<br>
>> <br>
>> Is it time to remove<br>
>> <a href="https://community.kde.org/Frameworks/" rel="noreferrer" target="_blank">https://community.kde.org/Frameworks/</a><br>
>> Policies#Frameworks_CI_failures_are_treated_as_stop_the_line_events<br>
>> because seemingly this is just old dead pixels on a web page and not<br>
>> the<br>
>> spirit these days?<br>
> <br>
> Not sure that is the ideal outcome here - preferrably our tests would<br>
> continue to all pass.<br>
> <br>
> I know some tests on certain platforms have been flaky and switch<br>
> between failing/passing - are we sure that isn't the driver of people<br>
> ignoring the results?<br>
<br>
One thing that sometimes lead me to ignore stuff with KTextEditor is <br>
that the UI<br>
tests are often very unstable.<br>
<br>
e.g. they just fail for me locally but then work perfectly in the CI or <br>
the other<br>
way around.<br>
<br>
Not sure how to improve that.<br></blockquote><div><br></div><div>Interesting to note that it is GUI/UI tests that are causing issues. I would have thought that the setup on the CI for those would be a carbon copy almost every time which makes these failures interesting.</div><div>Out of curiosity, what are the tests trying to accomplish and where is it failing?</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
For all non-UI tests naturally no such problems exist for KTextEditor <br>
and they are easy to keep<br>
working.<br>
<br>
KSyntaxHighlighting only has non-UI test and that is very easy to keep <br>
in a consistent shape.<br>
<br>
Greetings<br>
Christoph<br></blockquote><div><br></div><div>Thanks,</div><div>Ben</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
> <br>
> Cheers,<br>
> Ben<br>
> <br>
>> Friedrich<br>
<br>
-- <br>
Ignorance is bliss...<br>
<a href="https://cullmann.io" rel="noreferrer" target="_blank">https://cullmann.io</a> | <a href="https://kate-editor.org" rel="noreferrer" target="_blank">https://kate-editor.org</a><br>
</blockquote></div></div>