<div dir="ltr"><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Wed, Mar 19, 2025 at 11:30 AM Albert Astals Cid <<a href="mailto:aacid@kde.org">aacid@kde.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">El dimecres, 19 de març del 2025, a les 16:22:40 (Hora estàndard d’Europa <br>
central), Kristen McWilliam va escriure:<br>
> A) Discussion was initially in<br>
> <a href="https://invent.kde.org/sysadmin/ci-utilities/-/merge_requests/296" rel="noreferrer" target="_blank">https://invent.kde.org/sysadmin/ci-utilities/-/merge_requests/296</a> and then<br>
> moved to <a href="https://invent.kde.org/sysadmin/ci-utilities/-/issues/37" rel="noreferrer" target="_blank">https://invent.kde.org/sysadmin/ci-utilities/-/issues/37</a> for<br>
> overall tracking. Sorry to hear you did that extra work; we're hoping to<br>
> consolidate the effort with this. :)<br>
> <br>
> B) No one has made any specific commitments to helping with this, but I<br>
> know I for one will be trying my best to help where needed, such as the<br>
> community maintained repos mentioned. Any assistance with that is obviously<br>
> very welcome.<br>
<br>
Thanks :)<br>
<br>
Cheers,<br>
  Albert<br>
<br>
P.S: Please make sure you also answer to the list :)<br></blockquote><div><br></div><div>My bad, didn't realize I was hitting the wrong reply button. Thanks for pointing that out! :)</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<br>
> <br>
> <br>
> Cheers,<br>
> Kristen<br>
> <br>
> On Wed, Mar 19, 2025 at 10:48 AM Albert Astals Cid <<a href="mailto:aacid@kde.org" target="_blank">aacid@kde.org</a>> wrote:<br>
> > El dilluns, 17 de març del 2025, a les 14:54:24 (Hora estàndard d’Europa<br>
> > <br>
> > central), Kristen McWilliam va escriure:<br>
> > > Hi all,<br>
> > > <br>
> > > I'm excited to share an important update to our Continuous Integration<br>
> > > system that will improve the stability and reliability of our software.<br>
> > > Starting soon, test failures will be fatal by default in KDE CI.<br>
> > > <br>
> > > Historically, making test failures fatal has been an opt-in feature.<br>
> > > This<br>
> > > allowed some projects to inadvertently overlook failing tests, which<br>
> > <br>
> > could<br>
> > <br>
> > > lead to undetected breakages. To address this, we are transitioning to a<br>
> > > new default behavior where test failures will block merging, ensuring<br>
> > <br>
> > that<br>
> > <br>
> > > every commit keeps our code in a working state.<br>
> > > <br>
> > > <br>
> > > ## Key Details<br>
> > > <br>
> > > ### New Opt-Out Option<br>
> > > <br>
> > > We've introduced a new `allow-failing-tests-on` option for the<br>
> > > `.kde-ci.yml` file for projects that need temporary flexibility. If your<br>
> > > project isn't ready for this change, you can opt out using this option.<br>
> > > <br>
> > > Previously, the `require-passing-tests-on` option was used to make test<br>
> > > failures fatal by adding it to the options in the `.kde-ci.yml` file<br>
> > > like<br>
> > > <br>
> > > this:<br>
> > >     require-passing-tests-on: [ 'Linux', 'Windows' ]<br>
> > > <br>
> > > If you need to opt out of the new default behavior, you can add the<br>
> > > <br>
> > > `allow-failing-tests-on` option to your `.kde-ci.yml` file like this:<br>
> > >     allow-failing-tests-on: [ 'Linux', 'Windows' ]<br>
> > > <br>
> > > Full example of a `.kde-ci.yml` file with the new option:<br>
> > > <br>
> > > ```yaml<br>
> > > # SPDX-FileCopyrightText: None<br>
> > > # SPDX-License-Identifier: CC0-1.0<br>
> > > <br>
> > > Dependencies:<br>
> > > - 'on': ['@all']<br>
> > > <br>
> > >   'require':<br>
> > >     'frameworks/kcoreaddons': '@stable-kf6'<br>
> > > <br>
> > > Options:<br>
> > >   allow-failing-tests-on: [ 'Windows' ]<br>
> > > <br>
> > > ```<br>
> > > <br>
> > > The new opt-out option is available now, and the default behavior has<br>
> > <br>
> > **not<br>
> > <br>
> > > yet changed**. We will have a transition period to allow projects to<br>
> > <br>
> > adjust<br>
> > <br>
> > > before implementing the new default.<br>
> > > <br>
> > > <br>
> > > ### Transition Period<br>
> > > <br>
> > > There will be a 6-week transition period to allow projects to adjust<br>
> > <br>
> > before<br>
> > <br>
> > > making test failures fatal by default. During this time we will:<br>
> > >   - Monitor adoption and feedback.<br>
> > >   - Assist projects that haven't been adjusted yet, especially those<br>
> > <br>
> > under<br>
> > <br>
> > > community maintenance.<br>
> > > <br>
> > > <br>
> > > ### Final Steps<br>
> > > <br>
> > > After the transition period, test failures will become fatal by default.<br>
> > > <br>
> > > Additionally:<br>
> > >   - The legacy `require-passing-tests-on` option will be removed.<br>
> > >   - We will communicate the change to the community via the mailing list<br>
> > > <br>
> > > and Discourse.<br>
> > > <br>
> > > <br>
> > > ### What You Need to Do<br>
> > > <br>
> > > We encourage all maintainers to review and update their CI<br>
> > > configurations<br>
> > > accordingly. Your proactive adjustments and feedback will help ensure a<br>
> > > smooth transition and maintain the high quality of KDE projects.<br>
> > > <br>
> > > If your project needs to allow a platform to continue failing tests<br>
> > > temporarily, add the `allow-failing-tests-on` option to your<br>
> > <br>
> > `.kde-ci.yml`<br>
> > <br>
> > > file with the appropriate platforms listed.<br>
> > > <br>
> > > If some tests are failing because the Windows CI can't handle certain<br>
> > > GUI<br>
> > > tests, prefer conditionally skipping only those tests on Windows CI runs<br>
> > <br>
> > by<br>
> > <br>
> > > adding the following to the problematic tests:<br>
> > > <br>
> > > ```cpp<br>
> > > if (qEnvironmentVariableIntValue("KDECI_CANNOT_CREATE_WINDOWS")) {<br>
> > > <br>
> > >     QSKIP("KDE CI can't create a window on this platform, skipping this<br>
> > > <br>
> > > test");<br>
> > > }<br>
> > > ```<br>
> > > <br>
> > > If you have any questions or need support during this process, reply<br>
> > > here<br>
> > > or in the accompanying Discourse thread:<br>
> > > <br>
> > > <a href="https://discuss.kde.org/t/test-failures-fatal-by-default-in-kde-ci/31670" rel="noreferrer" target="_blank">https://discuss.kde.org/t/test-failures-fatal-by-default-in-kde-ci/31670</a><br>
> > > <br>
> > > <br>
> > > ## TLDR<br>
> > > <br>
> > > Test failures will be fatal by default in KDE CI. Use<br>
> > > `allow-failing-tests-on` to opt out temporarily. Review and update your<br>
> > <br>
> > CI<br>
> > <br>
> > > configurations to ensure a smooth transition. Reach out for support if<br>
> > > needed.<br>
> > <br>
> > Two questions:<br>
> > <br>
> > A) Where was this discussed? I am relatively involved in getting people to<br>
> > get<br>
> > tests passing, etc. and had no idea this was being worked on, if i had<br>
> > known<br>
> > it would have saved me creating all the MRs i created recently for KDE<br>
> > Gear to<br>
> > enable forcing tests to pass.<br>
> > <br>
> > B) Who is going to update all the repositories in KDE Gear (or elsewhere<br>
> > but<br>
> > KDE Gear is my particular worry) that are community maintained (i.e. don't<br>
> > have a clear maintainer)?<br>
> > <br>
> > Cheers,<br>
> > <br>
> >   Albert<br>
> >   <br>
> > > ---<br>
> > > <br>
> > > Thank you for your attention and commitment to maintaining robust,<br>
> > > high-quality code.<br>
> > > <br>
> > > Cheers,<br>
> > > Kristen<br>
<br>
<br>
<br>
<br>
</blockquote></div><div><br clear="all"></div><br><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature"><div dir="ltr"><div>Cheers,</div><div>Kristen</div></div></div></div>