<div dir="ltr"><br><div class="gmail_extra"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="">
> There is one important point: *all* the test sets should be compiled when<br>
> KDE_BUILD_TESTS==on<br>
<br>
</span>Where compiled!=run? Makes sense, I agree. The whole idea of CI is to cover as<br>
much as possible, so we do not need to do things manually :)<br></blockquote><div><br></div><div>Yes. Build all, but be able to choose what to run. Ideally I should be able to run two subsets of tests: 1) for integration testing; 2) more complicated for yearly semi-manual regression-testing.<br><br></div><div> > 5) It would also be nice to be able to choose different subtests of one<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><span class="">
> executable to be in different subsets. Though I am not sure whether it is<br>
> doable.<br>
<br>
</span>Could you give an example what you mean here? "executable" is not clear, as<br>
well as "to be in different subsets"?<br></blockquote><div><br></div><div>See e.g. KisNodeTest.<br><br></div><div>It has two parts. The first consists of "integration" tests, which can be run very fast:<br><br>    void testCreation();<br>    void testOrdering();<br>    void testSetDirty();<br>    void testChildNodes();<br>    void testDirtyRegion();<br></div></div><br></div><div class="gmail_extra">The second consists of stress tests which are brute-force checking thread safety. They might take up to several minutes to execute and preferably should be run in semi-manual mode yearly or something like that:<br><br>    void propertiesStressTest();<br>    void graphStressTest();<br><br></div><div class="gmail_extra"><br><span class="im">>> 2) Consequence of 1): from time to time we should manually check what<br>
>> exactly is wrong with the test. Is it a pixel drift or a real problem.<br>
<br>
</span>> Do you happen to have a list of the tests where such external deps influence<br>
> the result? Or could the list be created from checking for<br>
> checkQImageExternal()?<br><br></div><div class="gmail_extra">Everything that uses TestUtil::checkQImageImpl(). It includes almost all tests written for last couple of years.<br></div><div class="gmail_extra"><br clear="all"><br>-- <br><div class="gmail_signature">Dmitry Kazakov</div>
</div></div>