<table><tr><td style="">poboiko added inline comments.
</td><a style="text-decoration: none; padding: 4px 8px; margin: 0 8px 8px; float: right; color: #464C5C; font-weight: bold; border-radius: 3px; background-color: #F7F7F9; background-image: linear-gradient(to bottom,#fff,#f1f0f1); display: inline-block; border: 1px solid rgba(71,87,120,.2);" href="https://phabricator.kde.org/D23008">View Revision</a></tr></table><br /><div><strong>INLINE COMMENTS</strong><div><div style="margin: 6px 0 12px 0;"><div style="border: 1px solid #C7CCD9; border-radius: 3px;"><div style="padding: 0; background: #F7F7F7; border-color: #e3e4e8; border-style: solid; border-width: 0 0 1px 0; margin: 0;"><div style="color: #74777d; background: #eff2f4; padding: 6px 8px; overflow: hidden;"><a style="float: right; text-decoration: none;" href="https://phabricator.kde.org/D23008#inline-129761">View Inline</a><span style="color: #4b4d51; font-weight: bold;">anthonyfieroni</span> wrote in <span style="color: #4b4d51; font-weight: bold;">app.cpp:76-81</span></div>
<div style="margin: 8px 0; padding: 0 12px; color: #74777D;"><p style="padding: 0; margin: 8px;">processNextFile should be called till m_ids ends, why it does not happen, probably that's why <a href="https://phabricator.kde.org/p/bruns/" style="
              border-color: #f1f7ff;
              color: #19558d;
              background-color: #f1f7ff;
                border: 1px solid transparent;
                border-radius: 3px;
                font-weight: bold;
                padding: 0 4px;">@bruns</a> reject your patch</p></div></div>
<div style="margin: 8px 0; padding: 0 12px;"><p style="padding: 0; margin: 8px;">Well, if that happens, something went wrong, and we have to do something.<br />
As far as I can see, the options are:</p>

<ol class="remarkup-list">
<li class="remarkup-list-item">Ignore new batch (that would be simply <tt style="background: #ebebeb; font-size: 13px;">return</tt>)</li>
<li class="remarkup-list-item">Ignore old batch (that is done now - committing something that was extracted from the old one if there is any)</li>
<li class="remarkup-list-item">Try to merge batches and process everything (that would be <tt style="background: #ebebeb; font-size: 13px;">m_ids.append(new batch)</tt> and do not create a new transaction). This might require some additional housekeeping though, as we do not want resulting transaction to be larger than <tt style="background: #ebebeb; font-size: 13px;">batchSize</tt>. And we probably do not want to do our own splitting here - as it would duplicate work done in the parent <tt style="background: #ebebeb; font-size: 13px;">baloo_file</tt> process.</li>
</ol>

<p style="padding: 0; margin: 8px;">However, since ignored batch do not get removed from <tt style="background: #ebebeb; font-size: 13px;">ContentIndexingDB</tt>, our parent process <tt style="background: #ebebeb; font-size: 13px;">baloo_file</tt> will retry those documents eventually. I believe it should be pretty safe to just drop one of the batches here.</p></div></div><br /><div style="border: 1px solid #C7CCD9; border-radius: 3px;"><div style="padding: 0; background: #F7F7F7; border-color: #e3e4e8; border-style: solid; border-width: 0 0 1px 0; margin: 0;"><div style="color: #74777d; background: #eff2f4; padding: 6px 8px; overflow: hidden;"><a style="float: right; text-decoration: none;" href="https://phabricator.kde.org/D23008#inline-129748">View Inline</a><span style="color: #4b4d51; font-weight: bold;">broulik</span> wrote in <span style="color: #4b4d51; font-weight: bold;">app.h:50</span></div>
<div style="margin: 8px 0; padding: 0 12px; color: #74777D;"><p style="padding: 0; margin: 8px;">It doens't have an EXPORT macro to it, so I suppose not?</p></div></div>
<div style="margin: 8px 0; padding: 0 12px;"><p style="padding: 0; margin: 8px;">It's not. It's only used inside <tt style="background: #ebebeb; font-size: 13px;">main.cpp</tt> of <tt style="background: #ebebeb; font-size: 13px;">baloo_file_extractor</tt>.</p></div></div></div></div></div><br /><div><strong>REPOSITORY</strong><div><div>R293 Baloo</div></div></div><br /><div><strong>REVISION DETAIL</strong><div><a href="https://phabricator.kde.org/D23008">https://phabricator.kde.org/D23008</a></div></div><br /><div><strong>To: </strong>poboiko, Baloo, bruns, ngraham<br /><strong>Cc: </strong>anthonyfieroni, broulik, kde-frameworks-devel, LeGast00n, fbampaloukas, domson, ashaposhnikov, michaelh, astippich, spoorun, ngraham, bruns, abrahams<br /></div>