<table><tr><td style="">bruns added inline comments.
</td><a style="text-decoration: none; padding: 4px 8px; margin: 0 8px 8px; float: right; color: #464C5C; font-weight: bold; border-radius: 3px; background-color: #F7F7F9; background-image: linear-gradient(to bottom,#fff,#f1f0f1); display: inline-block; border: 1px solid rgba(71,87,120,.2);" href="https://phabricator.kde.org/D11452">View Revision</a></tr></table><br /><div><strong>INLINE COMMENTS</strong><div><div style="margin: 6px 0 12px 0;"><div style="border: 1px solid #C7CCD9; border-radius: 3px;"><div style="padding: 0; background: #F7F7F7; border-color: #e3e4e8; border-style: solid; border-width: 0 0 1px 0; margin: 0;"><div style="color: #74777d; background: #eff2f4; padding: 6px 8px; overflow: hidden;"><a style="float: right; text-decoration: none;" href="https://phabricator.kde.org/D11452#inline-60706">View Inline</a><span style="color: #4b4d51; font-weight: bold;">databasesanitizer.cpp:159</span></div>
<div style="font: 11px/15px "Menlo", "Consolas", "Monaco", monospace; white-space: pre-wrap; clear: both; padding: 4px 0; margin: 0;"><div style="padding: 0 8px; margin: 0 4px; background: rgba(251, 175, 175, .7);">        <span class="bright"></span><span style="color: #aa4000"><span class="bright">auto</span></span><span class="bright"> </span><span class="n"><span class="bright">infos</span></span><span class="bright"> </span><span style="color: #aa2211"><span class="bright">=</span></span><span class="bright"> </span><span class="n"><span class="bright">c</span>reate<span class="bright">List</span></span><span class="bright"></span><span class="p"><span class="bright">(</span></span><span class="bright"></span><span class="n"><span class="bright">deviceIds</span></span><span class="bright"></span><span class="p"><span class="bright">,</span></span><span class="bright"> </span><span style="color: #304a96"><span class="bright">false</span></span><span class="bright"></span><span class="p"><span class="bright">,</span></span><span class="bright"> </span><span style="color: #aa4000"><span class="bright">nullptr</span></span><span class="bright"></span><span class="p"><span class="bright">);</span></span>
</div><div style="padding: 0 8px; margin: 0 4px; background: rgba(151, 234, 151, .6);">        <span class="bright"></span><span style="color: #74777d"><span class="bright">// C</span>reate<span class="bright"> a hash to sum-up indexed items</span></span>
</div><div style="padding: 0 8px; margin: 0 4px; ">        <span class="n">QMultiHash</span><span style="color: #aa2211"><</span><span class="n">quint32</span><span class="p">,</span> <span class="n">FileInfo</span><span style="color: #aa2211">></span> <span class="n">usedDevices</span><span class="p">;</span>
</div><div style="padding: 0 8px; margin: 0 4px; background: rgba(251, 175, 175, .7);">        <span style="color: #aa4000">for</span> <span class="p">(</span><span style="color: #aa4000">const</span> <span style="color: #aa4000">auto</span><span style="color: #aa2211">&</span> <span style="color: #a0a000">info</span><span class="p">:</span> <span class="n">infos</span><span class="p">)</span> <span class="p">{</span>
</div><div style="padding: 0 8px; margin: 0 4px; background: rgba(151, 234, 151, .6);">        <span style="color: #aa4000">for</span> <span class="p">(</span><span style="color: #aa4000">const</span> <span style="color: #aa4000">auto</span><span style="color: #aa2211">&</span> <span style="color: #a0a000">info<span class="bright"></span></span><span class="bright"> </span><span class="p">:</span> <span class="n">infos</span><span class="p">)</span> <span class="p">{</span>
</div></div></div>
<div style="margin: 8px 0; padding: 0 12px;"><p style="padding: 0; margin: 8px;">I can not come up with a reason to use a MultiHash here in the first place - all that is needed is the deviceId and the file count per device.</p>

<p style="padding: 0; margin: 8px;">You can use a QMap<DeviceId, Count> here, and use</p>

<div class="remarkup-code-block" style="margin: 12px 0;" data-code-lang="text" data-sigil="remarkup-code-block"><pre class="remarkup-code" style="font: 11px/15px "Menlo", "Consolas", "Monaco", monospace; padding: 12px; margin: 0; background: rgba(71, 87, 120, 0.08);">usedDevices[info.deviceId] += 1;</pre></div>

<p style="padding: 0; margin: 8px;">(operator[] default-constructs the ValueType, which for e.g. <tt style="background: #ebebeb; font-size: 13px;">int</tt> is guranteed by Qt to be 0).</p>

<p style="padding: 0; margin: 8px;">This reduces the effort for counting the items per device from <em>(D + 3) * F</em> to <em>F</em>.<br />
(D: number of devices, F: number of files).<br />
Currently you walk the infos list once to create the MultiHash, and then walk the Multihash once for <tt style="background: #ebebeb; font-size: 13px;">uniqueKeys()</tt>, and once for each device when calling <tt style="background: #ebebeb; font-size: 13px;">usedDevices.value()</tt>. Cumulated effort for <tt style="background: #ebebeb; font-size: 13px;">.count()</tt> is <em>F</em>.</p>

<p style="padding: 0; margin: 8px;">In your case, this would reduce the time for counting by a factor of 14. You also save the memory for creating a temporary MultiHash with ~20000 items.</p></div></div><br /><div style="border: 1px solid #C7CCD9; border-radius: 3px;"><div style="padding: 0; background: #F7F7F7; border-color: #e3e4e8; border-style: solid; border-width: 0 0 1px 0; margin: 0;"><div style="color: #74777d; background: #eff2f4; padding: 6px 8px; overflow: hidden;"><a style="float: right; text-decoration: none;" href="https://phabricator.kde.org/D11452#inline-60023">View Inline</a><span style="color: #4b4d51; font-weight: bold;">michaelh</span> wrote in <span style="color: #4b4d51; font-weight: bold;">fsutils.cpp:111</span></div>
<div style="margin: 8px 0; padding: 0 12px; color: #74777D;"><p style="padding: 0; margin: 8px;">Sure? We would have to add Solid as a dependency for <tt style="background: #ebebeb; font-size: 13px;">libKF5BalooEngine.so</tt>. <br />
<tt style="background: #ebebeb; font-size: 13px;">databasesanitizer</tt> currently is experimental not exported by default (You cannot see this because I haven't rebase yet.).<br />
I did not use Solid, because I don't know it well and it seemed easier to copy and adapt <tt style="background: #ebebeb; font-size: 13px;">FSUtils::getDirectoryFileSystem</tt>. I'm not objecting to use Solid though.</p>

<p style="padding: 0; margin: 8px;">The true reason for 'fsutils`'s existence is to disable CoW on btrfs. Can Solid do that? If so we can drop <tt style="background: #ebebeb; font-size: 13px;">fsutils</tt>.</p></div></div>
<div style="margin: 8px 0; padding: 0 12px;"><p style="padding: 0; margin: 8px;">The question is if this really belongs in the library then.</p>

<p style="padding: 0; margin: 8px;">IMHO the whole <tt style="background: #ebebeb; font-size: 13px;">printDevices()</tt> function should be moved into baloodb.cpp, The DatabaseSanitizer should export either <tt style="background: #ebebeb; font-size: 13px;">createList</tt> or a function returning <tt style="background: #ebebeb; font-size: 13px;">QVector<DeviceId, Count></tt>. Going from the DeviceId to the DeviceInfo should happen in baloodb.</p></div></div></div></div></div><br /><div><strong>REPOSITORY</strong><div><div>R293 Baloo</div></div></div><br /><div><strong>REVISION DETAIL</strong><div><a href="https://phabricator.kde.org/D11452">https://phabricator.kde.org/D11452</a></div></div><br /><div><strong>To: </strong>michaelh, Baloo, Frameworks<br /><strong>Cc: </strong>bruns, smithjd, ashaposhnikov, michaelh, astippich, spoorun, ngraham, alexeymin<br /></div>