<table><tr><td style="">michaelh added a comment.
</td><a style="text-decoration: none; padding: 4px 8px; margin: 0 8px 8px; float: right; color: #464C5C; font-weight: bold; border-radius: 3px; background-color: #F7F7F9; background-image: linear-gradient(to bottom,#fff,#f1f0f1); display: inline-block; border: 1px solid rgba(71,87,120,.2);" href="https://phabricator.kde.org/D11552">View Revision</a></tr></table><br /><div><div><blockquote style="border-left: 3px solid #8C98B8;
          color: #6B748C;
          font-style: italic;
          margin: 4px 0 12px 0;
          padding: 8px 12px;
          background-color: #F8F9FC;">
<div style="font-style: normal;
          padding-bottom: 4px;">In <a href="https://phabricator.kde.org/D11552#230870" style="background-color: #e7e7e7;
          border-color: #e7e7e7;
          border-radius: 3px;
          padding: 0 4px;
          font-weight: bold;
          color: black;text-decoration: none;">D11552#230870</a>, <a href="https://phabricator.kde.org/p/alexeymin/" style="
              border-color: #f1f7ff;
              color: #19558d;
              background-color: #f1f7ff;
                border: 1px solid transparent;
                border-radius: 3px;
                font-weight: bold;
                padding: 0 4px;">@alexeymin</a> wrote:</div>
<div style="margin: 0;
          padding: 0;
          border: 0;
          color: rgb(107, 116, 140);"><p>Regarding this - <tt style="background: #ebebeb; font-size: 13px;">I don't know if it is really chinese look foreign enough to me anyway.</tt><br />
 Some lines of text in your test script surely look like Japanese Hiragana to me, especially this one (and tests related to this)</p>

<div class="remarkup-code-block" style="margin: 12px 0;" data-code-lang="text" data-sigil="remarkup-code-block"><pre class="remarkup-code" style="font: 11px/15px "Menlo", "Consolas", "Monaco", monospace; padding: 12px; margin: 0; background: rgba(71, 87, 120, 0.08);">echo "otto东到宛平路anna"> "終末なにしてますか？忙しいですか？救ってもらっていいですか？ EP01 太阳の倾いたこの世界で -broken chronograph-.txt"</pre></div></div>
</blockquote>

<p>That's the only thing I was sure of (It was in fact an mkv I just watched). At this stage the actual language does not really matter.</p>

<blockquote style="border-left: 3px solid #a7b5bf; color: #464c5c; font-style: italic; margin: 4px 0 12px 0; padding: 4px 12px; background-color: #f8f9fc;"><p>But do your ranges include that characters? This <a href="https://stackoverflow.com/a/30200250/2323699" class="remarkup-link" target="_blank" rel="noreferrer">answer on stackoverflow</a> says that there are also other ranges for Hiragana, Katakana, etc... as <a href="https://phabricator.kde.org/p/cfeck/" style="
              border-color: #f1f7ff;
              color: #19558d;
              background-color: #f1f7ff;
                border: 1px solid transparent;
                border-radius: 3px;
                font-weight: bold;
                padding: 0 4px;">@cfeck</a> already said.</p></blockquote>

<p>My rationale was not to throw in every range mentioned on that wikipedia page, but just enough to make this work and illustrate the general approach.</p>

<blockquote style="border-left: 3px solid #a7b5bf; color: #464c5c; font-style: italic; margin: 4px 0 12px 0; padding: 4px 12px; background-color: #f8f9fc;"><p>Does it pass the test for you?</p></blockquote>

<p>All except the last two that is '*ですか？ EP01' (<mixture of Latin/Hiragana) and 'ですか' (<pure Hiragana). I could lie now and say I left out Hiragana character on purpose. I didn't, but for Hiragana the <tt style="background: #ebebeb; font-size: 13px;">one grapheme = one search term</tt> does not apply. So those tests in fact should fail.</p>

<p><a href="https://phabricator.kde.org/p/cfeck/" style="
              border-color: #f1f7ff;
              color: #19558d;
              background-color: #f1f7ff;
                border: 1px solid transparent;
                border-radius: 3px;
                font-weight: bold;
                padding: 0 4px;">@cfeck</a></p>

<blockquote style="border-left: 3px solid #a7b5bf; color: #464c5c; font-style: italic; margin: 4px 0 12px 0; padding: 4px 12px; background-color: #f8f9fc;"><p>if Baloo doesn't handle CJK, it maybe also doesn't handle other non-Latin scripts, so I suggest to use QChar::category()</p></blockquote>

<p>I wasn't aware of <tt style="background: #ebebeb; font-size: 13px;">QChar::category() </tt>. Thank you.</p></div></div><br /><div><strong>REPOSITORY</strong><div><div>R293 Baloo</div></div></div><br /><div><strong>REVISION DETAIL</strong><div><a href="https://phabricator.kde.org/D11552">https://phabricator.kde.org/D11552</a></div></div><br /><div><strong>To: </strong>michaelh, Baloo, Frameworks, lbeltrame, bruns<br /><strong>Cc: </strong>alexeymin, cfeck, ashaposhnikov, michaelh, astippich, spoorun, nicolasfella, ngraham<br /></div>