<div>I created an ASCII file with 6 character wide fixed width columns.</div><div>In all cases, there was 1E6 samples in the file.</div><div><br></div><div>The Channel selector in the data wizard showed n^2 behavior.</div>
<div>With 10000 columns, it took 30s to select all but one field using</div><div>wildcards, and with 3333 columns it took 3s - ie, n^2 behavior.</div><div><br></div><div>This is because selecting or unselecting a single item in the string</div>
<div>selection widget goes as the length of the list.  However selecting</div><div>or unselecting all of them is very fast.  So I did the optimization</div><div>of selecting them all, then unselecting the unwanted ones for the case</div>
<div>where you are selecting most of the fields.</div><div><br></div><div>Reading all of the channels into one plot in white-space separated mode </div><div>was unbearably slow with 1000 x 1000.  This makes sense: the algorithm </div>
<div>for reading all channels for white-space separated mode is n^2 in the </div><div>number of channels.</div><div><br></div><div>Fixed width mode was faster, but still n^2.  Valgrind claims that</div><div>this is because, even in fixed with mode, the entire row is read for</div>
<div>each sample. Since, with these really long lines, a single line is longer</div><div>than a disk block, reading just what is needed could be faster. </div><div><br></div><div><br></div>-- <br><span style="font-family:arial,sans-serif;font-size:13px;border-collapse:collapse;color:rgb(136,136,136)">C. Barth Netterfield<br>
University of Toronto<br>416-845-0946</span><div><span style="font-family:arial,sans-serif;font-size:13px;border-collapse:collapse;color:rgb(136,136,136)"><br></span></div><br>