<div dir="ltr"><div dir="ltr">On Sat, Nov 16, 2024 at 8:27 PM Hy Murveit <<a href="mailto:murveit@gmail.com">murveit@gmail.com</a>> wrote:</div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr">I have a question about web-caching related to KNewStuff.</div></blockquote><div><br></div><div>Hi Hy,</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><br></div><div><b>Background</b></div><div><div>I am a KStars developer, and asked Jasem (KStars lead) to post some "new stuff" for me.</div><div>He did (or perhaps asked someone else to) and now when one goes to <a href="https://cdn.kde.org/edu/kstars/main.xml" target="_blank">https://cdn.kde.org/edu/kstars/main.xml</a> one gets a list that includes my "new stuff".<br></div><div><br></div><div><div><div>Actually the kstars.knsrc says ProvidersUrl=<a href="https://indilib.org/jdownloads/knewstuff/providers.xml" target="_blank">https://indilib.org/jdownloads/knewstuff/providers.xml</a></div></div></div></div></div></blockquote><div><br></div><div>This file really should be on <a href="http://autoconfig.kde.org">autoconfig.kde.org</a>.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><div><div>but when you go there it returns </div><div><br></div></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><div><knewstuffproviders></div></div><div><div><provider downloadurl="<a href="https://edu.kde.org/kstars/downloads/main.xml" target="_blank">https://edu.kde.org/kstars/downloads/main.xml</a>" nouploadurl="<a href="https://edu.kde.org/contrib/" target="_blank">https://edu.kde.org/contrib/</a>" icon="<a href="http://edu.kde.org/pics/projects/cr32-app-kstars.png" target="_blank">http://edu.kde.org/pics/projects/cr32-app-kstars.png</a>"></div></div><div><div><title>KStars Data</title></div></div><div><div></provider></div></div><div><div><provider downloadurl="<a href="https://indilib.org/jdownloads/knewstuff/dso.xml" target="_blank">https://indilib.org/jdownloads/knewstuff/dso.xml</a>" nouploadurl="<a href="https://edu.kde.org/contrib/" target="_blank">https://edu.kde.org/contrib/</a>" icon="<a href="http://edu.kde.org/pics/projects/cr32-app-kstars.png" target="_blank">http://edu.kde.org/pics/projects/cr32-app-kstars.png</a>"></div></div><div><div><title>KStars Data</title></div></div><div><div></provider></div></div><div><div></knewstuffproviders></div></div></blockquote><div><div><br></div>and <a href="https://edu.kde.org/kstars/downloads/main.xml" target="_blank">https://edu.kde.org/kstars/downloads/main.xml</a> redirects to <a href="https://cdn.kde.org/edu/kstars/main.xml" target="_blank">https://cdn.kde.org/edu/kstars/main.xml</a></div></div></div></div></blockquote><div><br></div><div>That provider file should be updated to refer to the new home of those resources to minimise unnecessary traffic being sent to <a href="http://edu.kde.org">edu.kde.org</a> (which is not CDN backed).</div><div>We would have caught that had it been hosted on KDE infrastructure.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><br></div><div>Anyway, here's the new item:</div><div><br></div></div><blockquote style="margin:0px 0px 0px 40px;border:none;padding:0px"><div><div><stuff></div></div><div><div><name>ImagingPlanner Catalog1</name></div></div><div><div><type>ImagingPlanner</type></div></div><div><div><author email="<a href="mailto:kstars-devel@kde.org" target="_blank">kstars-devel@kde.org</a>">Hy Murveit</author></div></div><div><div><licence>Free noncommercial ShareAlike use with credit. Creative Commons license. Credit for individual images in .csv files.</licence></div></div><div><div><summary lang="en">Catalog 1 for the KStars ImagingPlanner tool.</summary></div></div><div><div><version>1.0</version></div></div><div><div><release>1</release></div></div><div><div><releasedate>2024-11-06</releasedate></div></div><div><div><downloadsize1>6700</downloadsize1></div></div><div><div><preview lang="en"><a href="https://cdn.kde.org/edu/kstars/previews/imagingplanner-screenshot.jpg" target="_blank">https://cdn.kde.org/edu/kstars/previews/imagingplanner-screenshot.jpg</a></preview></div></div><div><div><payload lang="en"><a href="https://cdn.kde.org/edu/kstars/ImagingPlanner-catalog1.tar.gz" target="_blank">https://cdn.kde.org/edu/kstars/ImagingPlanner-catalog1.tar.gz</a></payload></div></div><div><div><rating>5</rating></div></div><div><div><downloads>0</downloads></div></div><div><div></stuff></div></div></blockquote><div><div><br></div><div>I successfully use my browser to download/see</div><div><a href="https://cdn.kde.org/edu/kstars/ImagingPlanner-catalog1.tar.gz" target="_blank">https://cdn.kde.org/edu/kstars/ImagingPlanner-catalog1.tar.gz</a></div><div>or</div><div><a href="https://cdn.kde.org/edu/kstars/previews/imagingplanner-screenshot.jpg" target="_blank">https://cdn.kde.org/edu/kstars/previews/imagingplanner-screenshot.jpg</a></div><div><span style="background-color:rgb(255,255,0)">So, all seems cool when using browsers!</span></div><div><br></div><div><b>The problem</b></div><div>The problem is that I can't see the new content from within KStars' KF5 implementation of KNewStuff. I just see the "stuff" that existed before.  Other folks using KStars on other machines do see my new stuff. Since I can see it with my browsers, and others can see it from within KStars, I assume the problem is that somehow/somewhere in the KDE libraries my local machine is caching the older web pages so that when KNewStuff goes to fetch it, it only sees the cached old content.  </div></div></div></blockquote><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><br></div><div>Is that possible? If so, how would I clear that web cache?  This happens both when I run KStars on my Mac laptop, and when I run it on an Ubuntu VM on my laptop.  It doesn't happen on browsers from those machines (but I did clear the browser's caches when I had this problem early on). </div></div></div></blockquote><div><br></div><div>As a starting point you should probably use kdebugdialog5 to enable all the relevant debug output and capture the necessary logs to ensure KStars as built on your machine is actually fetching what you think it is trying to fetch and isn't fetching some old archive from elsewhere. KStars seems to have KNewStuff content scattered around both <a href="http://cdn.kde.org">cdn.kde.org</a> and <a href="http://files.kde.org">files.kde.org</a> so there is a possibility you are referencing an old file.</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><br></div><div>Also, do you think there's a caching configuration issue on the hosting web server for that page?</div></div></div></blockquote><div><br></div><div>Our CDN network is aggressively cached as the CDN relies on the CDN PoPs fetching files from our backend server on first request and then holding a cached copy.</div><div>For those wondering why we use this approach - Edge storage is prohibitively expensive and we have ~188GB of data on <a href="http://cdn.kde.org">cdn.kde.org</a> (although that is comparatively small vs. the 895GB of <a href="http://download.kde.org">download.kde.org</a> and 729GB of <a href="http://files.kde.org">files.kde.org</a>).</div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div><div><br></div><div>Thanks,</div><div>Hy </div></div></div></blockquote><div><br></div><div>Cheers,</div><div>Ben </div></div></div>