<div dir="ltr"><div>For a while now the mass releases haven't reliably built because the watcher jobs would try to push to invent and some block on invent would unpredictably stop them pushing.  I've now changed our watcher jobs to only run one at a time which takes a bit longer but stops invent from getting upset.  This means all the build jobs would run out of order so I've put blocks on them to not run when watcher jobs are queued or running either so the watchers can finish before the build happens.  Hopefully this will allow mass releases to build in the semi-automated way they used to do.</div><div><br></div><div>Tooling wasn't deploying onto charlotte because the Ruby Gem Bundler stuff was bringing in a newer release of the Ruby vcr library which needed newer Ruby.  Our main build server is still on an old release of ubuntu.  So I've used rbenv to install a local copy of Ruby 2.7 (it didn't like Ruby 3 either) and updated the mgmt_tooling and mgmt_job-updater jobs to use this.  There might be other jobs which need updated to use that.</div><div><a href="https://github.com/pangea-project/pangea-tooling/commit/d4d376cec2eebf149f072b136a6c47058a157039">https://github.com/pangea-project/pangea-tooling/commit/d4d376cec2eebf149f072b136a6c47058a157039</a></div><div><br></div><div>Jonathan</div><div><br></div></div>