<div dir="ltr"><div>I'll try to make it short. [Edit later: I'm sorry. I really tried.]<br></div><div><br></div><div><b>1) Artists </b>(those that protest)<b> are against generative AI.</b> I don't think we should conflate generative AI with all possible AI - for example I doubt they are against all those new safety features in cars. I've seen a car parking itself in real life, that was amazing. Likewise, I do believe there are plenty of possible usecases of AI that won't have the negative traits (steals copyrighted work, steals jobs from artists etc.) that generated AI is criticised for.</div><div><br></div><div><b>2) What projects are suggested for Krita.</b></div><div><br></div><div>There are two suggestions.<br></div><div>2a)<b><i> Automatic tweening</i></b> for animation. Suggested by Dmitry. From the user point of view, they'd have some animation, wanted to have more frames per second, and AI would generate the frames in between. Links: <a href="https://github.com/google-research/frame-interpolation" target="_blank">https://github.com/google-research/frame-interpolation</a> , <a href="https://arxiv.org/pdf/2202.04901.pdf" target="_blank">https://arxiv.org/pdf/2202.04901.pdf</a> <br></div><div><br></div><div>2b) <i><b>Automatic inking/lineart</b></i>. Suggested by me. From the user point of view, they'd have a pencil-like sketch, and AI would generate lineart. Of course it wouldn't fix all the little issues artists are often fixing during inking, but it should greatly shorten the time of the repeatable work. Link: <a href="https://esslab.jp/~ess/publications/SimoSerraSIGGRAPH2016.pdf" target="_blank">https://esslab.jp/~ess/publications/SimoSerraSIGGRAPH2016.pdf</a> Note that the original article only creates fineliner lineart from pencil sketches. I am kind of thinking of making it more universal, allowing for more styles.<br></div><div><br></div><div>I'm a bit less sure about 2a) as I didn't really research it thoroughly yet. On the 2b) project, I believe we can do it in a way that should be considered fully ethical: (i) ethical dataset*, (ii) won't be stealing jobs, most probably. Ad (i), the original dataset had 68 images; I think we should be able to gather a similar amount from either donations (preferable) or CC-0 images. Ad (ii), I know that comic books often have an "inker"; however many times they work traditionally, and I don't think our AI would replace even the digital ones (who often add a personal, distinct touch to the lineart). I do think that it would mostly help the artists that ink their own projects and whose lineart is just a part of their style, not a statement piece (for example in the modern anime-illustration style lineart is often very much in the background) (To see what I mean, please compare this Batman illustration: <a href="https://www.deviantart.com/kriss777/art/Batman-Sketch-by-edbenes-Inked-252674704#comments" target="_blank">https://www.deviantart.com/kriss777/art/Batman-Sketch-by-edbenes-Inked-252674704#comments</a> to this anime one: <a href="https://www.artstation.com/artwork/48Z0PW" target="_blank">https://www.artstation.com/artwork/48Z0PW</a> ). I think the effect of AI's work would just be the first stage of inking, and would only replace the boring, uncreative part of the work.</div><div><br></div><div>I don't think our network would be even capable of steering too much from the sketch, let alone be creative in any way*, so I doubt it would replace actual artists. (* I just think the network and dataset would be way too small for that. I'm less sure about the 2a project because I don't know that much about it)<br></div><div><br></div><div><b>3) What I think we </b><b>as Krita</b><b> should do regarding AI.</b></div><div><br></div><div>Generative AI is a new scary thing (it will change things, but we don't know how; unknown is scary, sometimes for very good reasons, sometimes not). NFT was dumb, useless and terrible for the environment - generative AI isn't as dumb or as useless. I think we should just wait and see how the world looks like in a little while.</div><div>I think we shouldn't plan on adding generative AI for now.</div><div>I think we can say that we aren't planning on that.</div><div>I think we can make projects that utilize AI in a safer, more predictable, smaller way. When doing so, we need to be *very very clear* that we are *not* using copyrighted images and that we are *not* planning on adding generative AI for now.<br></div><div>"We're not planning on adding generative AI any time soon" is good because it's very clear and precise and true. I feel like Emmet's MR was a bit too broad and vague.</div><div><br></div><div><br></div><div><b>4) Answering questions.</b><br><br></div><div>--- Ethics - answered above.</div><div>--- Usefulness - I don't know. I think we should ask.</div><div>--- Practicality - for effort estimation, I think maybe Dmitry would answer better. I know that some people in uni did projects like style transfer in one semester and it looked very decent, and it was just one project, not a thesis or anything. But we need to do all the GUI etc. too, so it might take longer. Dependencies - that's a good question. Dmitry said that OpenVino should cover all CPUs - in such case, that would be the only one required for deployment (the whole training part doesn't have to be included in Krita). I hope it would be fast enough that users won't need to ask for GPU support - that's something we'll know from initial experiments (it probably would have to be included for the frame interpolation/inbetweening project though, since there would be more pictures to process?).</div><div>--- GPLv3 - I don't think that a model is "not changeable". First, users could probably very easily just use the article's authors' model instead of ours. Second, they can train their own. Third, they can take ours, and retrain it (unlike the article's authors' model, which is non-commercial, we can make ours just fully GPL licensed, afaik). Considering that (at least in case of the inking project) our model will be fully convolutional, frankly any fully-convolutional model should work without many changes, since it won't have any special requirements for input image sizes. Fourth, with some work it would probably be doable to just change a specific number in the model. True, you might need a bit more expert knowledge to operate on the model, but we provide Krita's surce code without expecting most of our users to know programming, too. I might be misunderstanding the question.<br></div><div>--- Reputation & Future Proofness - the question of reputation is very important, yes. I don't want to hurt Krita's. Respectfully though, unlike NFTs, I don't think the majority of users of generative AI are "tech bros". Generative AI is custom-made beautiful art, if you ignore all the context. It can show your dreams on the canvas in the real world, and now you can show them to your friends and family. People love art, and most people can't make it themselves, especially not to the quality they'd want to see, and often won't afford or justify the price of a custom-made artwork. People have vivid imagination and generative AI is one of the ways to make it real. If you think about it in isolation (pretending there are no ethical problems with it etc.), there are plenty of reasons why an average person (or an artist) would want to use it. Writers, to make cover art for their books. Game developers, to have pretty art in their games. DnD players, to make their gameplay more interesting.  Office workers, to make their presentation less generic and boring. Architects, to see the basic idea quickly, without building it painstakingly in a CAD program or Blender. Artists, to see a draft of a project before putting much work in it, or to finally be able to find the perfect pose reference. Midjourney apparently has ~16mln users on Discord. Those are not just tech bros. I'm not defending it, I'm just saying, thinking about them as "just tech bros" is simply incorrect. <br></div><div>About how many professional artists use generative AI, I have no idea.</div><div>Still, there are other types of AI too.</div><br><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">pt., 16 lut 2024 o 15:40 Halla Rempt <<a href="mailto:halla@valdyas.org" target="_blank">halla@valdyas.org</a>> napisał(a):<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">I found it quite well-written, actually, and a good starting point for thinking about AI. I especially like the focus on making clear that Krita is artists, not for art.<br>
<br>
But before we do anything with AI we need to consider a number of points:<br>
<br>
* Ethics. Obviously using models based on stolen data is a no-go. Adding AI slime that is already drowning the world is also a no-go: Krita should always focus on helping the artist do their work, not replace the artist.<br>
<br>
* Usefulness. Do artists really want the features we're considering?<br>
<br>
* Practicability. Is the effort needed to integrate i.e. automatic inking in Krita worth it? How much effort would it really be? What about extra dependencies.<br>
<br>
* GPLv3. Is the inclusion of a blob that the user cannot replace, i.e. a model, not against our license. Krita's functionality needs to be changeable by the user, after all.<br>
<br>
* Reputation. Like it or not, but the people who like AI most are not artists, but tech people, or people who use images casually next to their real work. Will there be a backlash if we spend time and money on AI?<br>
<br>
* Future proofness. Is AI a fad, like NFT's were, or something with a future?<br>
<br>
<br>
On vrijdag 16 februari 2024 05:36:45 CET Emmet O'Neill wrote:<br>
> Hey all.<br>
> <br>
> In light of this week's discussion about AI/ML in Krita, I want to share<br>
> this meta MR about adding a statement of intent to the project's source<br>
> tree which outlines a few basic commitments that I believe we should make<br>
> in the interest of benefiting our users and fostering a culture of human<br>
> art.<br>
> <br>
> I've outlined what it is, what it isn't, and why I think we should commit<br>
> to it in the body of the MR.<br>
> <br>
> <a href="https://invent.kde.org/graphics/krita/-/merge_requests/2071" rel="noreferrer" target="_blank">https://invent.kde.org/graphics/krita/-/merge_requests/2071</a><br>
> <br>
> Emmet<br>
> <br>
<br>
<br>
<br>
<br>
</blockquote></div>