
<html>

<head>

<meta http-equiv="content-type" content="text/html; charset=UTF-8">

</head>

<body><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">On Montag, 4. Dezember 2023 12:09:43 CET Joseph P. De Veaugh-Geiss wrote:</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> I agree with the concerns Josh raises about the energy consumption of</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> training LLMs (see, e.g., [1]). A benefit of satisfying the above</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> characteristics is it is then possible for us to measure the energy</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> consumption for training/using the LLMs. This would enable KDE to be</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> transparent about what these tools consume in terms of energy and</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">> present this information to users.</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">To make this argument more complete, it's not only the training of such models but also their usage ("inference") later. For popular generic models the negative impact can quickly become bigger than the impact of the training itself:</p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;"><a href="https://www.technologyreview.com/2023/12/01/1084189/making-an-image-with-generative-ai-uses-as-much-energy-as-charging-your-phone/">https://www.technologyreview.com/2023/12/01/1084189/making-an-image-with-generative-ai-uses-as-much-energy-as-charging-your-phone/</a></p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;"><a href="https://arxiv.org/abs/2311.16863">https://arxiv.org/abs/2311.16863</a></p>

<br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Though, these and similar arguments mostly tend to ignore the fact that the hyperscalers have commited to the net-zero imitative and are heavily investing into renewables for their data centers and also trying to shift heavy workloads into more sustainable time windows.</p>

<br /><br /><p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">-- </p>

<p style="margin-top:0;margin-bottom:0;margin-left:0;margin-right:0;">Alexander</p>

</body>

</html>