H.O.P.E.

GPTその他のLLMは数兆個のパラメータを持つニューラルネットワークを使って回答を生成してるんですが、そのパラメータ決定にとんでもない計算量と電力が必要なんです。1回数百億円かかるんだそうな。
だので、そう何度も最適化=最新情報をもとにして学習し直しはできないんです。

LLMは動かすにも最適化学習させるにも膨大な電力がいるので、最近のAI用データセンターは発電所に隣接した場所に作られてます。
今後のAIの進化は、電力がボトルネックになると言われてます。日本政府が原発再稼働に前向きなのもそれが理由です。

2030年くらいになれば、たぶん核融合発電が実用化されるんですけどねえ。