У меня так с игрой Сталкер 2, если я делаю чистую установку драйвера. В других играх не замечал. Но у меня видеокарта AMD. В программе управления графикой AMD, есть функция сброса кэша шейдеров, я как-то сбросил и потом сидел ждал, пока шейдеры заново скомпилируется. Может у вас происходит очистка кэша шейдеров автоматически при обновлении драйвера, что вполне логично.

У меня тоже такое замечается только в одной игре - Path of exile 2. По рекомендации удалил папку Шейдеры в корне игры и стало норм. Про очистку кэша шейдеров хз, не замечал подобного, у nvidia есть увеличение кэша 100гб или безгранично.