「クイックアクセス」は、適切に設定した方が良いと思います。「フォルダの自動追加拒否」および「不要フォルダのピン留め削除」など

最初に結論

「クイックアクセス」は活用します
「クイックアクセス」を使用しない設定へ変更していたこともありましたが、「クイックアクセス」は適切に使用した方が良いと思います。
「クイックアクセス」が決して最適だとは思えませんが、他の選択肢があまりにもひどいと私は思うので。
→ Windows エクスプローラー 備忘録

クイックアクセス設定 1

ファイルやフォルダーを自動的に追加しない
1.「エクスプローラー」を開きます。
2.「ファイル」＞「フォルダーと検索のオプションの変更」をクリックします。
3.「全般」のタブをクリックします。
4.「プライバシー」の「最近使ったファイルをクイックアクセスに表示する」のチェックをはずします。
5.「よく使うフォルダーをクイックアクセスに表示する」のチェックをはずします。
6.「OK」を押します。

クイックアクセス設定 2

クイックアクセスから(不要フォルダの)ピン留めを外す
1.「エクスプローラー」を開きます。
2.「クイックアクセス」欄にて、対象フォルダーを右クリックします。
3.ショートカットメニュー内の［クイックアクセスからピン留めを外す］をクリックします。

注意点

「クイックアクセスにピン留めしたフォルダ」へアクセスできなくなっても
フォルダ移動やフォルダ名変更をした結果、「クイックアクセスにピン留めしたフォルダ」へアクセスできなくなったとしても、「クイックアクセスにピン留めしたフォルダ」が自動削除されることはありません。
手動で削除してください。
※アクセスできないピン留めしたフォルダが、クイックアクセスに大量にあることに、私は今日(2022/5/24)初めて気が付きました……。

クイックアクセスからピン留めを外す処理
この操作は「クイックアクセス」欄でしか実行できません。
「クイックアクセスにピン留めしたフォルダ」を、通常の「エクスプローラー」経由でクイックアクセスから外そうとしても、外すことはできません。
※Windowsのバグだと思います。