Googleドライブ.app の設定で見れるオフラインファイルの削除では、自分がオフライン登録ファイルの削除しかできない。

自動キャッシュされたファイルを消すことができないのだ。そのため、今まで通りDriveFSを消す必要がある。

macOS: ~/Library/Application Support/Google/DriveFS
この設定は、macOS バージョン 12.1 以降には適用されません。これらのバージョンでは、パソコン版ドライブは File Provider を使用し、macOS がキャッシュされたデータの場所を制御します。
https://support.google.com/a/answer/7644837?hl=ja

ただし、DriveFSを見るとさほど容量を使ってないことがわかる...。