不要なノートブックは閉じれば見えなくなりますが、今後も使う予定がないことが明らかであれば、削除してもいいでしょう。

ノートブックの削除は、OneDriveにある元のファイルを削除することで行います。ノートブックはOneDriveのごみ箱に移動し、30日後に完全に削除されます。