Можно, конечно, закрыть все окна Проводника стандартным способом, но можно поступить проще. Достаточно, удерживая клавишу Shift, нажать на кнопку "Закрыть" последнего окна Проводника и вместе с ним закроются и все остальные.