電源を切ってから配線するのが基本です

電源を切る操作を行っても、CPUの電源は落ちていても、電源やその他のICの電源は落ちていない場合があります。
Raspberry PI（ラズパイ）等の基板もそうです。

こういった基板の場合は電源ケーブルを抜かなければなりません。
ケーブルといってもACアダプタを境にAC側のケーブルとDC側のケーブルがあります。
AC側のケーブルを抜くと基板の電源は即、落ちますが、ACアダプタの特性によっては、AC側のケーブルやスイッチを切っても、直ぐには落ちない場合があります。
高性能なACアダプタは内蔵するコンデンサ容量が大きいため、ACの供給がStopしてもDC出力がしばらく出力され続けたり、徐々に低下したりするのです。

DC電圧を示すLEDがついていると思いますので、これが消えるまで待ちましょう。
TIのAM572x評価モジュールのACアダプタはACを切ってからDC出力のLEDが消えるまで数分も要しました。
さすがに、ここまで長いと高性能を通り越して不親切に感じてしまいます。