基本的には適用範囲に含めるのが妥当です。
自社のサーバールームで管理しているサーバは適用範囲に含めるのと同様、たまたま遠隔地にあったからといって適用範囲から外す理由はあまりなく、適用範囲から外す場合は相応の理由が必要になります。
適用除外から外す理由になりそうなケースは以下です（が、該当する可能性は低いです）
- データセンターには重要な資産がなく、仮にデータが漏えいしても影響がほぼない
- データセンターのサーバは可用性が求められておらず、仮にサーバが停止したとしても大きな影響がない
- ハウジング契約と言いながら、実際のサーバの保守は外部の保守業者に依頼しているため、実質的にはホスティングである
逆にホスティング契約だと、セキュリティの責任はデータセンター事業者が負うので、委託と考えても良いと思います。