Да. Для клиента достаточно иметь библиотеки для подключения к серверу. Если база должна быть у клиента, то соответственно и сам сервер должен быть установлен. Хотя, можно использовать и подключение к файлам mdf, может кто-то более подробно расскажет про этот метод, просто я его не использовал никогда
Проще говоря, SQL CE подходит для локальных баз данных и ни чего тяжелого за собой не таскает.