We had already sent out the invitations, but we didn't know how many people _______.

根据题目中的语境，已经发出邀请但不确定会有多少人会来，因此需要使用过去将来时来表示未来的动作。选项D中的“would come”符合过去将来时的语法规则，表示在过去某个时间看来将要发生的动作，因此是正确答案。