公债偿还的资金来源主要包括三个方面:通过预算安排、设置偿债基金以及举借新债。选项A“举借新债”、选项C“通过预算安排”和选项E“设置偿债基金”均正确描述了公债偿还的资金来源。而选项B“向中央银行借款”和选项D“政府长期投资的收益”并不是公债偿还的主要资金来源,因此不正确。