关于税务行政处罚的说法，正确的有哪些？

关于税务行政处罚的说法，正确的有：

A. 对公民和组织实施税务行政处罚必须有法定依据，无明文规定不得违反。
B. 税务行政处罚必须由法定的国家机关在其职权范围内设定。
C. 税务行政处罚必须以事实为依据。

对于选项D，说法不完全正确。国家税务总局可以在尚未制定法律、行政法规的情况下，通过规章的形式设定某些税务行政处罚，例如警告、通告批评或一定数额的罚款。因此，D选项中关于国家税务总局不能针对其他违法行为设置行政处罚的说法是不准确的。