关于行政处罚的说法，下列哪些选项是正确的？

本题考查的是《行政处罚法》。

选项A错误，根据《行政处罚法》的规定，违法行为在二年内未被发现的，不再给予行政处罚，而非三年。因此，选项A的说法错误。

选项B错误，行政处罚由县级以上地方人民政府具有行政处罚权的行政机关管辖。这意味着并非所有乡镇以上地方人民政府都有权管辖行政处罚，而需要是具备行政处罚权的行政机关。所以选项B的说法过于笼统，不够准确。

选项C正确，根据《行政处罚法》的规定，当事人受他人胁迫或者诱骗实施违法行为的，应当从轻或者减轻行政处罚。这是符合法律规定的。

选项D正确，根据《行政处罚法》的规定，当事人违法行为轻微并及时改正，没有造成危害后果的，不予行政处罚。这是对于轻微违法行为的处理方式的一种明确表述。

选项E正确，当违法行为涉嫌犯罪时，行政机关应当及时将案件移送司法机关，依法追究刑事责任。这是对于违法行为与刑事责任衔接的明确规定。因此，选项C、D、E的说法是正确的。