1998年9月李某偷渡到韩国打工，2003年年初被韩国遣返，同年3月25日入境时在某边防口岸被查获，边防检查机关在履行法定的处罚程序后，对其非法出境的行为进行了行政处罚。李某认为，《行政处罚法》明确规定，违法行为在2年内未被发现的，不再给予行政处罚，因此李某向法院提起行政诉讼，要求撤销边防检查机关的行政处罚决定。李某的理由能否成立？