在處理不滿14周歲的人或者精神病人在不能辨認或者不能控制自己行為時實施違法行為的問題時，還要注意一個問題，就是要正確認識和評價行為人人的責任。有一種觀點認為，監護人對未成年或者精神病人的人身、財產及其它合法權益有監督和保護的職責，因而，未成年人或者精神病人有違法行為與監護人沒有盡到監護職責有關，因此，建議規定被監護人實施了違法行為應對未盡到監護職責的監護人給以適當的行政處罰。這種意見認為，這樣規定是防止未成年人及精神病人實施行政違法行為的必要措施。并提出，一些國家和地區對未成年人違法問題就有對監護人進行處罰的規定。如;我國臺灣省《少年事件處理法》第八十四條規定：“少年之人，因忽視教養，致少年再有觸犯刑罰法令之行為時，處2000以下罰鍰”。
我國的行政處罰法沒有規定對于被監護人的違法行為，監護人有行政責任。只是規定了被監護人實施了違法行為，在行政機關決定不予處罰后，監護人有義務對被監護人進行教育并加強管理。之所以這樣規定，是出于以下考慮：實施行政處罰必須貫徹誰違法，誰承擔責任的原則。因此，對于被監護人實施的違法行為，盡管有可能與監護人對被監護人教育、管理不嚴有關，也不能讓監護人代其受過，因為未盡到監護職責與違法行為是兩個法律范疇的問題，不能簡單的規定行政處罰，否則，不符合“罪責自負”的原則。
我國的監護制度是建立在民事法律基礎上的，監護制度首先是為了保護無人和限制民事行為能力人的合法權益，通過監護人代理被監護人參與民事活動，彌補被監護人能力的不足;其次是為了約束被監護人的行為，防止被監護人實施不法行為，維護社會穩定。從這個角度上，我國民事法律規范對監護人不履行作出了應當的規定，同時還規定人院也可以根據被監護人的利害關系人或者有關單位的申請，依法撤銷其監護的資格。這在一定程度上已對監護人的義務作出了規定，同時也規定了對不合格的監護人可以剝奪其監護人資格。實踐中，這種民事上的制裁應當說是行之有效的。如果因被監護人作出的違法行為，就對監護人給予行政處罰，這種“連坐”的辦法是不足取的，并不能達到糾正違法行為，教育當事人自覺守法的目的，違背了我們建立監護制度的初衷。
根據行政處罰法的規定，如果不滿14歲的未成年人或者無責任能力的精神病人實施了違法行為，首先應當要求監護人加強對被監護人的管理和教育。如果被監護人的違法行為的確是由于監護人的疏忽造成的，也不能對監護人實施行政處罰，只能采取對監護人進行說服教育的方法，提高監護人對未成年人或者精神病人進行監護的責任心;其次對于被監護人實施違法行為給他人造成損害，根據民法通則規定，監護人應當承擔民事責任，對受害人給以適當賠償;同時對于不合格的監護人根據被監護人的利害關系人或者有關單位的申請，人民法院也可以依法撤銷其監護人的資格。至于有的監護人利用被監護進行違法活動，如攜帶違禁品，行政機關作出的沒收決定，并不是對被監護人作出的行政處罰決定，而是對監護人作出的處罰。
