Ja, das Finanzamt hat recht.
Deine Einnahmen sind doch Dein Einkommen - warum solltest Du keine Einkommenssteuererklärung machen müssen?!
Wenn Du Dich selbsständig gemacht hast, solltest Du dich vielleicht doch mal mit Buchhaltung und Steuer auseinandersetzen. Am besten auch mal ein Beratungsgespräch bei einem Steuerberater wahrnehmen.
Das könnte Dir langfristig Ärger ersparen und kurzfristig vielleicht auch eine Menge Geld, indem Du für Dich für die richtigen "Geschäftsformen" entscheidest.
Übrigens: Erst Einkommen in mehrfacher Millionenhöhe kann man ungestraft hinterziehen...