1538 begann der Waltersdorfer
Silberbergbau, der Teil eines im gesamten Lausitzer Gebirges ausgebrochenen Berggeschreys war, das seinen Höhepunkt in der Gründung der Stadt St. Georgenthal nach dem Muster kursächsischer Bergstädte fand. Unter der Leitung eines von der Stadt Zittau eingesetzten Bergmeisters wurden insgesamt sieben Stollen in den Berg getrieben. Dies waren u.a. der Schwarzfärber-, St. Johannis- und der St. Martins-Stollen. Schon 1559 kam der Silberbergbau wegen Erfolglosigkeit wieder zum Erliegen. Mehrmals wurde bis zum Dreißigjährigen Krieg versucht, den Bergbau wiederzubeleben. Nach Ende der Kriegswirren nahm Andreas Hammerschmidt die Suche nach dem Silber erneut auf, die ebenfalls erfolglos war. Abgesehen von Schürfungen der Wismut in den 1950er Jahren sind später keine Bergbauversuche mehr begonnen worden.
In Folge des Oberlausitzer
Pönfalls wurde Waltersdorf 1547 böhmischer Kronbesitz, bis die Stadt Zittau 1554 das Dorf zurückkaufte. Im 16. Jahrhundert wurden neue Siedlungen auf Waltersdorfer Fluren gegründet. 1557 entstand östlich, an der Straße nach Bertsdorf die
Siedlung Saalendorf. 1580 folgte das westlich an der Straße nach Niedergrund gelegene
Herrenwalde, das auch als Pilzdörfel bezeichnet wurde. Die Rekatholisierung im benachbarten Böhmen führte zu einem Zuzug von Exulanten. 1665 entstand oberhalb von Oberwaltersdorf die Ortslage Neuwaltersdorf. Im gleichen Jahr hielt auch die
Leinenweberei Einzug im Ort.
Am 29. Juni 1648 wurde die
Kirche erneuert und 1657 erweitert. 1713 erfolgte ein Neubau in barockem Stil, der Kirchturm blieb jedoch erhalten. Ein Jahr danach entstand die Kirchschule. 1766 wurde durch den Zittauer Orgelbauer Johannes Tamitius die alte 1668 unter Mitwirkung von Andreas Hammerschmidt erbaute Orgel ersetzt und 1769 geweiht. 1801 und 1802 erneuerte der Glockengießer Johann Friedrich Zeißig aus Saalendorf zwei der drei Kirchenglocken, die mittlere Glocke stammt von 1661.
Bereits 1881 kamen die ersten
Sommerfrischler und Waltersdorf entwickelte sich seitdem zu einer
beliebten Erholungsregion. Carl Friedrich Matthes ließ 1823 einen bequemen Serpentinenanstieg zum Gipfel der Lausche anlegen und eine bewirtschaftete Schutzhütte errichten, die bald so stark besucht wurde, dass er sie 1825 erweiterte und eine Kegelbahn anbaute. Unter seinem Nachfolger entstand 1892 eine stattliche Bergbaude, durch die die Grenze führte und die eine böhmische und eine sächsische Schankstube besaß. Auch als
Wintersportzentrum gewann der Ort an Bedeutung. 1930 entstand eine Sprungschanze und am Südhang der Lausche im Böhmen befanden sich mehrere Abfahrtshänge.
Der Saalendorfer Faktor Carl Gottlieb Kämmel, Vater des Pädagogen und Politikers Heinrich Kämmel, errichtete 1827 in seinem Haus eine Jacquardweberei mit mehreren Stühlen.
Durch den Zusammenschluss der Dörfer Altwaltersdorf und Neuwaltersdorf entstand 1843 die Gemeinde Waltersdorf. Im Übergang von 19. zum 20. Jahrhundert erlebte das Dorf einen großen Aufschwung: Die alte Kirchschule wurde 1898 durch den Neubau einer Volksschule ersetzt, im Jahre 1900 entstand ein Postamt und 1928 zog das Gemeindeamt in ein neues Gebäude um. 1890 begann in Waltersdorf die Gasversorgung, 1905 entstand eine Röhrwasserleitung und 1910 kam auch die Elektrizität ins Dorf. Im Jahre 1913 ging die 400-jährige Geschichte der Walterdorfer Sandsteinbrüche zu Ende, der letzte Bruch am Sonneberg wurde stillgelegt.
Nach dem Zweiten Weltkrieg blieben die Grenzen zur Tschechoslowakei geschlossen. Zuvor wurden über die Grenze an der Wache viele Vertriebene Sudetendeutsche nach Deutschland ausgewiesen. Daran erinnert an der Wache ein Gedenkstein. Am 8. Januar 1946 wurde die Baude auf der Lausche durch Brandstiftung zerstört. Der Gipfel der Lausche wurde 1967 zum Naturschutzgebiet erklärt. Dadurch konnte die Baude nicht wieder aufgebaut werden.
Im Jahre 1956 entstand das
Volkskunde- und Mühlenmuseum. 1968 rollten beim Einmarsch in die Tschechoslowakei sowjetische Panzer durch den Ort und drangen über die Wache ins Nachbarland ein. Nach dem durch die undurchlässige Grenze die Abfahrtshänge der Lausche, insbesondere der beliebte Hang 13 nicht mehr zugänglich waren, wurde 1964 am Nordhang eine neue Abfahrts- und Slalomstrecke geschaffen und 1969 ein Skilift errichtet. Mit weiteren Pisten und einem Lift wird es heute das Lausche-Ski-Areal bezeichnet.
Nach der Wende erlosch im Dorf die traditionelle Weberei. 1990 schloss der letzte Webereibetrieb.
Tourismus ist seitdem der Hauptwirtschaftszweig des Ortes. 2003 erfolgte die Eingemeindung des Dorfes zu Großschönau.
