Hinterhermsdorf wurde durch fränkische Kolonisten im 13. Jahrhundert, somit relativ spät, auf den letzten noch unbesiedelten elbnahen Hochflächen gegründet. Es ist nach einem Lokator namens Herrmann benannt (erwähnt 1445) und gelangte 1443 mit Hohnstein zu Sachsen. 1632 fiel das Dorf im Rahmen des 30-jährigen Krieges Plünderungen zum Opfer. Mitte des 17. Jh. begann durch die Einwanderung böhmischer Leineweber die Besiedelung der breiten östlichen Talmulde. Es entstand der Ortsteil Neudorf. Im Jahre 1689 wurde die Kirche erbaut. In der 2. Hälfte des 19. Jh. kam es zur Zuwanderung böhmischer Blumenmacher. Ab 1850 begann mit dem Verkauf der Waldrechte die Industrialisierung und die Entwicklung des Fremdenverkehrs. 1879 begann die Kahnfahrt auf der Oberen Schleuse. Seit 1998 ist Hinterhermsdorf ein Ortsteil von Sebnitz.