Der älteste Teil der Stadt lag immer außerhalb der Stadtmauern. Direkt an der Kinzig bauten die Gerber viele stattliche Fachwerkhäuser im 17. und 18. Jahrhundert. Mittelpunkt ist die Äußere Mühle von 1557 mit einem reich geschmückten Fachwerkgiebel. Etwas weiter liegt das Rotgerberhaus auf dem Schleifegrün. Das Gerberhaus wurde 1674 durch den Rotgerber Hans Caspar Trautwein erbaut. Im Gerberviertel liegt auch das Schüttsägemuseum.