Letohrad v 18. století
V polovině 17. století kupují Kyšperk Vitanovští z Vlčkovic. Nejvýznamnějším vlastníkem byl Hynek Jetřich, který dal roku 1680 v místech tvrze postavit zámek a barokní kapli sv. Václava. Ta se pak v roce 1726 stala farním kostelem. Snažil se také o to, aby městečko mělo stejná práva jako okolní města. Roku 1660 dostal Kyšperk potvrzení dvou ročních jarmarků a týdenního trhu a navíc jeden nový jarmark. Vitanovský zajistil lepší postavení pro obyvatelstvo města. Osvobodil je z části od roboty, museli ale dvakrát ročně platit daně ve výši 25 zlatých a v době žní vykonávat po tři dny robotní povinnost. Odevzdávání naturálií jako povinnost obyvatelům zůstala. Když v roce 1681 Hynek Jetřich Vitanovský zemřel, mělo město kromě radnice 16 domů. Nástupce pokračoval v jeho snahách. Nechal postavit nové domky a vyzval poddané z blízkých vesnic, aby se zde usadili. Na konci století pak už ve městě žilo 28 měšťanů.
18. století bylo poznamenáno několika morovými epidemiemi. V roce 1713 střežili prý Kyšperští pečlivě brány města, a tak se epidemie Kyšperku vyhnula. Jako poděkování pak nechali měšťané postavit na náměstí morový sloup.
Se jménem dalšího vlastníka Jana Václava Bredy je spojeno na jedné straně další budování ve městě a na druhé straně zhoršení postavení obyvatel. Uznával svobodu pouze těch, kterým udělil výsady Vitanovský - tedy 16 měšťanům. Hledal možnosti, jak zvýšit výnosy z panství. Městečko platilo ročně 22 zlatých a tzv. poplatek z koláčů ve výši 7 zlatých. Rovněž převedl hodnotu roboty na finanční náhradu, takže město muselo platit o 20 zlatých více. Poplatky museli měšťané platit také za provoz hospody, za užívání vrchnostenské louky. Celkem tedy město platilo ročně 117 zlatých. V porovnání se 17. stoletím to byla částka desetkrát vyšší. Vyšší příjmy potřeboval Breda na financování svých zálib. Rád cestoval, na kyšpereckém zámku vybudoval velkou knihovnu, měl zde velkou sbírku mědirytin a obrazárnu s díly holandských, italských a německých malířů.
Byl rovněž horlivým ctitelem sv. Jana Nepomuckého. Dal zbořit starou kapličku na Kopečku a na jejím místě roku 1734 vystavěl novou kapli. Vypráví se, že ke stavbě byl použit kámen ze zřícenin starého hradu. Obyvatelé města prý museli při stavbě zdarma pomáhat. Podél cesty od města ke kapličce nechal vysázet lipovou alej. Breda se často dostával do sporu s městečkem. Měšťanům nevadilo jen to, že jim byla upřena v minulosti získaná práva, ale i omezování jejich hospodaření. I když dříve měli omezenou robotní povinnost, museli nyní na jaře, o žních a na podzim pomáhat vrchnosti na poli. Bránili se také proti omezování svých obchodů. Stěžovali si dokonce až ve Vídni, ale neuspěli. Spory s vrchností pokračovaly téměř po celé 18. století.
Město bylo také sužováno pobyty vojáků. Zvlášť v období válek s Pruskem o Slezsko město doplácelo na přítomnost vojáků. Když se nenašly peníze v městské pokladně, museli se skládat i obyvatelé města. Za sedmileté války se v Kyšperku naposledy popravovalo. Za zapálení zásobovacího vozů Prusů, kteří zde tábořili, byl popraven lukavický občan Hubálek. Podle jiných údajů posledním popraveným byl Josef Hanik z Klášterce nad Orlicí za krádež. Jako rok jeho popravy se uvádí 1766. V době válek byly stanoveny také nové povinnosti pro město. To bylo mimo jiné také povinno obstarat dva rekruty a také je zaplatit. Další povinnost měli tzv. trakárníci, kteří jezdili s trakařem do Pardubic s ovsem.
Tereziánské reformy se projevily i ve městě. V roce 1765 bylo městu odňato právo hrdelní a útrpné a dočasně byl z města odstraněn i pranýř, o několik let později byl však obnoven. Reformy i v Kyšperku pomohly rozvoji hospodářství. Rozvíjela se řemeslná výroba, která i nadále byla pod vlivem cechů. Ve městě to byl cech mlynářský a pekařský, řeznický, krejčovský, zámečníků a kovářů, truhlářů, sklenářů, bednářů a ševců. V čele každého cechu stáli dva cechmistři.
Roku 1774 byla zavedena šestiletá povinná školní docházka. Nejnižší stupeň škol, tzv. školy triviální byly zřizovány při farách. Kyšperecká škola existující již od 17. století měla své místo v zadní části radnice. Po požáru v roce 1799 byla přemístěna do domu u zámku. Už tehdy se uvažovalo o stavbě nové školy, ale pro nedostatek peněz bylo od záměru upuštěno a škola se vrátila v roce 1802 na radnici. Město tehdy platilo kantorovi roční plat a staralo se o údržbu školy.