Кула Ненадовића саграђена је у пролеће 1813. године, пред крај Првог српског устанка, а служила је за војне потребе.

Кулу су подигли војвода Јаков Ненадовић и његов син војвода Јеврем, командант Тамнавске кнежине Ваљевске нахије.

После краха Првог српског устанка (1813.), кула се нашла у турским рукама, и на почетку Другог српског устанка (1815.) постала је центар турске одбране Ваљева. Том приликом су у подруму куле били затворени српски таоци. Зато је, после ослобођења Ваљева, Сима Ненадовић наредио да се кула запали. Кулу је 1836. године обновио кнез Милош Обреновић, доводећи је у намену складишта војне опреме.

Након вишегодишње обнове и конзервације, данас је кула културно-историјски споменик под заштитом државе са сталном музејском поставком и један је од симбола града Ваљева.