Расположен в 145 км к юго-востоку от Москвы, на правом берегу реки Осётр (приток Оки).
В 1528—1531 годах по приказу Василия III внутри Острога был построен каменный кремль. Каменный кремль, сооружённый в 1528—1531, занимает площадь 125×185 м, прямоугольный в плане, длина стены по периметру около 500 м.
В кремле 7 башен (Никольская, Казенная, Кабацкая, Спасская, Тайницкая, Богоявленская и Караульная), три из которых являются проездными, Никольская башня имеет также отводную стрельницу. В восточной стене в 1789 году были пробиты ворота, называемые Троицкими.
Город стал важным пунктом обороны на южных подступах к Москве в составе создаваемой Большой засечной черты. Уже в 1533 году кремль подвергся первому нападению крымских татар под предводительством Исляма I Гирея и Сафы Гирея.
В этот период город носил названия Николо-Заразской-на-Осетре, Никола-на-Осетре. В 1541 году город осаждал хан Крыма Сахиб I Гирей, который не смог взять кремль и был разбит воеводой Н. Глебовым. Нападения крымцев на город совершались также в 1542, 1570, 1573, 1591 годах.
В марте 1533 года город посетил Великий князь московский Василий III, а в 1550, 1555, 1556 и 1571 годах — его сын, Иван IV Грозный.