Поблизу Ладижина поселення Ладижин-1 й Ладижин-2 буго-дністровської культури.
Люди жили на території міста дуже давно. При розкопках у сусідніх з Ладижином селах — Харпачка й Кисляк знайдені золоті монети III століття н. е. часів правління римського імператора Олександра Севера.
Князь Володимир Святославович для захисту своїх володінь від кочових народів (хозар, печенігів, половців) будував по річках остроги-фортеці, огороджені високими палями. Князь Данило Галицький також зводив на ріках укріплення. Напевне, у ці часи з’явилася і фортеця Ладижина.
Першу згадку про Ладижин під 1240 роком помилково ототожнюють з Колодяжином.
Розширивши свої території за рахунок приєднання українських князівств, Литва утворила сильну Литовську державу, яка рішуче виступила проти поневолення татарами України. Князь Ольгерд при підтримці русько-польських військ у 1363 році розгромив татарську орду. Міста Ладижин та Брацлав були спалені.
У XVI столітті це дерев’яне місто-фортеця Брацлавського воєводства, яке було оточене тридцяти метровим земляним валом. Залишки валу ще й досі збереглися в центрі Ладижина. За Люблінською унією 1569 року Брацлавське воєводство відійшло до Речі Посполитої. Приблизно в ті ж часи, разом з поляками, у місті з’явилися євреї.
Під час повстання під проводом Богдана Хмельницького, у 1648 році козаки полковника Івана Ганжі зайняли місто. А після різні, вчиненої над поляками, козаки зібрали всіх євреїв, пов’язали й наказали прийняти православну віру. Хто відмовився — зарізали.
У 1670 році Ладижин був підпорядкований гетьману Дорошенку, який не ладив з поляками, а тому в 1671 році із військом був висланий Ян Собеський, який зайняв Ладижин. У 1672 році Петро Дорошенко, підтриманий турками, знову оволодів Ладижином, але ненадовго, бо вже в 1673 році лівобережний гетьман Самойлович забрав у Дорошенка Ладижин і залишив у фортеці 5 тисяч козаків на чолі з полковником Мурашко. Дорошенко знову попросив допомоги у турків і султан Магомет IV послав загін зі своїм сином Ослам-Гиреєм. Бій був кривавий, полковник Мурашко розбив ворожий стан турок, взяв у полон сина Магомета IV та багато його свити і знищив їх.
У 1674 році до Ладижина з 70-тисячним військом прийшов султан Магомет IV, щоб помститися за смерть сина. Понад два тижні тривав бій. Мурашко відбив 11 атак, але був важко ранений і взятий в полон. За наказом султана жителі Ладижина були всі вирізані, а місто спалене до тла.
У лютому 1703 року в бою біля міста Ладижин був поранений та потрапив у полон ватажок Подільського повстання проти поляків 1702—1703 років — Андрій Абазин.
З активним заселенням Поділля, що почалося на початку XVIII ст., почалося заселення Слободи Ладижинської, що простягнулася понад річкою Сільницею. У 1775 р. Слобода вже мала 98 дворів. До 1830 року Слобода була у володінні Олександра Сабанського, потім була передана начальству військових поселень, а в 1844 році ладижинська слобода стала приписаною до міста Ладижина.
У XIX столітті Ладижин втратив своє військове значення, зате в ньому почала розвиватися промисловість. З’явилось п’ять суконних фабрик, три цегельні, шкіряний та черепичний заводи. Відкрився сільський банк, поштово-телеграфна контора, камера мирового судді, лісництво, чотири заїжджих двори, налагодилась поромна переправа через Буг, відкрились лікарня на 50 ліжок, аптека. У 1859 році була відкрита церковно-приходська школа, яка у 1871 році була перетворена в трикласне міністерське училище. У 1876 році в Ладижині було побудовано ґуральню, яка стала одним з найбільших підприємств міста. У 1897 році відкрилась школа для дівчаток. Коли у 1899 році помер власник ґуральні — дрібний підприємець із євреїв Волько Скляревський, у якого не було спадкоємців, ґуральня перейшла до державної скарбниці, і, часом — стояла законсервована, часом — здавалася в оренду. У січні 1918 року завод був зруйнований, і лише в 1926 році радянська влада відбудувала завод.
У травні 1919 року, місто було звільнено від радянської влади військами отамана Ананія Волинця. У місті було встановлено українську адміністрацію. Після поразки військ УНР, з липня 1919 року в місті встановлено радянську владу.
У 1923—1931 роках адміністративний центр Ладижинського району.
Під час Голодомору 1932—1933 років померло щонайменше 20 жителів міста.
Під час Другої світової війни Ладижин був зайнятий німецькими військами, місто було майже повністю зруйновано. Війська 2-го Українського фронту звільнили місто в 1944 році.
У 1954 році колгоспи «ім. Жданова» та «ім. Леніна» було об’єднано, і на їхній основі утворено колгосп «Росія». Навесні 1968 року почалося будівництво, як на той час, однієї з найпотужніших в країні електростанцій. Ладижинську ТЕС введено в експлуатацію в 1970—1971 р.р. В тому ж році дав першу продукцію автоматизований бетонний завод.
Указом Президії ВР УРСР від 21 березня 1973 року смт Ладижин Тростянецького району віднесено до категорії міст районного підпорядкування.
У 2000 році став містом обласного значення.
2010 — агрохолдингом «Миронівський хлібопродукт» розпочато будівництво птахофабрики «Вінницький бройлер» потужністю 400 тис. тонн курятини на рік і комбікормового заводу «Ладижинський» загальною вартістю $750 млн, яке планується завершити 2013—2014. Ладижин вибраний через значну кількість сільськогосподарських земель, що МХП орендує поблизу та близькості до Ладижинської ТЕС, що забезпечуватиме необхідні 90 Мегават потужності для МХП.
