Оттук насетне историята на Латинското кралство и на защитаващите го ордени е низ от поражения и отстъпления, независимо от персоналната храброст на рицарите. Но тамплиерите някак си остават във фокуса на обвиненията, тъй като финансовата им мощ и пълната им автономия по отношение на църковните и светските власти са им навлекли омразата на мнозина. На фона на неуспехите стават все по-дразнещи техните привилегии и независимо поведение. Още Ричард Лъвското сърце казва малко преди смъртта си: “ Оставям алчността на цистерцианците, разкоша
– на мендикантите, гордостта – на тамплиерите”, иронизирайки трите големи ордена, които би трябвало да изповядват точнообратните ценности. Смирението определено не е най-силната страна на храмовниците, но тогава, когато не е подплатена с победи, тяхната самоувереност става нетърпима. Дори големият им покровител Инокентий ІІІ през 1207 г.
, ги обвинява открито, че злоупотребяват със своята автономия и дори дават право в гробниците им да се погребват лица, отлъчени от Църквата. Междувременно през 1261 г. Византия възкръсва и латинските владения на Балканите остават доста фрагментирани и изолирани, тъй като основният им център е вече отново в ръцете на ромеите. 22
21 Николов, Ал. Тамплиерите, 66.
22 Николов, Ал., „ Тамплиерите“, 66.
През 1265 г. и папа Климент ІV надига глас срещу злоупотребите на тамплиерските лидери и ги предупреждава, че ако Църквата оттегли безрезервната си подкрепа към тях, те ще останат безсилни в ръцете на многобройните си врагове. Недоверието към тамплиерите обхваща все по-широки кръгове. Така например още по време на Седмия кръстоносен поход те са обвинени, че са давали некомпетентни съвети на крал Луи ІХ за да осуетят разгрома на Египет, който всъщност бил техен търговски партньор. Други основателни или не обвинения гласят, че орденът на Храма сключва безпринципни коалиции с неверниците, предизвиква хаос в Светата земя чрез споровете си с хоспиталиерите, подкрепя Арагон срещу династията Анжу, въпреки че мнозинството от членовете му са французи и дори отказва да даде пари за откупа на крал Луи ІХ. Все пак до падането на Акра през 1291 г. никой не смее открито да се противопостави на ордена на Храма. Но когато мамелюците овладяват и тази последна латинска опора в Близкия изток, въпреки лъвската храброст на тамплиерите и йоанитите при отбраната ѝ, над тамплиерите надвисват облаци, които довеждат до тяхната ужасяваща гибел. Събитията около гоненията срещу тамплиерите са добре известни и не е нужно тук да бъдат отново описвани в детайли. Разбира се, тези събития рефлектират силно върху съдбата на онези тамплиерски структури, които все още съществуват на територията на Балканите. Именно в този период започва и възходът на хоспиталиерите, които ще се превърнат в един от основните играчи в района на Егейско море и Южните Балкани, особено след падането на Акра и овладяването на Родос около 1310 г. 23