Początków istnienia Zakonu powstałego w okresie podejmowanych z inicjatywy papiestwa w XI-XIII w. wypraw krzyżowych dla zdobycia Ziemi Świętej dopatrywać się można w otwarciu około 1130 r. w Jerozolimie hospicjum (schroniska) dla niemieckich pielgrzymów i kupców, obsługiwanego przez braci szpitalników. Po utracie przez krzyżowców w 1187 r. Jerozolimy zakład ten przestał istnieć i dopiero w 1190 r., podczas oblężenia twierdzy Akki (III krucjata) doszło do założenia szpitalika dla Niemców. Fundatorami byli kupcy z Lubeki i Bremy, którzy byli wspierani przez niemieckich rycerzy i książąt. Z tego bractwa szpitalnego rozwinął się niemiecki zakon rycerski, wspierany także przez dynastę Staufów. Papież Klemens III uznał nowo założony zakon w 1191 r., co ostatecznie potwierdził papież Celestyn w 1196 r. Nowa korporacja przyjęła nazwę Zakonu Niemieckiego Szpitala Najświętszej Marii Panny w Jerozolimie ? Ordo Sanctae Mariae Domus Theutonicorum lerosolimitani, a w skrócie nazywano go zakonem niemieckim. Zarządca dotychczasowej placówki Henryk Walpot uzyskał godność wielkiego mistrza. Zakon uzyskał dzięki hojności Fryderyka II znaczne dobra na Sycylii, a później liczne posiadłości w Niemczech. Ubiorem zgromadzenia był biały płaszcz z naszytym po lewej stronie czarnym krzyżem (stąd nazwa ?krzyżacy"). Płaszcz taki mieli prawo nosić tylko bracia - rycerze i kapelani (księża i klerycy). Trzecia grupa członków zakonu (bracia służebni) nosiła płaszcze szare.