Em 1591, frei Antônio de São Paulo pediu à câmara municipal licença para a fundação de um convento Carmelita. Encontrou, porém, diversas dificuldades, de modo que só em 1594 foi possível realizar o seu intento. Construiu-se o convento no terreno que pertencia à sesmaria de Jurubatuba, propriedade do convento de Santos, na antiga ladeira do Carmo, atual avenida Rangel Pestana. Em 1766, a velha construção foi demolida e foram construídos novo convento e nova igreja.
A aquarela acima, pintada por Debret (1768–1848), datada em 1827, mostra o Convento e a Igreja do Carmo, construídos em 1594, a pedido do frei Antônio de São Paulo. |
O velho convento não resistiu ao progresso moderno e foi desapropriado pelo governo estadual. Aos 15 de abril de 1928, a imagem de Nossa Senhora do Carmo foi levada em procissão apoteótica à nova capela, situada na rua Martiniano de Carvalho, onde se achava uma grande chácara de flores, comprada pelos carmelitas, a fim de construir novo convento e igreja. Aos 26 de abril do mesmo ano, os padres mudaram-se para uma residência à avenida Brigadeiro Luís Antônio, número 159.
A nova construção foi terminada rapidamente. Aos 2 de março de 1929 estava pronto o futuro salão de festas, que foi benzido como igreja provisória. Aos 13 de janeiro de 1930, os padres carmelitas mudaram-se para uma ala já pronta do novo convento. Aos 17 de fevereiro do mesmo ano, foi inaugurada a nova escola e, em 1º de abril de 1934, foi benzida solenemente a nova e majestosa igreja pelo arcebispo, Dom Duarte Leopoldo e Silva.
Em maio de 1940 foi criada a paróquia do Carmo da Liberdade, sendo o seu primeiro pároco frei Batista Blenke. Aos 10 de dezembro de 1949 a igreja foi sagrada pelo bispo Carmelita, Dom Eliseu van de Weijer e, por Breve de 13 de maio de 1950, o Papa Pio XII elevou a igreja à dignidade de Basílica Menor, por ocasião dos festejos do VII Centenário do Santo Escapulário.