O edifício de 11 mil metros quadrados que abriga o Culturas Brasileiras foi projetado por Oscar Niemeyer, nos anos 1950, e tombado pelos órgãos de patrimônio histórico municipal, estadual e federal. Depois de sediar eventos como a Bienal de Artes de São Paulo (1953) e o Pavilhão dos Estados durante o IV Centenário de São Paulo (1954), o prédio foi cedido esporadicamente para exposições. Em síntese, o projeto foi criado para celebrar a diversidade cultural brasileira e, em especial, do patrimônio material e imaterial das culturas menos favorecidas da população, que têm até hoje menor visibilidade institucional. O objetivo é legitimar, fortalecer e dar a conhecer as práticas culturais tradicionais e contemporâneas do povo brasileiro, em todo o seu vigor e pluralidade. Hoje, é administrado pela Urbia Parques.

No início da década de 1970, já, então, batizado de Engenheiro Armando de Arruda Pereira, tornou-se sede da Prodam, a Companhia de Processamento de Dados do Município. No fim de 2006, a Prodam mudou-se, abrindo caminho para que o Pavilhão retome sua vocação. Desde 2007, o Pavilhão vem passando por intervenções arquitetônicas determinadas pela Secretaria Municipal de Cultura e destinadas a livrá-lo das descaracterizações que sofreu no período em que abrigou repartições públicas.

Em 2008, a Secretaria Municipal de Cultura contratou o escritório de Pedro Mendes da Rocha para fazer a adaptação do prédio ao uso museológico. Seu projeto busca respeitar as virtudes da arquitetura original, preservando as qualidades do projeto de Niemeyer, sobretudo a amplitude de espaço e a leveza do edifício. A construção mantém a característica de um espaço aberto, que favorece a apreciação das obras expostas e a versatilidade na montagem de exposições e eventos. A última edição da São Paulo Fashion Week, que celebrou a retomada do evento presencial, após a pandemia da Covid-19, aconteceu no local, em novembro de 2021.