Estendendo-se por uma faixa de terreno, o lugar de Paço dos Negros pertence à freguesia de Fazendas de Almeirim, encontrando-se situado entre a sede da freguesia e a Ribeira de Muge, num lugar conhecido por Casal dos Frades.
Foi precisamente junto a esta Ribeira de Muge, Muja ou Mugem, nome por que era conhecida que existiu uma residência real, mandada edificar por D. Manuel I a qual inicialmente teve o nome de Paço da Ribeira de Muge ou só Paço de Muge, passando, mais tarde à designação de Paço dos Negros da Ribeira de Muge.

A inclusão da palavra “negros” deve-se ao facto do Rei Venturoso ter enviado para lá alguns escravos negros que passaram, então, a utilizar as dependências do Paço e por lá viveram durante muito tempo, chegando a constituir família e dando origem a sucessões. Esta designação foi adoptada nas cartas de nomeação de almoxarife e noutros documentos como se encontram com referências ao almoxarife Estêvão Peixoto “Foi almoxarife dos Paços da Ribeira de Muge a que chamarão dos Negros”.

O Paço não seria de grandes proporções mas não lhe faltavam comodidades para os que procuravam acolhimento nos momentos de lazer naquela zona aprazível de Almeirim.
Damião de Góis, humanista, diplomata e historiador que viveu entre 1502 e 1574, na sua Crónica de D. Manuel I faz referência a este Paço, quando diz “fez de novo os Paços da Ribeira de Muja, por ali haver muita caça, montaria que há naquela comarca, nos quais mandou pôr todo o serviço necessário de mesa, cozinha, camas, leitos e roupas de linho para os que consigo levava”.
Almeirim tornou-se conhecida e preferida pelos senhores da Corte que vindos de Lisboa, Tejo acima em bergantins, por aqui ficavam, não só pelo clima ameno que aqui se respirava, como também pela abundância de caça que aqui existia e fazia as delicias dos devotos de S. Huberto.
Edificado num lugar pitoresco, o Paço tinha acesso por um largo portão, aberto num muro, no cimo do qual se colocaram ameias e ornado com armas reais, de coroa aberta, ladeadas pela esfera armilar de D. Manuel I. Do que resta deste Paço há apenas a portada e seis merlões de estilo manuelino.

A ribeira corria abundantemente, dando ás margens um aspecto reconfortante e as suas águas faziam mover alguns moinhos, chegando a accionar oito engenhos no século XVIII só no limite da freguesia da Raposa à qual pertencia o Paço, antes da criação da freguesia de Fazendas de Almeirim que a esta passou a integrar-se depois de 1956.
Estes moinhos serviam para moer cereais, tradição que se manteve durante muitos anos como actividade bastante característica nesta zona do concelho.
Ainda hoje são conhecidos alguns lugares que tomaram os nomes de “Moinho do Meio”, “Moinho de Cima”, etc.

Dois destes moinhos foram doados por D. Sebastião ao Convento de Nossa Senhora da Serra de Almeirim e hipotecados por religiosos daquela instituição no ano de 1808.
Presentemente estes símbolos de uma época, em que assentava uma parte da economia do lugar, encontram-se desactivados e as águas da ribeira que ainda correm por meio de vegetação e detritos, já não dão vida a estes moinhos.

Tanto no Paço Real como na Capela que nele existia para os momentos de recolhimento e meditação encontravam-se belas colecções de azulejos que o tempo e o desinteresse dos homens, levou ao seu quase total desaparecimento.
No entanto, para que a memória não ficasse totalmente destruída foram postos a salvo exemplares que faziam parte do espólio do Museu da Casa do Povo de Almeirim.
Esses azulejos hispano-árabes que cobriam as paredes do Paço, utilizados na sua construção, encontram-se registados em carta de quitação do Rei D. Manuel sendo referenciados ao Paço da Ribeira de Muge (entre 1512-1514), bem como vários objectos, que para ai foram destinados às obras, como tábuas de pinho de Flandres, três milheiros de azulejos e o mobiliário do paço, como leitos de Flandres com seus paramentos, travesseiros e almofadas, coisas que figuravam numa lista de mercadorias permutadas com os estados de Flandres e Brabante.

Apenas o pórtico ainda marca um símbolo da História de Almeirim que continua a desafiar o tempo e a pedir que a sua imagem não se perca no esquecimento.