Em 1515, com a morte de seu pai, Martim Affonso deveria herdar o cargo de Alcaide-mor de Bragança, mas preferiu ficar na corte, em Lisboa, junto ao príncipe (futuro rei Dom João III). Na ocasião, justificou a opção dizendo a um amigo: "O Duque pode fazer-me Alcaide-mor, mas o Rei pode fazer-me Duque".

Em 1517, segundo o cronista oficial do Reino, "Martim Affonso e Antonio de Athayde (primo-irmão de Martim Affonso) são tão contínuos com o príncipe, e o príncipe com eles, que não pode estar momento algum sem eles. E, estando com eles, não fala nem folga com nenhuma cousa senão com eles, de modo que El Rei [Dom Manoel] imagina que pode ser feitiço".

Em 1519, preocupado com a influência que Martim Affonso exercia sobre o príncipe, o rei mandou-o deixar Lisboa e voltar a seu antigo senhor, o Duque de Bragança. Desafiando a vontade real, Martim Affonso permaneceu em Lisboa, embora afastado da companhia do príncipe.

Em Maio de 1523, a rainha mãe, D. Leonor, já viúva, foi enviada para a corte de Castela, onde reinava seu irmão, o Imperador Carlos V. Martim Affonso fez parte do séqüito que a acompanhou na longa viagem. Ao passar por Salamanca, na Espanha, Martim Affonso conheceu D. Anna Pimentel, dama de companhia de D. Catharina da Áustria (futura rainha de Portugal).

Em Dezembro de 1524, Martim Affonso, ainda em Castela, foi convocado pelo Imperador para combater a seu lado contra os franceses.

No inverno de 1525, Martim Affonso destacou-se por sua participação no cerco e tomada de Fuenterrábia, na Navarra. Martim Affonso recebeu um elogio público do Imperador, que o convidou a permanecer em Castela.

Mais tarde, a convite de Dom João III, Martim Affonso retornou a Portugal, mas nunca voltou a ser tão próximo do rei quanto em sua juventude.

Em 20 de Novembro de 1530, foi nomeado comandante da primeira expedição colonizadora ao Brasil. A frota constava de duas naus, duas caravelas e um galeão. Levava 400 homens, incluindo 32 fidalgos. Era a maior e mais cara expedição enviada ao Brasil desde seu descobrimento.

O rei lhe concedeu amplos poderes como Comandante-mor da armada. Martim Affonso estava autorizado a doar terras de sesmaria, nomear tabeliães e oficiais de justiça, lavrar autos e tomar posse de todas os territórios aquém do meridiano de Tordesilhas. Mas o objetivo principal não era colonizar, e sim entrar para o interior da América do Sul (pelo Rio Amazonas ou pelo Rio da Prata) em busca da fabulosa Serra de Prata, onde reinava um "rei branco" (o Império Inca).

Em 31 de Janeiro de 1531, após fazer escala nos arquipélagos das Canárias e Cabo Verde, Martim Affonso chegou à costa de Pernambuco, onde encontrou dois navios franceses fazendo contrabando de pau-brasil. Martim capturou uma das naus inimigas, enquanto seu irmão perseguia a outra. Voltaram a se encontrar na feitoria de Igaraçu, junto à ilha de Itamaracá, em Pernambuco. Os dois irmãos trataram de reconstruir a feitoria, destruída pelos franceses.

Em 24 de Fevereiro de 1531, enviou o Capitão João de Sousa (seu primo) a Portugal, em uma das naus capturadas, levando os prisioneiros e 3000 toras de pau-brasil confiscadas dos contrabandistas. No mesmo dia, enviou o Capitão Diogo Leite com duas caravelas, para explorar o "rio das Amazonas".

Em 1º de Março de 1531, prosseguiu viagem para o sul. No dia 13, chegou à baía de Todos os Santos. Ao desembarcar, encontrou Diogo Álvares, o Caramuru, um náufrago português que ali vivia há mais de vinte anos. Os indígenas da Bahia receberam Martim Affonso com "festas e bailes".

Em 27 de Março de 1531, partiu da Bahia. Após um mês de difícil navegação, no dia 30 de Abril, Martim Affonso entrou na baía da Guanabara. No dia seguinte, na atual praia do Flamengo, seus homens começaram a erguer uma resistente paliçada, dentro da qual construíram uma casa-forte, um pequeno estaleiro e uma ferraria. Enquanto isso, quatro homens foram enviados para explorar o interior. Viajaram cerca de 400 quilômetros, até encontrar a aldeia de um grande chefe, "senhor daqueles campos", que os acompanhou de volta ao Rio de Janeiro. É possível que tenham chegado aos campos de Piratininga e que esse chefe seja o Cacique Tibiriçá.

Em 1º  de Agosto de 1531, prosseguiu viagem para o sul. No dia 12, ancoraram no litoral de Cananéia e, cinco dias depois, Martim Affonso se encontrou com o misterioso "Bacharel de Cananéia".

No dia 1º de Setembro, enviou o Capitão Pero Lobo, e 80 homens, guiados por Francisco de Chaves (genro do Bacharel) em uma grande expedição ao interior em busca de escravos, prata  e ouro.

Em 26 de Setembro de 1531, Martim Affonso colocou um "padrão" na Ilha do Cardoso (ao lado de Cananéia)  e novamente seguiu para o sul. No dia 29, passaram ao largo do porto dos Patos. No dia 1º de Outubro, passaram por Laguna, e no dia 16 chegaram ao cabo de Santa Maria (atual Punta de Leste), onde ficaram oito dias esperando um dos navios que se extraviara.

Desistindo de esperar, subiu o Rio da Prata. Enfrentaram ali terríveis tempestades e, no fim de Outubro, a nau-capitânea naufragou. Martim Affonso salvou-se agarrado a uma tábua, mas sete marinheiros morreram e todos os mantimentos se perderam. Por sorte, conseguiram desencalhar um pequeno navio abandonado ali em 1528 por Sebastião Caboto.

Em 5 de Novembro de 1531, Martim Affonso reuniu os pilotos e capitães e decidiu que apenas seu irmão Pero Lopes, com 30 homens e um navio, subiria o Rio da Prata. Enquanto isso, ele explorou o litoral do Rio Grande do Sul.

No dia 27 de Dezembro, os dois irmãos se encontraram no Cabo de Santa Maria, conforme combinado. No dia 1º de janeiro, iniciaram a viagem de regresso para o norte.

No dia 8 de Janeiro de 1532, ancoraram em Cananéia, onde ficaram dez dias. Em seguida Martim Affonso levou seus navios para a aldeia de São Vicente (Porto dos Escravos), onde chegou no dia 22 de Janeiro (por coincidência, dia de São Vicente). Ali foi recebido por João Ramalho e Antonio Rodrigues, dois portugueses que viviam com os índios há muitos anos. Com eles estavam os Caciques Tibiriçá e Piqueroby e seu irmão, Caiuby, além de cerca de 200 índios.

Poucos dias mais tarde, Martim Affonso e alguns de seus homens, guiados por João Ramalho e Antonio Rodrigues, foram de barco até o local conhecido como Piaçagüera, atravessaram o mangue onde hoje fica Cubatão, e subiram a Serra do Mar ao longo do vale do Rio Quilombo. No dia seguinte, chegaram às nascentes do Rio Tamanduateí, e seguiram seu curso até a aldeia de Tibiriçá, no planalto de Piratininga.

Segundo Pero Lopes, "a todos nos pareceu tão bem esta terra, que o capitão determinou de a povoar e deu a todos os homens terras para fazerem fazendas. E fez uma vila na ilha de São Vicente e outra nove léguas dentro pelo sertão, a bordo de um rio que se chama Piratininga., e repartiu a gente nestas duas vilas e pôs tudo em obra de justiça". Ali, Martim Affonso distribuiu sesmarias, e estabeleceu igreja, pelourinho, cadeia e câmara de vereadores. Mandou erguer uma fortaleza na entrada de Bertoga.

Em 22 de Maio de 1532, Martim Affonso enviou seu irmão Pero Lopes de volta a Lisboa

Em 12 de Março de 1534, Martim Affonso partiu de Portugal comandando seis naus e levando dois mil soldados. Em Junho, fez escala na Bahia, onde deixou sete frades franciscanos. Em Setembro, chegou a Goa, na Índia.

Martim Affonso ganhou a confiança do Sultão de Cambaia, e conseguiu permissão para erguer uma fortaleza na cidade de Diu. Em 1538, a fortaleza foi cercada por uma grande armada egípcia, mas Martim Affonso conseguiu romper o cerco e forçou os egípcios a se retirarem.

Em seguida, Martim Affonso usou seu poder militar para saquear povoados e infundir terror na população hindu. Embora muito criticado por seus atos cruéis, Martim Affonso conquistou na Índia enorme poder econômico, político e militar.

Em Agosto de 1539, retornou a Portugal, onde foi muito bem recebido pelo rei.

Em 19 de Setembro de 1540, "para o honrar e fazer mercê por o ter mui bem servido",  Dom João III lhe concedeu uma pensão vitalícia de 92 000 cruzados.

Em 12 de Março de 1541, foi nomeado  "Vice-Rei das partes da Índia". Com o dinheiro que recebeu, Martim Affonso comprou o castelo de Alcoentre, e encarregou sua esposa de construir duas "formosas casas" em Lisboa (na rua Garrett) ,que foram destruídas pelo terremoto de 1755.

Ainda em Março de 1541, firmou um contrato para a construção de um engenho de açúcar em São Vicente. Este foi o único ato em prol de sua Capitania desde que deixou o Brasil.

Em 7 de Abril de 1541, Martim Affonso partiu novamente para a Índia, comandando cinco naus. Entre seus passageiros estava Francisco Xavier, o primeiro jesuíta a partir da Europa em missão de catequese, mais tarde canonizado como São Francisco Xavier.

Em 6 de Maio de 1542, chegou em Goa. O governo de Martim Affonso foi muito criticado por "sua ambição desmedida e absoluta falta de escrúpulos", repleto de "vergonhas e escândalos".

Em 12 de setembro de 1545, Martim Affonso entregou o governo ao novo Vice-Rei, Dom João de Castro. Em 13 de Dezembro do mesmo ano, partiu de volta para Lisboa. Antes de partir, mandou pintar um retrato seu em tamanho natural, que mandou pendurar na casa dos vice-reis.

Em 13 de Junho de 1546, chegou a Lisboa, tendo feito a viagem no tempo recorde de seis meses.

Muito rico com o dinheiro que ganhara na Índia e com suas pensões, Martim Affonso não mais saiu de Portugal. Foi membro permanente do Conselho Real. Vivia em seu castelo de Alcoentre.

Pedro herdou de seu pai os títulos de Senhor do Prado e de Alcoentre e de donatário da Capitania de São Vicente.

Em 1595, Rodrigo foi nomeado Bispo de Viseu.

Pedro tornou-se padre com o nome de Frei Antonio de Sousa.