Não, cara. O filme explica que não se pode voltar pra mesma linha temporal, porque o que aconteceu já não pode ser mudado. Então em Ultimato (e isso é dito no filme), eles vão pra outra linha do tempo/realidade, e pegam as joias de lá e levam pra realidade deles. Por isso que depois eles tem que devolver as joias. Tanto que uma das maiores discussões até hoje é como o Capitão América voltou pra realidade normal, sem aparecer na máquina, mas sim lá no banco
Quanto ao Adam, ele é basicamente o principal portador da Joia da Alma nos quadrinhos, e devido a isso, ele vive no meio das confusões