De acordo com a tradição, os primitivos habitantes da região foram os índios Carijós, Goianazes e Cataguás. A colonização do local onde se ergue a sede do município de Carmópolis de Minas, iniciou-se por volta de 1700, quando se estabeleceram no local os primeiros brancos portugueses e paulistas, em demanda do sertão goiano. Prosseguindo em sua aventura, estes brancos teriam deixado alguns remanescentes cuidando da lavoura, para garantirem o suprimento durante o regresso. Realmente, anos depois, ao voltarem, encontraram o local já desenvolvido.
Foi-lhes oferecido até pão manufaturado com trigo do plantio local, que tamanha foi à alegria e espanto dos viajantes que teriam exclamado: “Já-Há-Pão!”, o que dito rapidamente resultou na forma que transformou topônimo “Japão”.O primeiro nome da localidade foi Japão, como vemos nos documentos de 1862, quando foi criada a freguesia pela Lei Provincial n.º 1144, de 24 de setembro. Há ainda um povoado rural que conserva o antigo nome da cidade, o povoado do Japão Grande. Em1807 foi iniciada a construção da Igreja Matriz, pelo padre Domingos da Costa Guimarães. O povoado foi-se desenvolvendo lentamente e em 27 de dezembro de 1948 foi elevada à categoria de cidade com o nome de “Carmópolis de Minas” e que no dizer do poeta conterrâneo: “É bela e hospitaleira, cidade encanto, orgulho sem igual, na fé em Cristo é pioneira minha Carmópolis que não tem rival.”. Destacam-se quatro sítios arqueológicos na cidade, onde são encontrados rochas originárias do período da pré-história.