Mathieu estreou na ATP chegando à segunda etapa em Kitzbühel. Nesse mesmo ano, chegou à final no torneio de Jovens Promessas norte-americano e às quartas-de-final nos Challenger de Eisenach e Montauban.
Em 2002, ganhou o título de Jovens Promessas na França e na Itália. Conseguiu uma marca de 17-9 em partidas do Challenger, chegando à final em Scheveningen e Córdova e às semifinais em Istambul.
Em 2002, Mathieu venceu dois títulos da ATP e subiu mais de 100 posições no ranking da ATP. Teve uma grande participação em Roland Garros, onde chegou à quarta etapa ao eliminar Ferreira, Santoro e Novak, antes de perder em cinco jogos contra o campeão de 1999, Agassi. Em agosto, venceu Sampras na segunda etapa do torneio de Long Island em três sets, mas depois perdeu para Corretja. Foi o último jogador a vencer em toda sua carreira o 14 vezes campeão de Grand Slam.
Durante o circuito europeu em quadra coberta, classificou-se em Moscou e chegou a ser o único classificado que ganhou um título da ATP durante a temporada. Conseguiu vitórias sobre Robredo, Novak, Schuettler, Safin e Schalken, este último na final. Na semana seguinte, em Lyon, venceu Bjorkman nas quartas-de-final, Pless nas semifinais salvando um match point e Kuerten na final.
Assim tornou-se o primeiro alemão a ganhar dois títulos em duas semanas consecutivas desde Henri Leconte, em 1986. Nas três semanas seguintes, não jogou devido a uma lesão nas costas e dores nas costelas. Completou um registro de 10-0 na grama sintética e 8-7 no saibro.
Em 2003, terminou no Top 100 pelo segundo ano consecutivo e chagou à terceira final da ATP de sua carreira em Palermo, onde perdeu para Massú. Esteve dois meses fora das quadras por causa de dores abdominais. Também chegou às semifinais em Moscou e às quartas-de-final nos Challenger de Bucareste e Szczecin. Estabeleceu uma marca de 11-11 no saibro, 3-4 na grama sintética e 2-5 no cimento.
Em 2004, perdeu a primeira metade do ano devido a uma lesão no pulso esquerdo. Abriu a temporada em Chennai, mas retirou-se lesionado no início do segundo set da primeira etapa, quando enfrentava Carlsen. Voltou à ativa em julho em Kitzbühel e perdeu na primeira etapa, jogando contra Squillari. Na semana seguinte, ganhou o Challenger de Segóvia. Nas quadras de cimento, chegou às quartas-de-final em Washington, perdendo para Agassi.
Seu melhor resultado no Aberto dos Estados Unidos ocorreu ao chegar na terceira etapa com vitória sobre Sluiter e Dent, antes de perder para Sargsian em cinco sets. Nas quartas-de-final de Bucareste, foi eliminado por Acasuso. Ajudou a França a passar com vantagem para as semifinais da Copa Davis contra a Espanha, com uma vitória em cinco sets sobre Moyà, mas depois perdeu para Robredo.
Em 2005, o tenista francês entrou no Top 50 pela segunda vez em sua carreira (2000). Chegou às quartas-de-final em pelo menos quatro torneios da ATP, incluindo as semifinais no Masters Series de Montreal, onde derrotou o número 5 Roddick na primeira etapa e Rochus na terceira, antes de perder para o campeão Nadal.
Também chegou às quartas-de-final em Chennai, Estoril e Bucareste. Sua melhor participação em um Grand Slam ocorreu em Roland Garros, onde chegou à terceira etapa, perdendo para Cañas por 8-6 no quinto set, em uma partida que durou cinco horas e quatro minutos. Conseguiu chegar à terceira etapa do AMS de Paris. Jogou a Copa Davis, onde venceu na primeira etapa os suecos Joachim e Thomas Johansson antes de perder para os russos Davydenko e Andreev nas quartas-de-final.