Profissional desde 2000, Karlovic logo começou a assumir as responsabilidades de pertencer ao time croata na Copa Davis. Conseguiu também chegar às quartas-de-final no Challenger de Praga.
Na temporada seguinte, o tenista venceu o torneio de jovens promessas da Áustria, além de vencer no primeiro torneio do circuito Challenger da sua categoria, em Urbana.
Em 2002, venceu o torneio de atletas promissores dos Estados Unidos e conseguiu chegar à final do Challenger de Andorra. Na modalidade de duplas, conseguiu disputar a última etapa em Yokohama.
Em 2003, o croata ingressou pela primeira vez no clube dos primeiros cem jogadores do ranking da ATP, tornando-se a terceira raquete da Croácia, depois de Ljubicic e de Ancic. Conseguiu chegar até a terceira etapa no Aberto dos Estados Unidos e venceu nos torneios Challenger de Nova York e Bighantom.
Na categoria de duplas, conseguiu disputar as semifinais de Xangai.
No ano 2004, Ivo Karlovic continuou seu bom desempenho, vencendo o Challenger de Calabazas e conseguindo avançar até a terceira etapa no Masters Series de Roma. Na grama, chegou à terceira etapa no Queen´s de Londres e conseguiu seu melhor resultado no Grand Slam ao avançar até a quarta etapa em Wimbledon.
Representou a Croácia nos Jogos Olímpicos de Atenas, perdendo para o espanhol Carlos Moyà, na terceira etapa.
Em 2005, Karlovic colocou-se no Top 25 da ATP. Disputou a final da Copa Davis pelo seu país, enfrentando a República Eslovaca.
Chegou também à final na grama no Queen's de Londres e às quartas-de-final em Nottingham. Obteve um registro idêntico em Washington e na primeira Masters Series que disputou em sua trajetória profissional, concretamente na Masters de Madri.