Мама Карлоса долгое время терпела своего супруга, но, когда мальчику уже исполнилось 16 лет, решилась на развод. После расставания она со своими детьми переехала к новому мужчине. Чак Норрис был безумно рад таким изменением, ведь его отчим был достойным человеком. Отчим, замечая отличные способности, отправил Карлоса заниматься спортом.
Ближе к совершеннолетию Чак Норрис подрабатывал грузчиком, а после окончании школы отправился добровольцем в военно-воздушные силы США. А в 1959 году побывал в Южной Кореи.
Хотя Чака Норриса никто не заставлял идти на военную службу, ему показалась данная служба очень скучной и бесполезной. Единственное, что нравилось в этот период – это заниматься дзюдо. Стоит отметить, что как только будущий актер возвратился из армии, он имел уже при себе черный пояс.