고려말에 끊임없는 외환에 시달린 경험을 살려 조선초기에는 국방강화에 비상한 관심을 기울이면서 군대를 늘리고 정예화했다.
건국 직후에는 우선 왕자나 권신들이 거느리고 있던 사병을 혁파하여 공병으로 귀속시키는 일에 주력하여 태종 때 매듭지었다. 그러나 기왕의 군대만으로는 부족하여 모든 양인은 군역을 지게 하는 양인개병제를 밀고 나갔다. 그리하여 16세 이상 60세 이하의 양인남자는 직접 군병이 되거나, 아니면 군병이 군역을 지는 동안 필요한 식량, 의복 등 경비를 부담하는 보조원이 되도록 하여 매년 무명 1필을 국가에 바치게 했다. 그러나 토지가 3~4결 이상 되는 중산층 군병에게는 보조원을 주지 않았다.
정부는 군역담당자를 확보하기 위해 노비를 해방시켜 양인 인구를 확대하고, 호적조사업을 3년마다 한번씩 실시하여 양인을 공민화하는 정책을 지속적으로 추진했다. 그 결과 태조 6년 37만 명이던 군역담당자가 세종 12년경에는 70만 명으로, 세조 때는 80만~100만 명으로 늘어났다. 이 중에서 군병이 약 30만 명, 보조원이 약 60만 명에 달했다. 군역에서 면제된 사람은 현직관원과 학생이었다. 왕의 친척이나 공신, 고급관원의 자제들도 군역을 지기는 마찬가지였다. 다만 이들의 군역은 국왕의 호위와 시종, 왕궁의 경비를 담당하는 고급군인으로서 좋은 대우를 받은 것이 다른 점이었다.
일반 평민은 정병, 유방군 혹은 수군에 편입되어, 정병은 1년에 두 달, 유방군은 석 달, 수군은 두 달씩 복무했고, 복무기간에 따라 산계를 받았다. 이 밖에 고급직업군인으로서 갑사, 별시위, 내금위 등이 있어서 무재가 있는 사람들이 시험을 쳐서 들어왔으며, 정식 무반에 속해 품계와 녹봉을 받았다. 이들은 중앙에서는 왕궁과 서울의 수비를 맡고, 지방에서는 하급지휘관이 되었다.
조선초기에 군대를 통솔하는 중심기관은 오위도총부였다. 여기에는 다섯 군단이 있어서 이들이 중앙군을 구성했는데, 그 지휘책임은 문반관이 맡았다. 이 밖에 군인의 훈련과 무과시험 등을 관장하는 훈련원과 무관의 최고기관인 중추부가 있었다.
지방의 육군은 세조대 이후로 진관체제로 편성했다. 즉 각 도마다 한 개 혹은 두 개의 병영을 두어 병마절도사가 정해진 구역의 지휘권을 장악하고, 병영 밑에는 몇 개의 거진을 두어 거진의 수령이 주변 군현의 군대통수권을 장악했다. 말하자면 전국이 지역단위의 방어체계를 형성한 것이다. 그리고 주요 요새지의 읍에는 읍성을 쌓았는데, 특히 방어취약지구인 충청도와 전라도 해안가에 많이 축조했다. 이로써 지금까지 산성중심의 방어가 읍성중심으로 바뀌었다.
한편, 중앙군과 지방군의 유기적 통합을 위해 지방군의 일부를 교대로 서울에 올라와 복무하게 했다. 이를 번상병이라 한다.
수군은 육군과 비슷한 체제로 편성되었다. 연해 각 도에는 몇 개의 수영을 두고 수군절제사를 파견하여 자기 관할구역의 수군을 통솔하게 했다. 수영 밑에는 포진과 포를 두고 첨절제사와 만호를 각각 파견하여 관하 수군을 통할하게 했다.
조선초기에는 정규군 이외에 일종의 예비군인 잡색군이 있어서 평시에는 자기 생업에 종사하고, 일정한 기간 군사훈련을 받아 유사시에 대비했다. 여기에는 서리, 잡학인, 신량역천인, 노비 등이 배속되었다.
국방과 행정의 편의를 위한 교통과 통신체계도 전보다 강화되었다. 군사적인 위급사태를 신속하게 알리기 위한 봉수제가 정비되어, 밤에는 산꼭대기에서 봉화를 올리고 낮에는 연기를 피워 서울까지 보고하도록 했다. 또 육로로 물자를 수송하고 통신을 전달하는 역마참이 전국적으로 짜여 중앙과 지방의 연계가 한층 강화되었다.
조선초기에는 취각령이라 불리는 비상소집훈령이 자주 시행되어 도성 안에 사는 관원들이 일시에 궁궐 앞에 모이기도 했다. 또, 중무장한 갑사와 돌팔매꾼인 척석군이 광화문 앞에 서로 싸우게 하여 군사훈련을 시키기도 했다. 이 훈련은 사상자가 많이 생겨 뒤에는 폐지되고, 돌팔매는 민속놀이로 바뀌었다.
15세기의 강력한 국방체제는 16세기 이후로 점차 해이해져서 왜란 직전에는 율곡 이이가 10만 양병설을 주장할 정도로 어려운 사태에 빠져 버렸다.