Ähnliche Erfolge wie auf See, konnte die Union auch auf den Flüssen verbuchen. Ihre Hauptwaffe waren hier sieben leistungsfähige Panzerschiffe, die von einem gewissen James B. Eads konstruiert wurden. Diese Panzerschiffe waren ungewöhnlich breit und hatten einen flachen Boden. Angetrieben wurden sie durch Schaufelräder. Die Kabinen und der Maschinenraum waren durch eine Panzerung geschützt, die dem Schiff ein schildkrötenähnliches Aussehen verlieh. Deshalb - und weil James Eads´s Maschinenkonstrukteur Samuel Pook für die Panzerung zuständig war - nannte man sie auch "Pook´s turtles". Ihren ersten Gefechtseinsatz hatten die Panzerschiffe und drei weitere hölzerne Kanonenboote am 6. Februar 1862. Die Südstaaten hatten von den Appalachen bis zu den Ozarks mehr als 70000 Mann in Stellung gebracht, die unter dem Kommando von Albert Sidney Johnston standen. Demgegenüber standen von Ost-Kentucky bis Südwest-Missouri über 170000 Soldaten der Nordstaaten, die gleich von zwei Kommandeuren befehligt wurden: Henry W. Halleck und Don Carlos Buell. Beide waren aber ständig bestrebt, sich selber in den Vordergrund zu stellen, statt miteinander zusammenzuarbeiten, was der Unionsstreitmacht nicht gut tat. Allerdings unterstand dem Kommando Hallecks ein gewisser Ulysses S. Grant, der ein solches Konkurrenzdenken nicht kannte, und bereit für eine Offensive war.

So bat er seinen Kommandeur, Fort Henry am Tennessee einnehmen zu dürfen, das er für den schwächsten Punkt an Johnstons Front hielt, da sich die Südstaaten hauptsächlich auf die Stellungen am Mississippi konzentrierten. So war Fort Henry schlecht befestigt und mit nur 2500 Soldaten besetzt.

Am 5. Februar erreichte Grant mit Commodore Andrew Hull Foote, der das Kommando über die Panzerflotte hatte, eine Landungsstelle, die einige Kilometer von Fort Henry entfernt war, und an der 15000 Unionssoldaten mit Transportbooten an Land gebracht wurden. Diese Soldaten sollten unter Grants Kommando das Fort von hinten angreifen, während es vorne von den Panzerschiffen beschossen werden sollte. Allerdings regnete es unaufhörlich, so dass Grants Soldaten im tiefen Schlamm marschieren mussten, was den Vormarsch auf das Fort erschwerte. Als einen Tag später die Flotte das Fort erreichte, erkannte der Kommandeur der Festung schnell, dass er keine Chance hatte, da ihm nur neun Kanonen zu Verfügung standen. So schickte er den größten Teil seiner Soldaten in das 19 Kilometer entfernte Fort Donelson am Cumberland River, während er selber mit nur einem kleinen Regiment zurückblieb, um Fort Henry so lange wie möglich zu halten. Das gelang ihm dann auch zwei Stunden lang, wobei er sogar ein Panzerschiff außer Gefecht setzten und andere Kanonenboote zumindest beschädigen konnte. Gegen die Überzahl der Unions-Kanonen konnte er dann aber schließlich doch nichts ausrichten, so dass das konföderierte Regiment kapitulieren musste. Grant und seine Soldaten erreichten das Fort nicht mehr rechtzeitig, was angesichts des Sieges aber auch nicht mehr nötig war. Nach der Einnahme des Forts setzten drei Kanonenboote ihre Fahrt stromaufwärts fort. Hier gerieten sie in eine regelrechte Zerstörungswut. Zunächst musste eine Eisenbahnbrücke dran glauben, die für die Südstaaten eine wichtige Verbindung darstellte, und 240 Kilometer weiter vernichteten sie eine ganze Südstaatenflotte, bestehend aus 9 Schiffe.

Das nächste Ziel war Fort Donelson am Cumberland River, ein 15 Morgen großes Gebiet, das mit einem Palisadenzaun umgeben war. Geschützt wurde das Gebiet durch 12 Kanonen, die auf hohen Klippen angebracht waren, und so vom Fluss kommende Angreifer abwehren konnten. Außerdem waren fünf Kilometer lange Schützengräben hergerichtet, in denen sich die Konföderierten postierten. Kommandiert wurden die Soldaten von einem gewissen John Floyd. Grant hatte ursprünglich vor, Fort Donelson am 8. Februar anzugreifen, was sich aber wegen schlechtem Wetter und Reparaturarbeiten an den Booten verzögerte. So näherte er sich mit seinen 15000 Soldaten erst am 12. Februar 1862 seinem Ziel. Hier wartete er zunächst auf Verstärkung, die er dann am 14. Februar in Form von 10000 weiteren Soldaten bekam. Außerdem erreichten an diesem Tag vier Panzerschiffe und 2 hölzerne Kanonenboote den Kriegsschauplatz. Grants Plan sah hier genauso aus, wie der bei Fort Henry: Bombardierung des Forts und Einkesselung von hinten. Allerdings war es hier nicht so einfach. Die Kanonen der Boote schossen über das Ziel hinaus, da Foote sie zu nah an das Fort herangeführt hatte. Im Gegenzug waren die Boote für die Kanonen des Forts nun ein leichtes Ziel. Am Ende waren 54 Unions-Soldaten tot oder verwundet und die Boote schwer beschädigt, so dass Foote sich zurückziehen musste.

Dennoch war dieser Erfolg nicht der Sieg für die Konföderierten. Sie waren immer noch von drei Seiten eingekesselt, und auch auf dem Fluss lauerte der Feind, auch wenn seine Boote schwer beschädigt waren. Floyd musste sich nun mit seinen Generälen beraten, was zu tun sei: Stillhalten, kapitulieren oder ausbrechen. Man entschied sich für die dritte Variante. In der Nacht wurden daraufhin die ganzen Truppen unbemerkt auf die linke Seite der Front verlegt, während die Unionstruppen weiterhin aufgeteilt waren, und zwar in die aus ihrer Sicht linke, mittlere und rechte Flanke. Grant hatte die Truppenverlagerung der Konföderierten nicht bemerkt, da er sich in einer Besprechung bei Foote befand.

So kam es, dass im Morgengrauen des nächsten Tages die rechte Flanke der Unionstruppen von den gesamten Truppen des Gegners angegriffen wurde, während die Unionstruppen an den beiden anderen Flanken stillhielten. Die Schlacht dauerte mehrere Stunden und am Ende waren die Unionstruppen mehrere Kilometer zurückgeschlagen. Ein Ausbruch wäre jetzt für die Südstaatler theoretisch möglich gewesen, praktisch waren sie aber für einen langen Marsch zu erschöpft, worauf General Pillow, der die Soldaten anführte, einen Rückzug in die Schützengräben befahl. Grants Gedanke war nun folgender: Wenn der Gegner sich angesichts seines Erfolges trotzdem zurückzieht, muss dieser noch geschwächter sein als der Besiegte. Also befahl er Foote, das Fort noch mal mit den ramponierten Booten anzugreifen und zu bombardieren, so gut es ging. Inzwischen sammelten sich die zurückgedrängten Unionstruppen wieder, und rückten zum Gegenschlag aus, der schließlich auch erfolgreich war. Die rechte Flanke war wieder in der Hand der Union. Die Generäle von Fort Donelson sahen nun keine andere Möglichkeit mehr, als zu kapitulieren. Um einer Kriegsgefangenschaft zu entgehen, flüchteten jedoch die meisten Kommandeure, bis auf General Simon B. Buckner, der am 16. Februar Grants Kapitulationsbedingungen akzeptieren musste.

Für die Nordstaaten war dieser Erfolg ein strategisch wichtiger Sieg. Ein Grossteil der konföderierten Truppen in Tennessee und Kentucky war geschlagen. Wichtige Verbindungslinien, wie die der beiden Flüsse Tennessee und Cumberland und der Eisenbahn, standen nun unter der Kontrolle der Union. Und der Rest der Südstaaten-Streitkräfte war weit entfernt in Nashville und in Columbus stationiert. Und selbst da hielten sich Johnstons Streitkräfte nicht lange. Am 23. Februar mussten sie Nashville verlassen, um Buells Armee Platz zu machen, und damit fiel das wichtige Transport- und Versorgungszentrum, das sich in der Stadt befand, in die Hände der Union.