Während General Grand in Mississippi Mitte April seinen dritten Versuch startete, die Stadt Vicksburg zu nehmen, galt das öffentliche Interesse mehr dem Kriegsschauplatz in Virginia. Am Rappahannock River hatte General Lee ein 40 Kilometer langes Netz von Schützengräben ausgegraben, um die Stadt Fredericksburg (Virginia) zu schützen. Ihm standen dabei 60000 Soldaten zur Verfügung, die aber in einem schlechten Zustand waren, da es kaum Lebensmittel gab. Auch das Pferdefutter wurde immer knapper, so dass viele Tiere an Unterernährung starben. Das änderte sich erst, als General Longstreet, der sich mit zwei Divisionen an der Küste von North Carolinas befand, um dort die Yankees zu bekämpfen, Proviant an Lees Truppen schickte. Die Gegenseite der Yankees konnte dagegen mehr aufbringen. General Hooker, der von Präsident Lincoln als Nachfolger von General Burnside zum Oberbefehlshaber der Potomac-Armee ernannt wurde, verfügte über ca. 130000 Soldaten. Hooker war bei den anderen Generälen nicht besonders beliebt. Er war ein Intrigant, der zum Beispiel ohne seine Vorgesetzten zu informieren bei Präsident Lincoln vorsprach und sich bei ihm einschmeichelte. Außerdem beschwerte er sich beim Kriegsministerium über seinen Vorgänger und prangerte dessen Versagen an, um ihm zusätzlich zu schaden. Sein Ziel war seine Stellung als Oberbefehlshaben, die er ja auch bekam.

Der Begriff "Bescheidenheit" schien dem General wohl ein Fremdwort zu sein. "Möge Gott General Lee gnädig sein, denn ich werde es nicht sein", waren seine Worte. Selbst Lincoln musste ihn beiseite nehmen und ein ernstes Wort mit ihm reden. Er monierte seine Intrigen, die keiner Armee gut tun, und empfahl ihm, sich mit seinen Prahlereien zurückzuhalten.

Dennoch stärkte Lincoln ihm den Rücken und gab ihm bei seinen Planungen freie Hand. Am 26. April gab General Hooker den ersten drei Korps den Befehl, den Rappahannock River flussaufwärts zu marschieren und ihn an der Kelley´s Furt - weit von Fredericksburg entfernt - zu überqueren. Danach mussten sie weiter nach Süden marschieren, bis sie den Rapidan River - der westlich in den Rappahannock River mündete - erreichten, den sie dann ebenfalls zu überqueren hatten. Am nächsten Tag unternahmen weitere Korps erfolgreich das gleiche Manöver. Auf diese Weise umgingen bis zum 30. April ca. 70000 Unionssoldaten in einem weitem Bogen Lees linke Flanke.

Wann sich Lee ihnen entgegenstellen würde, so dachte Hooker, hing davon ab, wann er diese Umgehungstaktik bemerkt. Je später, desto besser für die Union. Daher marschieren 40000 Yankees unter General Sedgwick zum Schein gegen Fredericksburg, um Lee von der eigentlichen Gefahr abzulenken. Und tatsächlich bemerkte General Lee zunächst nichts.

Das Ziel der Union war nun ein Straßenknotenpunkt, der Chancellorsville genannt wurde. Nur von hier aus konnten Lees Stellungen rücklings über zwei Straßen erreicht werden. Die Unionssoldaten verschanzten sich hier zunächst in einem Dickicht, der sogenannten "Wilderness". Erst am Abend erfuhr General Lee, dass der Feind den Rapidan River überquert hatte. Jetzt erkannte er endlich die Gefahr und handelte sofort. Er schickte zweieinhalb Divisionen nach Chancellorsville, von wo aus eine sechs Kilometer lange Verteidigungslinie errichtet wurde, die an einem Punkt endete, an dem sich die sonst parallel zueinander verlaufenden Straßen kreuzten. General Hooker war unterdessen davon überzeugt, dass der Feind angesichts der Übermacht und der günstigen Position die Flucht ergreifen würde. Irgendwann jedoch, musste er aber wohl erfahren haben, dass sich General Lee ihm bei Chancellorsville entgegenstellte. Hookers sonst so prahlerische Art, verwandelte sich nun in eine merkwürdige Zurückhaltung. Statt die Offensive zu ergreifen, was bei einer solchen Übermacht logisch gewesen wäre, blieb er in der Defensive und wartete auf einen konföderierten Angriff. Und der kam dann auch am 1. Mai, denn General Lee war nicht untätig geblieben. Nur 10000 Soldaten sollten unter dem Kommando von General Jubal Early in Fredericksburg die Stellung halten. Mit dem restlichen 50000 marschierte er nach Westen in Richtung Wilderness. Aber auch einige Einheiten der Unions-Armee verlagerten ihre Verteidigungslinie aus dem Dickicht heraus weiter nach Osten. Gegen Mittag trafen die ersten Soldaten der verfeindeten Parteien aufeinander. Die Einheiten der Konföderierten, die unter dem Kommando von General Jackson standen, hatten gegen der Übermacht der Union eigentlich keine Chance. Bis auf einige Scharmützel, kam es aber zu keiner richtigen Schlacht. Denn als Jacksons Einheiten durch weitere Divisionen verstärkt wurden, zog Hooker es vor, wieder in die Defensive zu gehen.

Zwar hieß es zunächst, dass Hooker betrunken gewesen war, als er diese Entscheidung getroffen hatte. Wahrscheinlich verlor er aber nur die Nerven. Denn Lees Reaktion passte total nicht in seine Kriegspläne. Also waren die Yankees in der Folgezeit damit beschäftigt, ihre Verteidigungslinie auszubauen, um anschließend auf den feindlichen Angriff zu warten. Und tatsächlich schmiedeten Lee und Jackson am Abend des 1. Mai einen Schlachtplan. Beiden war klar, dass der Feind nicht frontal angegriffen werden konnte, dazu war er einfach zu stark. Späher der Konföderierten hatten an diesem Tag gute Aufklärungsarbeit geleistet und konnten nun berichte, dass die rechte Flanke der Union, die sich fünf Kilometer von Chancellorsville befand und unter dem Kommando von General Howard stand, nicht geschützt war. Ein Überraschungsangriff an diese Stelle, würde sich für die Unionseinheiten verheerend auswirken, da sie von mehreren Seiten angegriffen werden konnten. Sie musste dazu nur möglichst weit umgangen werden. Zwar kannte Jackson einigermaßen das Gelände, für diese Operation benötigte er aber eine ortskundige Person, die er schließlich auch fand.

Am frühen Morgen des 2. Mai machten sich dann die Konföderierten unter General Jackson auf dem Weg. Sie marschierten dabei nordwärts auf einem Pfad, der Brock Road genannt, und auf dem normalerweise Kohle zu einem Schmelzofen transportiert wurde. Die Brock Road mündete wiederum in einen weiteren Pfad (Orange Road), der in westliche Richtung zu Hookers rechter Flanke führte. General Lee riskierte es, seine Armee aufzuteilen, wobei er ca. 30000 Soldaten Jackson zur Verfügung stellte. Das war ein gewagtes Spiel, denn Lee musste seine Stellung mit nur 15000 Soldaten halten. Wenn Hooker herausbekommen würde, wie schwach der Gegner nun war, würde er bei einen Angriff garantiert einen Sieg erlangen. Hooker bekam es aber nicht heraus, obwohl er über die Truppenbewegungen informiert wurde. Er interpretierte sie aber als Rückzug, denn der schwächere Feind, so war er der Ansicht, würde es niemals wagen ihn anzugreifen. Auch Unions-General Daniel Sickles konnte Jacksons Manöver beobachten, aber auch er konnte sich keinen Reim daraus machen. Unterdessen machte Lee durch Kanonenschüsse auf den Feind auf sich aufmerksam, um Hooker von Jacksons Vorhaben abzulenken.

Um 15 Uhr hatten die Konföderierten ihr Ziel erreicht. In den folgenden zwei Stunden bezogen die einzelnen Einheiten ihre Stellung. Gegen 17.15 Uhr blies Jackson zum Angriff. Mit lautem Geschrei stürzten die konföderierten Soldaten von allen möglichen Seiten auf den Feind zu. Howard Divisionen hatten keine Chance. In nur einer viertel Sunde waren die meisten Unions-Einheiten vernichtet. Diejenigen, die überlebten und teilweise Widerstand leisteten, mussten am Ende die Flucht ergreifen.

Erst bei Einbruch der Dunkelheit gelang es Hooker und Howard eine neue Front aufzustellen, die sich aus vier verschiedene Korps zusammensetzte. Dadurch konnten die Konföderierten, dessen Soldaten das Gefecht zwar gewonnen, nun aber jede Organisation verloren hatten, einigermaßen gestoppt werden. In der Nacht kam es daraufhin nur noch zu einzelnen unkoordinierten Gefechten.

General Jackson hatte sich unterdessen entschlossen, mit einigen Offizieren vor die eigenen Linien zu reiten, um von hier aus die Lage zu erkunden. Bei ihrer Rückkehr wurden sie von den eigenen Leuten für den Feind gehalten, worauf diese das Feuer eröffneten. Dabei wurde Jackson dreimal getroffen. Zwar waren die Treffer in der rechten Hand und im linken Handgelenk nicht tödlich. Eine dritte Kugel traf aber eine Arterie, was zu einem hohen Blutverlust führte. Hinzu kam, dass sein Pferd in Panik geriet und auf die feindlichen Linien zugaloppierte. Nachdem er dabei auch noch von einem herabhängenden Ast am Kopf getroffen wurde, dauerte es erst eine Zeit lang, bis er das Pferd wieder unter Kontrolle hatte und zu seinen eigenen Leuten zurückreiten konnte. General "Stonewall" Jackson war so schwer verletzt, dass er nicht mehr eingesetzt werden konnte und acht Tage später an einer Lungenentzündung starb.

Sein Nachfolger wurden General "Jeb" Stuart, von dem Lee nun erwartete, bis nach Chancellorsville vorzurücken, um hier die Yankees zu vertreiben. Ziel war es, anschließend Lees Divisionen mit denen von Stuart zu vereinen. Dem General gelang zwar die Einnahme, durch die massiven Gegenangriffe der Yankees war er aber zu sehr damit beschäftigt, die Stellung zu halten, so dass eine Vereinigung nicht zustande kam. Unions-General Sedgwick war bis dahin vor Fredericksburg untätig geblieben. Er wartete auf einen eindeutigen Befehl von Hooker, den Feind anzugreifen. Umgekehrt hatte Hooker seinen Vormarsch gestoppt, um sich aus Chancellorsville komplett zurückzuziehen, da er von Sedgwick keine Erfolgsmeldung erhalten hatte. Auch eine erhöhte Stellung bei Hazel Grove, die eine Meile von Chancellorsville entfernt war, musste geräumt werden. Jetzt hatten Stuart und Lee endlich die Möglichkeit, ihre Divisionen wieder zusammenzufügen, wobei sie ihre Artillerie bei Hazel Grove stationierten. Erst am Nachmittag des 2. Mai kam dann endlich der Befehl von Hooker, und am Morgen des 3. Mai blies Sedgwick zum Angriff. Die dünne konföderierte Linie, die nur aus 10000 Mann bestand, konnte er mit Leichtigkeit zurückdrängen. Die Soldaten verschanzten sich daraufhin hinter einer Steinmauer, die ca. eine halbe Meile lang war und sich am Fuße der Marye´s Heights vor einem Hohlweg befand.

Diese Steinmauer war schon einmal Schauplatz einer Schlacht vor Fredericksburg, die zwischen dem 13. und dem 15. Dezember 1862 stattfand. Damals war sie Unions-General Burnsides Truppen zum Verhängnis geworden. Diesmal jedoch konnten die Konföderierten nichts gegen die Übermacht der Union ausrichten. Zwar gelang es ihnen zunächst, den Gegner zweimal zurückzudrängen, beim dritten Mal aber wurde in einem Sturmangriff der Yankees die Verteidigungslinie der Konföderierten zerschlagen.

Am 4. Mai drang Sedgwick nun mit seinen Truppen bis nach Chanceloorsville vor. Hier stieß er aber auf die mittlerweile wieder vereinten Divisionen von Stuart und Lee. Außerdem hatte er nun die konföderierte Linie, die er bei Fredericksburg durchbrochen hatte, im Rücken. Lee hatte nun keine Probleme, Sedgwicks Vormarsch zu stoppen. Durch Artilleriefeuer zwang er ihn schließlich zum Rückzug zum Rappahannock River. Hooker hätte Sedgwick mit seinen 75000 Soldaten zur Hilfe kommen können, aber er tat es nicht. Möglicherweise konnte er nicht mehr klar denken, nachdem am Vormittag sein Hauptquartier von einer Kanonenkugel getroffen, und er dabei von einem herabstürzenden Balken seines Hauses am Kopf verletzt wurde. Am späten Abend gab Hooker den Befehl zum Rückzug bis zum Nordufer des Rappahannock River. Die Union hatte wieder mal eine Schlacht verloren, und das, obwohl der Feldzug für sie so gut begonnen hatte. Mit einer doppelt so großen Streitmacht wie die des Gegners war es Hooker nicht gelungen, General Lee zu bezwingen. Kaum verlief sein Schlachtplan nicht so, wie er es sich gedacht hatte, resignierte er schon. Lee hingegen hatte trotz der schlechten Ausgangsituation die Initiative ergriffen und seine Armee so geschickt aufgeteilt, dass sie an den entscheidensten Stellen immer in der Überzahl war. Dennoch hatte die Schlacht bei Chancellorsville einen hohen Preis, und das für beide Seiten. Während die Union ca. 17000 Verluste zu beklagen hatte, waren es auf Seiten der Konföderierten ca. 13000.