Man merkte bald, dass die neue Konstruktion eine feuerstärkere Waffe aufnehmen konnte, und so kam es noch während dem Anlauf der IS-1 Produktion zu ersten Schusstests mit stärkeren Kanonen. Auch hatte man nun den T-34 mit dem KV-85 Turm versehen, so dass der mittlere Standardpanzer in der Version T-34/85 über die gleiche Kanone verfügte wie der schwere Panzer IS-1. Logischerweise ist es aber sinnvoll, den schweren Panzer auch mit einer stärkeren Hauptwaffe auszurüsten, als den schwächer gepanzerten, kleineren mittleren Panzer. Als Ersatz für die 85 mm Kanone D-5T Modell 1943 L/51,5 stand zu einen die neue 100 mm KwK D-10T (BS-3) zur Verfügung (Variante IS-100). Die Alternative dazu war die 122 mm Panzerkanone D-25T Modell 1943 L/43, die auf dem Marinegeschütz A-19 beruhte. Obwohl die D-10T auf 1.000 m 185 mm Panzerstahl durchschlagen konnte und die 122 mm Kanone nur 160 mm, entschied man sich für die D-25T. Die Gründe lagen vor allem in der Tatsache, dass für die 122 mm Kanone genug Munition vorhanden war und das Geschütz selbst auch in großen Stückzahlen produziert werden konnte. Darüber hinaus ließen sich mit der D-25T Sprenggranaten verschießen, die durch ihre Kraft feindlichen Panzern den Turm abreißen konnten. Der Panzer mit der 122 mm Kanone und dem entsprechend modifizierten Turm wurde unter dem Namen IS-122 entwickelt und ging Ende Oktober 1943 als IS-2 in die Produktion. Bereits bis zum Jahresende wurden über 100 Stück gefertigt und die ersten Exemplare erschienen Anfang 1944 auf dem Schlachtfeld. Die geplante Ausbringung von monatlich 250 Panzern des Typs IS-2 wurde im August 1944 erreicht. Seinen ersten Einsatz hatte der IS-2 bei der Schlacht um Korsun-Schewtschenkowski im Februar 1944.
Der IS-2 war ein massives Fahrzeug, dessen Größe durch das lange Kanonenrohr noch unterstrichen wurde. Doch trotz dieser Ausmaße hatte er eine gute Geländegängigkeit und war sehr beweglich. Durch die dicke Panzerung und die abgeschrägte Form von Turm und Rumpf war der IS-2 mehr als reichlich gepanzert, aber die Panzerbesatzungen legten noch größeren Wert auf die panzerbrechende Wirkung der 122 mm Kanone, mit der sie dem Tiger I überlegen waren und auch dem Königstiger gefährlich werden konnten. Bereits im Jahr 1944 wurden über 2.200 IS-2 gebaut und der schwere Panzer blieb bis Kriegsende in der Produktion und im Einsatz. Neben den vielen positiven Eigenschaften hatte der IS-2 auch drei große Schwachstellen. Zum einen hatte die 122 mm Kanone eine sehr geringe Feuergeschwindigkeit. Dies beruhte sowohl auf der, trotz einer Besatzung von nur vier Mann (Kommandant, Richt- und Ladeschütze im Kampfraum, Fahrer in der Wannenfront), herrschenden Enge in dem kompakt gebauten Turm als auch in der Tatsache, dass die Granaten und Kartuschen für die Kanone getrennt gelagert wurden. Außerdem konnten wegen dem Platzmangel nur 28 Schuss an Munition mitgeführt werden. Der dritte Schwachpunkt des IS-2, sozusagen seine Achillesferse, war die unzureichend gepanzerte Fahrersichtblende. Deutsche Panzer- und Pakmannschaften wurden deshalb angewiesen mit der PzGr 40 (Hochgeschwindigkeitsgeschoss mit Kern aus Wolfram oder anderem hochdichten Metall bzw. hochdichter Legierung) auf diese Luke zu schießen. Viele IS-1 und IS-2 konnten so außer Gefecht gesetzt werden. Aus diesem Grund wurde die Wannenform geändert und anstatt der Blende ein Winkelspiegel eingebaut. Der modifizierte Kampfwagen erhielt die Bezeichnung IS-2 Modell 1944 und wurde ab Sommer 1944 produziert. Weitere Modernisierungen erfolgten nach dem Krieg, indem man u.a. eine Feuerlöschanlage, Nachtsichtgeräte und so genannte Bordbunker für Ersatzteile, Werkzeuge, usw. anbrachte. Der Kampfsatz wurde ebenfalls um sieben Granaten erhöht. Die Hauptänderungen betrafen jedoch die Überarbeitung der Wannenform hin zum IS-2M.