Die ICJ wurde im Jahre 1952 auf einer Konferenz in Berlin gegründet, die sich mit Menschenrechtsverletzungen in Osteuropa befasste. Die Kongressteilnehmer entschieden, dass eine ständige Kommission gebildet werden sollte mit dem Ziel, dem Rechtsstaatsprinzip weltweit Geltung zu verschaffen. Der erste große Kongress der ICJ in Athen beschloss, dass sich die ICJ mit Rechtsverletzungen in allen politischen Systemen auseinandersetzen solle.
Die ICJ organisierte eine Reihe von bedeutenden Kongressen und Tagungen überall in der Welt, besonders in der sog. Dritten Welt, z.B. in Neu Delhi, Lagos und Rio de Janeiro. Diese Tagungen und Konferenzen hatten eine beträchtliche Wirkung. Die genaue Bedeutung des Rechtsstaatsprinzips und seiner Anwendung auf den verschiedenen Rechtsgebieten, insbesondere für das Verfassungsrecht, wurde in den Tagungsergebnissen ausformuliert. Damit hatte die ICJ auch eine große Ausstrahlung auf die Rechtsentwicklung in der sog. Dritten Welt.
Im Jahre 1980 wurde der ICJ der Menschenrechtspreis des Europarates verliehen.
Das Generalsekretariat der ICJ befindet sich in Genf. Dort wird außer der allgemeinen Förderung des Rechtsstaatsprinzips einzelfallbezogene Arbeit geleistet. Dasselbe gilt für die ungefähr 50 selbständigen nationalen Sektionen der Internationalen Juristen-Kommission.