IBM的歷史可以追溯到電子計算機發展前的幾十年，在電子計算機發展之前，它經營穿孔卡片資料處理裝置。IBM於1911年6月15日在賓厄姆頓西幾英里處的紐約恩迪科特作為CTR公司註冊。三個獨立公司合併建立了CTR公司，它們是：列表機公司(1896年創立於華盛頓)、計算表公司(1901年創建於俄亥俄州代頓)和國際時代唱片公司(1900年創辦於紐約州恩迪科特)。那時列表機公司的總裁也即創辦人是Herman Hollerith。合併背後的關鍵人物是金融家Charles Flint，他召集三家公司的創始人提出兼併並在CTR中任職直到1930年退休。
Thomas J. Watson是IBM的創始人，1914年擔任CTR總經理，1915年擔任總裁. 1917年，CTR以國際商用機器有限公司進入加拿大市場，1924年2月14改名為國際商業機器公司(IBM)。
公司合併成CTR製造各種產品，包括員工計時系統、磅秤、自動切肉機，而且最重要的是發展計算機、穿孔卡片裝置.一段時間CTR集中精力專做穿孔卡片，不再參與其他活動。
IBM在1932年投入巨資100萬美元建設第一個企業實驗室，這個實驗室在整個30年代的研發讓IBM在技術產品上獲得領先。在整個經濟大蕭條期間，IBM一直在研發和新產品上投資，它的產品比所有其他公司都更好、更快、更可靠，它因此贏得了獨家代理羅斯福新政會計專案的`合同。1935年時IBM的卡片統計機產品已經佔領美國市場的85.7%，IBM公司因卡片機的大量銷售而積累雄厚的財力和強大的銷售服務能力，為以後成為計算機領域的主宰奠定了重要的基礎。
IBM與中國的緣分源遠流長。早在1934年，IBM 公司就為北京協和醫院安裝了第一臺商用處理機。1936年，IBM在遠東地區的第一個辦公室就設立在上海，為其在中國乃至整個東亞地區佈局發展奠定了基礎。1937年，中國第一個越洋電話就從IBM上海辦公室撥出，從此開闢了中國與世界連線的新途徑。