Alexander Hamilton pomógł założyć pierwotny Bank of New York w 1784 r., chociaż formalny statut uzyskano dopiero w 1791 r. Odegrał kluczową rolę we wczesnym amerykańskim systemie finansowym, zabezpieczając pierwszą pożyczkę kiedykolwiek otrzymaną przez rząd Stanów Zjednoczonych. Oprócz tego historycznego pierwszego kroku instytucja zapewniła kluczowe fundusze na projekty infrastrukturalne, takie jak kanał Erie i system metra w Nowym Jorku.
W latach dwudziestych bank rozpoczął serię fuzji. Ta agresywna konsolidacja trwała do lat sześćdziesiątych XX wieku. W 1968 roku podmioty te połączono w ramach nowej struktury korporacyjnej. Bank of New York, Inc. został zarejestrowany jako spółka holdingowa dla swoich powiększonych spółek zależnych. W następnym roku holding przyjął nazwę, którą zachowuje do dziś.
Wzrost nie uległ spowolnieniu. Spółka przejęła liczne firmy z zakresu bankowości, finansów i inwestycji. Chociaż większość tych przejęć miała miejsce w stanie Nowy Jork, niektóre rozszerzyły się poza Stany Zjednoczone na rynki międzynarodowe. Ważnym kamieniem milowym było przejęcie Irving Bank Corporation w 1988 roku. Założony w 1851 roku Irving Bank był gigantem sam w sobie, a jego przejęcie znacznie wzmocniło pozycję spółki-matki.
„Bank zamienił swoją działalność w zakresie bankowości detalicznej i średniej wielkości na działalność powierniczą JPMorgan Chase.”
Obecnie organizacja zarządza operacjami bankowości komercyjnej. Świadczy także usługi w zakresie zarządzania zaufaniem i inwestycji. Usługi te kierowane są do określonej grupy klientów: banków, dużych korporacji, inwestorów instytucjonalnych oraz zamożnych osób fizycznych.
W 2006 roku nastąpiła istotna zmiana strategiczna. Bank of New York zawarł umowę z JPMorgan Chase. Zamienili swoją działalność w zakresie bankowości detalicznej i średniej wielkości na działalność powierniczą JPMorgan. Posunięcie to pozwoliło firmie skoncentrować swoje zasoby na przetwarzaniu papierów wartościowych i zarządzaniu aktywami.
W tym samym roku firma zgodziła się przejąć Mellon Financial Corporation. To przejęcie z siedzibą w Pittsburghu zdywersyfikowało ofertę usług i wzmocniło jej miejsce w krajobrazie finansowym. Firma przez dziesięciolecia ewoluowała od podstawowego amerykańskiego banku do złożonej struktury skupiającej się na przetwarzaniu i zarządzaniu, a nie na tradycyjnym udzielaniu kredytów detalicznych.
