卡波涅痛哭改编自梶山季之同名小说中的卡彭大声哭与罗斯福大声笑两篇短篇小说。故事发生在美国禁酒法时期，阿尔卡彭是崛起于芝加哥的黑手党首领。当时的芝加哥、旧金山等地聚集着大量中国和日本劳工，随着势力不断壮大，他们逐渐形成各自的帮派，并划分出不同的势力范围。
日本戏班成员顺之助一心想成为浪花曲演员，于是拜入桃中轩云右卫门门下。经人介绍，他结识了艺伎小染。小染因背叛丈夫、与人出轨，被丈夫在后背刺上了可怕的章鱼纹身。她答应替顺之助引荐桃中轩门下的牛右卫门，但条件是顺之助必须成为自己的情人。后来，在牛右卫门的建议下，顺之助远渡美国；为了躲避即将出狱的凶恶丈夫，小染也以曲师身份与他同行。
抵达美国后，两人才发现自己受了中间人的欺骗。小染因沉迷赌博沦为妓女，顺之助则落魄到以乞讨为生。美国各方势力中，枪铁是一个颇具传奇色彩的人物。他出身马戏团，吉田老大遭枪杀后接管了日本人的帮派，手下经营着赌场、妓院、饭馆和酒吧等多种产业。成为首领后，枪铁让小染负责妓院，并带顺之助进入高级夜总会，使他见识美国的歌舞表演，也让他结识了莉莉安。
然而，顺之助始终没有放弃发展自己的浪花曲，一直梦想着有朝一日能让总统听到自己的演唱。与此同时，旧金山成为一座充斥着暴力与欲望的城市。阿尔卡彭派弟弟弗兰克·卡彭前来，企图独占私酒资源，而枪铁经营的正宗Cisio威士忌也因此成了卡彭兄弟的眼中钉。枪铁、顺之助和小染由此被卷入与卡彭势力的对抗之中。最终，小染死于车祸，枪铁因食用河豚中毒身亡，顺之助则拜托莉莉安帮助自己剖腹自尽，结束了生命。
