عوامل زیادی را می‌توان باعث تبعید و زندانی شدن امام موسی بن جعفر(علیهماالسلام) دانست که شاید اصلی‌ترین علت را بتوان مبارزات ایشان با دستگاه خلافت عباسی و عدم انقیاد در مقابل این دستگاه ظالم دانست که ریشه‌ی این اقدامات امام، اعتقاد ایشان به عدم مشروعیت عباسیان در خلافت بود. عباسیان که با داعیه‌ی بازپس‌گیری خلافت از دست غاصبان اموی و بازگرداندن آن به اهل بیت(علیهم‌السلام) به روی کار آمدند، همان رویه‌ی امویان در غصب خلافت و قلع و قمع کردن سادات و شیعیان را در پیش گرفتند و جنایاتی را رقم زدند که کمتر از جنایات امویان نبود.امام موسی بن جعفر(علیهماالسلام) که مانند اجداد طاهرینش حکومت و امامت امت اسلام را حق خویش می‌دانست، کوچک‌ترین کرنشی در برابر این ظالمان سفّاک از خود نشان نداد، به همین خاطر مورد خشم و غضب حاکمان عباسی قرار گرفت و سالیان متمادی در زندان‌های مختلف محبوس گردید.
امام خمینی (قدس‌سره) در بخشی از کتاب ولایت فقیه درباره علت اصلی زندانی شدن امام کاظم (علیه‌السلام) می‌نویسند: «این‌که می‌بینید هارون، حضرت موسی بن جعفر(علیهماالسلام) را می‌گیرد و چندین سال حبس می‌کند، یا مامون حضرت رضا(علیه‌السلام) را به مرو میبرد و تحت‌الحفظ نگه می‌دارد و سرانجام مسموم می‌کند، نه از این جهت است که سید و اولاد پیغمبرند و این‌ها با پیغمبر(صلی‌الله‌علیه‌وآله) مخالفند؛ هارون و مامون هر دو شیعی بودند، بلکه از باب «الملک عقیم» است و این‌ها می‌دانستند که اولاد علی(علیه‌السلام) داعیه خلافت داشته بر تشکیل حکومت اسلامی اصرار دارند و خلافت و حکومت را وظیفه خود می‌دانند. چنانچه آن روز که به امام(علیه‌السلام) پیشنهاد شد حدود «فدک» را تعیین فرماید تا آن را به ایشان برگردانند، طبق روایت، حضرت حدود کشور اسلامی را تعیین فرمود. یعنی، تا این حد حق ماست و ما باید بر آن حکومت داشته باشیم و شما غاصبید. حکام جائر می‌دیدند که اگر امام موسی بن جعفر(علیهماالسلام) آزاد باشد، زندگی را بر آن‌ها حرام خواهد کرد؛ و ممکن است زمینه‌ای فراهم شود که حضرت قیام کند و سلطنت را براندازد. از این جهت مهلت ندادند، اگر مهلت داده بودند، بدون تردید حضرت قیام می‌کرد. شما در این شکی نداشته باشید که اگر فرصتی برای موسی بن جعفر(علیهماالسلام) پیش می‌آمد، قیام می‌کرد و اساس دستگاه سلاطین غاصب را واژگون می‌ساخت.
این قضیه که امام خمینی(رحمه‌الله) اشاره فرمودند، در کتاب مناقب ابن شهرآشوب نقل شده است. پیشنهاد دهنده خود هارون الرشید بود و بعد از این جریان بود که تصمیم بر حذف فیزیکی امام گرفت.
البته سعایت و بدگویی دشمنان هم در این حادثه بی‌تاثیر نبوده است. همواره افرادی بوده‌اند که به خاطر رسیدن به مطامع دنیایی خود و جلب توجه سلاطین، از انسان‌های بزرگ بدگویی کرده‌اند. هارون الرشید وقتی که در بغداد بود، توسط این افراد از اقدامات امام در مدینه مطلّع شد و در سفری که برای حجّ به حجاز آمد، امام (علیه‌السلام) را همراه خود به عراق آورد.
از جمه افرادی که به عنوان سعایت‌گر حضرت موسی بن جعفر(علیهماالسلام) در کتاب کافی معرفی شده‌اند، شخصی است به نام «محمد بن اسماعیل»؛ این شخص نوه‌ی امام صادق(علیه‌السلام) و برادرزاده امام کاظم(علیه‌السّلام) است، وی به عنوان امام هفتم اسماعیلیه مشهور است، در کتاب کافی از علی بن جعفر(برادر امام) نقل شده: «برای عمره رجبیه به مکه رفته بودم، محمد بن اسماعیل نزد من آمد و گفت: عمو جان! می‌خواهم به بغداد بروم و دوست دارم که با عمویم ابو الحسن – موسى بن جعفر(علیهماالسلام)- خداحافظى کنم، دلم می‌خواهد تو نیز همراه من باشى، من با او به طرف برادرم بود رهسپار شدیم. اندکى از مغرب گذشته بود، من در زدم، برادرم جواب داد و در را باز کرد و فرمود: این کیست؟ گفتم: على است… آمد و در آستانه در نشست، خم شدم و سرش را بوسیدم و گفتم: من براى کارى آمدهام که اگر تصویب فرمائى از توفیق خداست و اگر غیر از آن باشد، ما خطاى بسیار داریم، فرمود: چه کار است؟ گفتم: این برادرزاده شماست که می‌خواهد با شما خداحافظى کند و به بغداد برود. فرمود: بگو بیاید. من او را که در کنارى ایستاده بود صدا زدم. او نزدیک آمد و سر حضرت را بوسید و گفت: قربانت. مرا سفارشى کن (پند و موعظه بفرما). فرمود: سفارش می‌کنم که درباره خون من از خدا بترسى. او پاسخ داد: هر که در باره تو بدى خواهد خدا بخودش رساند، و به بدخواه او نفرین می‌کرد. تا سه بار همین درخواست را از امام کرد و امام همین را گفت!
سپس امام فرمود: على! اینجا باش. من ایستادم. حضرت به اندرون رفت و مرا صدا زد، من نزدش رفتم، کیسهاى که صد دینار داشت برداشت و به من داد و فرمود: به پسر برادرت بگو این پول را در سفر کمک خرجش سازد. من آن را گرفتم و در حاشیه عبایم گذاشتم. باز صد دینار دیگر به من داد و فرمود: این را هم به او بده، سپس کیسه دیگرى داد و فرمود: این را هم به او بده.
من گفتم: قربانت، اگر بدان چه فرمودى، از او مىترسى، چرا او را علیه خود کمک می‌کنى؟ فرمود: هر گاه من به او بپیوندم و او از من ببُرد، خدا عمرش را قطع مىکند. سپس یک مخده چرمى که سه هزار درهم خالص داشت گرفت و فرمود: این را هم به او بده.
من نزد محمد رفتم و صد دینار اول را به او دادم. بسیار خوشحال شد و عمویش را دعا کرد. سپس کیسه دوم و سوم را دادم. چنان خوشحالى کرد که من گمان کردم باز می‌گردد و به بغداد نمی‌رود. سه هزار درهم را هم به او دادم. ولى او راه خود پیش گرفت و نزد هارون رفت و به عنوان خلافت با او بیعت کرد و گفت: من گمان نمی‌کردم که در روى زمین دو خلیفه باشد، تا آنکه دیدم مردم با عمویم موسى بن جعفر، بیعت مىکنند. هارون صد هزار درهم برایش فرستاد، ولى خدا او را به بیمارى ذبحه(خنازیر و خناق) مبتلا کرد که نتوانست حتی به یک درهمش نگاه کند
