同文馆设立之初，只是单纯学习英、法、俄三国外语的学校。但随着自强运动的推进，恭亲王、文祥、曾国藩、李鸿章等人开始觉察到，若要切实做到“师夷长技”，造出洋枪洋炮，就必须去学习制造原理，而要学习制造原理，则中国以经史教育为主体的传统教育显然已无法满足人才的需要。
当时著名的洋务思想家冯桂芬即认为：“一切西学皆从算学出”。这种观点之后看来不尽准确，但却道出了要害——要学习西方科学技术，则必须先培养具备算学、物理、化学等自然学科基本常识的知识分子，仅仅学习外语是远远不够的。
在这么样一种背景下，恭亲王与曾国藩、李鸿章、左宗棠等人在1866年年末正式奏请朝廷在京师同文馆内添设天文算学馆，理由很明确——“洋人制造机器火器等件，以及行船行军，无一不自天文算学中来”。
应该说，恭亲王文祥等人对此举可能遭致的阻力，事先已有一定的心理准备。在奏章里，恭亲王提前给朝廷打了一剂预防针：“论者不察，必有以臣等此举为不急之务者，必有以舍中法而从西人为非者，甚且有以中国之人师法西人为深可耻者，此皆不识时务也。夫中国之宜谋自强，至今日而已亟矣，识时务者莫不以采西学、制洋器为自强之道。”
奏请得到了慈禧所控制的清廷最高领导层的认可。在天文算术馆顺利进入筹备阶段的同时，一股抵制、反对的暗流也正在悄然汇聚。1867年3月5日监察御史张盛藻的一纸奏折，终于引爆了这场大论争。
张盛藻在奏折里指责说：朝廷令科甲出身的“正途人”去学习这些机巧之事，而且还用升官、银两赏赐来诱惑，是重名利、轻气节！这样搞，会把“读孔孟之书，学尧舜之道”的“正途人”引向歧途。
在恭亲王等人的操作下，张盛藻的奏折被皇帝谕旨严厉驳回。谕旨里说。天文算学是儒者应当学习的知识，不可视为“机巧”！
看到张盛藻被洋务派一棍子打了下去，当时的晚清士林领袖、大学士倭仁迫不及待的亲自登场，与恭亲王展开了两个回合的激烈论战。
倭仁是著名的理学家，在当时的士大夫当中享有崇高的威望。同治初年，倭仁与李棠阶、吴廷栋合称“海内三大贤”，同文馆之争发生时，李棠阶已经去世，吴廷栋已经告老还乡，倭仁身为帝师。独立京城，身份地位也就更显尊崇。3月20日，倭仁上奏，直言反对科举出身的士子师从“夷人”，认为这样会“动摇国本”，终至“变夏于夷”，天朝辉煌的文化道统会被粗陋的蛮夷之学所取代，有“亡国之虞”！
这一次，朝廷便不能像对待张盛藻那样。对倭仁斥退了事。因为倭仁的影响力不可忽视，上奏当天，两宫皇太后就立即召见了倭仁，但这次谈话相当的不愉快。没有能够达成共识。因为倭仁提出来的这个“夷夏之变”的题目实在太大。随后，问题被抛给恭亲王和总理衙门。
总理衙门对倭仁的这次进攻显然4月6日，总理衙门拿出了一个极长的奏折，重申了开设天文算学馆的重要性以及招收科甲士子进天文算学馆入学的必要性。奏折里最关键的技术处理。是对倭仁一再强调的“变夏于夷”避而不谈，而是大谈特谈危机之深和“自强”的紧迫。为了给倭仁造成压力，同时还附上了曾国藩、左宗棠、李鸿章等一大批洋务大臣的奏稿信件。最后。恭亲王还将了倭仁一军：该大学士既然认为我们此举不可行，会亡国，想来肯定别有强国良策。如果该大学士确实另有良策，可以压制外国而使本国不受欺侮，则臣等自当追随该大学士，竭力效劳，悉心商办。如果没有其他良策，仅仅大谈特谈忠义、礼仪，认为这些可以制服洋人，臣等实在不敢相信。
4月12日，倭仁再次上奏，不但坚持己见，而且反将了恭亲王等人一军。倭仁说：“具体到让夷人来教授算术这件事情，如果该王大臣确实有把握，认为必能将算术学精通，必能将精巧的机器造出来，中国的正经读书人必不至于被夷人所利用；夷人丑类必能被中国所歼灭，则上报君王，下伸民愤，岂不善哉！若做不到这些，却先丧失了人心道德，那就不如不开设天文算术馆。”
倭仁这一挤兑确实触到了恭亲王的软肋。4月23日，恭亲王上奏承认自己不能做上述保证。恭亲王说：“像倭仁所说的那种把握，臣等不敢保证。臣等只能尽力尽心去做应当办的事、能够办的事，至于成败利钝，即便是汉臣诸葛亮，也无法预料，何况臣等！”
但作为反击，恭亲王又抓住了倭仁上次奏折里的一个弱点集中攻击。恭亲王说：“上次该大学士说，天下之大，不患无才，要学算术，也不必师从夷人。那么该大学士肯定能够保荐数名人才，臣请择地另设一算术馆，由倭仁负责揽师招生教授，以观其成效。”
倭仁这下确实被难住了。4月25日，他不得不据实上奏，称“并无精于天文算学之人，不敢妄保”。但朝廷却显然有些不依不饶，下旨要求他随时随地留心访查，一旦找到本国精于算术之人，立刻保奏，开设算术馆，以收实效。同一天，朝廷还给了倭仁一项新工作：在总理各国事务衙门行走。“行走”是个闲官，但倭仁素来高倡“夷夏之防”，朝廷令他去专门办理夷务的总理衙门“行走”，显然是有意折辱这位士林领袖。最后，