本文轉載自微信公眾號「蘇三說(shuō)技術(shù)」,作者因為熱愛(ài)所以堅持ing。轉載本文請聯(lián)系蘇三說(shuō)技術(shù)公眾號。
前言
最近有個(gè)網(wǎng)友問(wèn)了我一個(gè)問(wèn)題:系統中大事務(wù)問(wèn)題要如何處理?
正好前段時(shí)間我在公司處理過(guò)這個(gè)問(wèn)題,我們當時(shí)由于項目初期時(shí)間比較緊張,為了快速完成業(yè)務(wù)功能,忽略了系統部分性能問(wèn)題。項目順利上線(xiàn)后,專(zhuān)門(mén)抽了一個(gè)迭代的時(shí)間去解決大事務(wù)問(wèn)題,目前已經(jīng)優(yōu)化完成,并且順利上線(xiàn)?,F給大家總結了一下,我們當時(shí)使用的一些解決辦法,以便大家被相同問(wèn)題困擾時(shí),可以參考一下。
大事務(wù)引發(fā)的問(wèn)題
在分享解決辦法之前,先看看系統中如果出現大事務(wù)可能會(huì )引發(fā)哪些問(wèn)題
從上圖可以看出如果系統中出現大事務(wù)時(shí),問(wèn)題還不小,所以我們在實(shí)際項目開(kāi)發(fā)中應該盡量避免大事務(wù)的情況。如果我們已有系統中存在大事務(wù)問(wèn)題,該如何解決呢?
解決辦法
少用@Transactional注解
大家在實(shí)際項目開(kāi)發(fā)中,我們在業(yè)務(wù)方法加上@Transactional注解開(kāi)啟事務(wù)功能,這是非常普遍的做法,它被稱(chēng)為聲明式事務(wù)。
部分代碼如下:
@Transactional(rollbackFor=Exception.class)
public void save(User user) {
doSameThing...
}
然而,我要說(shuō)的第一條是:少用@Transactional注解。
為什么?
我們知道@Transactional注解是通過(guò)spring的aop起作用的,但是如果使用不當,事務(wù)功能可能會(huì )失效。如果恰巧你經(jīng)驗不足,這種問(wèn)題不太好排查。至于事務(wù)哪些情況下會(huì )失效,可以參考我之前寫(xiě)的《spring事務(wù)的這10種坑,你稍不注意可能就會(huì )踩中!!!》這篇文章。
@Transactional注解一般加在某個(gè)業(yè)務(wù)方法上,會(huì )導致整個(gè)業(yè)務(wù)方法都在同一個(gè)事務(wù)中,粒度太粗,不好控制事務(wù)范圍,是出現大事務(wù)問(wèn)題的最常見(jiàn)的原因。
那我們該怎么辦呢?
可以使用編程式事務(wù),在spring項目中使用TransactionTemplate類(lèi)的對象,手動(dòng)執行事務(wù)。
部分代碼如下:
@Autowired
private TransactionTemplate transactionTemplate;
...
public void save(final User user) {
transactionTemplate.execute((status) => {
doSameThing...
return Boolean.TRUE;
})
}
從上面的代碼中可以看出,使用TransactionTemplate的編程式事務(wù)功能自己靈活控制事務(wù)的范圍,是避免大事務(wù)問(wèn)題的首選辦法。
當然,我說(shuō)少使用@Transactional注解開(kāi)啟事務(wù),并不是說(shuō)一定不能用它,如果項目中有些業(yè)務(wù)邏輯比較簡(jiǎn)單,而且不經(jīng)常變動(dòng),使用@Transactional注解開(kāi)啟事務(wù)開(kāi)啟事務(wù)也無(wú)妨,因為它更簡(jiǎn)單,開(kāi)發(fā)效率更高,但是千萬(wàn)要小心事務(wù)失效的問(wèn)題。
將查詢(xún)(select)方法放到事務(wù)外
如果出現大事務(wù),可以將查詢(xún)(select)方法放到事務(wù)外,也是比較常用的做法,因為一般情況下這類(lèi)方法是不需要事務(wù)的。
比如出現如下代碼:
@Transactional(rollbackFor=Exception.class)
public void save(User user) {
queryData1();
queryData2();
addData1();
updateData2();
}
可以將queryData1和queryData2兩個(gè)查詢(xún)方法放在事務(wù)外執行,將真正需要事務(wù)執行的代碼才放到事務(wù)中,比如:addData1和updateData2方法,這樣就能有效的減少事務(wù)的粒度。
如果使用TransactionTemplate的編程式事務(wù)這里就非常好修改。
@Autowired
private TransactionTemplate transactionTemplate;
...
public void save(final User user) {
queryData1();
queryData2();
transactionTemplate.execute((status) => {
addData1();
updateData2();
return Boolean.TRUE;
})
}
但是如果你實(shí)在還是想用@Transactional注解,該怎么拆分呢?
public void save(User user) {
queryData1();
queryData2();
doSave();
}
@Transactional(rollbackFor=Exception.class)
public void doSave(User user) {
addData1();
updateData2();
}
這個(gè)例子是非常經(jīng)典的錯誤,這種直接方法調用的做法事務(wù)不會(huì )生效,給正在坑中的朋友提個(gè)醒。因為@Transactional注解的聲明式事務(wù)是通過(guò)spring aop起作用的,而spring aop需要生成代理對象,直接方法調用使用的還是原始對象,所以事務(wù)不會(huì )生效。
有沒(méi)有辦法解決這個(gè)問(wèn)題呢?
1.新加一個(gè)Service方法
這個(gè)方法非常簡(jiǎn)單,只需要新加一個(gè)Service方法,把@Transactional注解加到新Service方法上,把需要事務(wù)執行的代碼移到新方法中。具體代碼如下:
@Servcie
public class ServiceA {
@Autowired
prvate ServiceB serviceB;
public void save(User user) {
queryData1();
queryData2();
serviceB.doSave(user);
}
}
@Servcie
public class ServiceB {
@Transactional(rollbackFor=Exception.class)
public void doSave(User user) {
addData1();
updateData2();
}
}
2.在該Service類(lèi)中注入自己
如果不想再新加一個(gè)Service類(lèi),在該Service類(lèi)中注入自己也是一種選擇。具體代碼如下:
@Servcie
public class ServiceA {
@Autowired
prvate ServiceA serviceA;
public void save(User user) {
queryData1();
queryData2();
serviceA.doSave(user);
}
@Transactional(rollbackFor=Exception.class)
public void doSave(User user) {
addData1();
updateData2();
}
}
可能有些人可能會(huì )有這樣的疑問(wèn):這種做法會(huì )不會(huì )出現循環(huán)依賴(lài)問(wèn)題?
其實(shí)spring ioc內部的三級緩存保證了它,不會(huì )出現循環(huán)依賴(lài)問(wèn)題。如果你想進(jìn)一步了解循環(huán)依賴(lài)問(wèn)題,可以看看我之前文章《spring解決循環(huán)依賴(lài)為什么要用三級緩存?》。
3.在該Service類(lèi)中使用AopContext.currentProxy()獲取代理對象
上面的方法2確實(shí)可以解決問(wèn)題,但是代碼看起來(lái)并不直觀(guān),還可以通過(guò)在該Service類(lèi)中使用AOPProxy獲取代理對象,實(shí)現相同的功能。具體代碼如下:
@Servcie
public class ServiceA {
public void save(User user) {
queryData1();
queryData2();
((ServiceA)AopContext.currentProxy()).doSave(user);
}
@Transactional(rollbackFor=Exception.class)
public void doSave(User user) {
addData1();
updateData2();
}
}
事務(wù)中避免遠程調用
我們在接口中調用其他系統的接口是不能避免的,由于網(wǎng)絡(luò )不穩定,這種遠程調的響應時(shí)間可能比較長(cháng),如果遠程調用的代碼放在某個(gè)事物中,這個(gè)事物就可能是大事務(wù)。當然,遠程調用不僅僅是指調用接口,還有包括:發(fā)MQ消息,或者連接redis、mongodb保存數據等。
@Transactional(rollbackFor=Exception.class)
public void save(User user) {
callRemoteApi();
addData1();
}
遠程調用的代碼可能耗時(shí)較長(cháng),切記一定要放在事務(wù)之外。
@Autowired
private TransactionTemplate transactionTemplate;
...
public void save(final User user) {
callRemoteApi();
transactionTemplate.execute((status) => {
addData1();
return Boolean.TRUE;
})
}
有些朋友可能會(huì )問(wèn),遠程調用的代碼不放在事務(wù)中如何保證數據一致性呢?這就需要建立:重試+補償機制,達到數據最終一致性了。
事務(wù)中避免一次性處理太多數據
如果一個(gè)事務(wù)中需要處理的數據太多,也會(huì )造成大事務(wù)問(wèn)題。比如為了操作方便,你可能會(huì )一次批量更新1000條數據,這樣會(huì )導致大量數據鎖等待,特別在高并發(fā)的系統中問(wèn)題尤為明顯。
解決辦法是分頁(yè)處理,1000條數據,分50頁(yè),一次只處理20條數據,這樣可以大大減少大事務(wù)的出現。
非事務(wù)執行
在使用事務(wù)之前,我們都應該思考一下,是不是所有的數據庫操作都需要在事務(wù)中執行?
@Autowired
private TransactionTemplate transactionTemplate;
...
public void save(final User user) {
transactionTemplate.execute((status) => {
addData();
addLog();
updateCount();
return Boolean.TRUE;
})
}
上面的例子中,其實(shí)addLog增加操作日志方法 和 updateCount更新統計數量方法,是可以不在事務(wù)中執行的,因為操作日志和統計數量這種業(yè)務(wù)允許少量數據不一致的情況。
@Autowired
private TransactionTemplate transactionTemplate;
...
public void save(final User user) {
transactionTemplate.execute((status) => {
addData();
return Boolean.TRUE;
})
addLog();
updateCount();
}
當然大事務(wù)中要鑒別出哪些方法可以非事務(wù)執行,其實(shí)沒(méi)那么容易,需要對整個(gè)業(yè)務(wù)梳理一遍,才能找出最合理的答案。
異步處理
還有一點(diǎn)也非常重要,是不是事務(wù)中的所有方法都需要同步執行?我們都知道,方法同步執行需要等待方法返回,如果一個(gè)事務(wù)中同步執行的方法太多了,勢必會(huì )造成等待時(shí)間過(guò)長(cháng),出現大事務(wù)問(wèn)題。
看看下面這個(gè)列子:
@Autowired
private TransactionTemplate transactionTemplate;
...
public void save(final User user) {
transactionTemplate.execute((status) => {
order();
delivery();
return Boolean.TRUE;
})
}
order方法用于下單,delivery方法用于發(fā)貨,是不是下單后就一定要馬上發(fā)貨呢?
答案是否定的。
這里發(fā)貨功能其實(shí)可以走mq異步處理邏輯。
@Autowired
private TransactionTemplate transactionTemplate;
...
public void save(final User user) {
transactionTemplate.execute((status) => {
order();
return Boolean.TRUE;
})
sendMq();
}
總結
本人從網(wǎng)友的一個(gè)問(wèn)題出發(fā),結合自己實(shí)際的工作經(jīng)驗分享了處理大事務(wù)的6種辦法:
少用@Transactional注解
將查詢(xún)(select)方法放到事務(wù)外
事務(wù)中避免遠程調用
事務(wù)中避免一次性處理太多數據
非事務(wù)執行
異步處理