來(lái)源丨JAVA葵花寶典
知識(shí)這個(gè)東西,看來(lái)真的要溫故而知新,一直不用,都要忘記了
業(yè)務(wù)很簡(jiǎn)單:需要批量插入一些數(shù)據(jù),數(shù)據(jù)來(lái)源可能是其他數(shù)據(jù)庫(kù)的表,也可能是一個(gè)外部excel的導(dǎo)入
那么問題來(lái)了,是不是每次插入之前都要查一遍,看看重不重復(fù),在代碼里篩選一下數(shù)據(jù),重復(fù)的就過濾掉呢?
向大數(shù)據(jù)數(shù)據(jù)庫(kù)中插入值時(shí),還要判斷插入是否重復(fù),然后插入。如何提高效率
看來(lái)這個(gè)問題不止我一個(gè)人苦惱過。
解決的辦法有很多種,不同的場(chǎng)景解決方案也不一樣,數(shù)據(jù)量很小的情況下,怎么搞都行,但是數(shù)據(jù)量很大的時(shí)候,這就不是一個(gè)簡(jiǎn)單的問題了。
幾百萬(wàn)的數(shù)據(jù),不可能查出來(lái),做去重處理
說(shuō)一下我Google到的解決方案
1、insert ignore into
當(dāng)插入數(shù)據(jù)時(shí),如出現(xiàn)錯(cuò)誤時(shí),如重復(fù)數(shù)據(jù),將不返回錯(cuò)誤,只以警告形式返回。所以使用ignore請(qǐng)確保語(yǔ)句本身沒有問題,否則也會(huì)被忽略掉。例如:
INSERT IGNORE INTO user (name) VALUES (‘telami’)
這種方法很簡(jiǎn)便,但是有一種可能,就是插入不是因?yàn)橹貜?fù)數(shù)據(jù)報(bào)錯(cuò),而是因?yàn)槠渌驁?bào)錯(cuò)的,也同樣被忽略了~
2、on duplicate key update
當(dāng)primary或者unique重復(fù)時(shí),則執(zhí)行update語(yǔ)句,如update后為無(wú)用語(yǔ)句,如id=id,則同1功能相同,但錯(cuò)誤不會(huì)被忽略掉。
例如,為了實(shí)現(xiàn)name重復(fù)的數(shù)據(jù)插入不報(bào)錯(cuò),可使用一下語(yǔ)句:
INSERT INTO user (name) VALUES (‘telami’) ON duplicate KEY UPDATE id = id
這種方法有個(gè)前提條件,就是,需要插入的約束,需要是主鍵或者唯一約束(在你的業(yè)務(wù)中那個(gè)要作為唯一的判斷就將那個(gè)字段設(shè)置為唯一約束也就是unique key)。
3、insert … select … where not exist
根據(jù)select的條件判斷是否插入,可以不光通過primary 和unique來(lái)判斷,也可通過其它條件。例如:
INSERT INTO user (name) SELECT ‘telami’ FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)
這種方法其實(shí)就是使用了mysql的一個(gè)臨時(shí)表的方式,但是里面使用到了子查詢,效率也會(huì)有一點(diǎn)點(diǎn)影響,如果能使用上面的就不使用這個(gè)。
4、replace into
如果存在primary or unique相同的記錄,則先刪除掉。再插入新記錄。
REPLACE INTO user SELECT 1, ‘telami’ FROM books
這種方法就是不管原來(lái)有沒有相同的記錄,都會(huì)先刪除掉然后再插入。
實(shí)踐
選擇的是第二種方式
這里用的是Mybatis,批量插入的一個(gè)操作,mobile_number 已經(jīng)加了唯一約束。這樣在批量插入時(shí),如果存在手機(jī)號(hào)相同的話,是不會(huì)再插入了的。
責(zé)任編輯:gt
-
數(shù)據(jù)庫(kù)
+關(guān)注
關(guān)注
7文章
3922瀏覽量
66158 -
大數(shù)據(jù)
+關(guān)注
關(guān)注
64文章
8959瀏覽量
140113
原文標(biāo)題:MySQL 批量插入:如何不插入重復(fù)數(shù)據(jù)?
文章出處:【微信號(hào):AndroidPush,微信公眾號(hào):Android編程精選】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
MySQL數(shù)據(jù)庫(kù)是什么
CYUSB3014在FPGA發(fā)送的每?jī)蓭行?b class='flag-5'>數(shù)據(jù)之間,會(huì)出現(xiàn)很多冗余的重復(fù)數(shù)據(jù),問題出在哪里?
labview求助:想寫一個(gè)labview輸出不重復(fù)隨機(jī)數(shù)的程序,有沒有大佬幫忙看看這個(gè)假分支要怎么寫?
labview輸出不重復(fù)隨機(jī)數(shù)
labview怎么輸出不重復(fù)的整數(shù)隨機(jī)數(shù)
使用插件將Excel連接到MySQL/MariaDB

適用于MySQL和MariaDB的Python連接器:可靠的MySQL數(shù)據(jù)連接器和數(shù)據(jù)庫(kù)

MySQL數(shù)據(jù)庫(kù)的安裝

數(shù)據(jù)庫(kù)數(shù)據(jù)恢復(fù)—Mysql數(shù)據(jù)庫(kù)表記錄丟失的數(shù)據(jù)恢復(fù)流程

評(píng)論