一区二区三区三上|欧美在线视频五区|国产午夜无码在线观看视频|亚洲国产裸体网站|无码成年人影视|亚洲AV亚洲AV|成人开心激情五月|欧美性爱内射视频|超碰人人干人人上|一区二区无码三区亚洲人区久久精品

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

MySQL 批量插入不重復(fù)數(shù)據(jù)的解決方法

Android編程精選 ? 來(lái)源:JAVA葵花寶典 ? 作者:JAVA葵花寶典 ? 2021-07-02 15:28 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

來(lái)源丨JAVA葵花寶典

知識(shí)這個(gè)東西,看來(lái)真的要溫故而知新,一直不用,都要忘記了

業(yè)務(wù)很簡(jiǎn)單:需要批量插入一些數(shù)據(jù),數(shù)據(jù)來(lái)源可能是其他數(shù)據(jù)庫(kù)的表,也可能是一個(gè)外部excel的導(dǎo)入

那么問題來(lái)了,是不是每次插入之前都要查一遍,看看重不重復(fù),在代碼里篩選一下數(shù)據(jù),重復(fù)的就過濾掉呢?

向大數(shù)據(jù)數(shù)據(jù)庫(kù)中插入值時(shí),還要判斷插入是否重復(fù),然后插入。如何提高效率

看來(lái)這個(gè)問題不止我一個(gè)人苦惱過。

解決的辦法有很多種,不同的場(chǎng)景解決方案也不一樣,數(shù)據(jù)量很小的情況下,怎么搞都行,但是數(shù)據(jù)量很大的時(shí)候,這就不是一個(gè)簡(jiǎn)單的問題了。

幾百萬(wàn)的數(shù)據(jù),不可能查出來(lái),做去重處理

說(shuō)一下我Google到的解決方案

1、insert ignore into

當(dāng)插入數(shù)據(jù)時(shí),如出現(xiàn)錯(cuò)誤時(shí),如重復(fù)數(shù)據(jù),將不返回錯(cuò)誤,只以警告形式返回。所以使用ignore請(qǐng)確保語(yǔ)句本身沒有問題,否則也會(huì)被忽略掉。例如:

INSERT IGNORE INTO user (name) VALUES (‘telami’)

這種方法很簡(jiǎn)便,但是有一種可能,就是插入不是因?yàn)橹貜?fù)數(shù)據(jù)報(bào)錯(cuò),而是因?yàn)槠渌驁?bào)錯(cuò)的,也同樣被忽略了~

2、on duplicate key update

當(dāng)primary或者unique重復(fù)時(shí),則執(zhí)行update語(yǔ)句,如update后為無(wú)用語(yǔ)句,如id=id,則同1功能相同,但錯(cuò)誤不會(huì)被忽略掉。

例如,為了實(shí)現(xiàn)name重復(fù)的數(shù)據(jù)插入不報(bào)錯(cuò),可使用一下語(yǔ)句:

INSERT INTO user (name) VALUES (‘telami’) ON duplicate KEY UPDATE id = id

這種方法有個(gè)前提條件,就是,需要插入的約束,需要是主鍵或者唯一約束(在你的業(yè)務(wù)中那個(gè)要作為唯一的判斷就將那個(gè)字段設(shè)置為唯一約束也就是unique key)。

3、insert … select … where not exist

根據(jù)select的條件判斷是否插入,可以不光通過primary 和unique來(lái)判斷,也可通過其它條件。例如:

INSERT INTO user (name) SELECT ‘telami’ FROM dual WHERE NOT EXISTS (SELECT id FROM user WHERE id = 1)

這種方法其實(shí)就是使用了mysql的一個(gè)臨時(shí)表的方式,但是里面使用到了子查詢,效率也會(huì)有一點(diǎn)點(diǎn)影響,如果能使用上面的就不使用這個(gè)。

4、replace into

如果存在primary or unique相同的記錄,則先刪除掉。再插入新記錄。

REPLACE INTO user SELECT 1, ‘telami’ FROM books

這種方法就是不管原來(lái)有沒有相同的記錄,都會(huì)先刪除掉然后再插入。

實(shí)踐

選擇的是第二種方式

pYYBAGDewGiAD4ryAAAloA9QPzg560.png

這里用的是Mybatis,批量插入的一個(gè)操作,mobile_number 已經(jīng)加了唯一約束。這樣在批量插入時(shí),如果存在手機(jī)號(hào)相同的話,是不會(huì)再插入了的。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:MySQL 批量插入:如何不插入重復(fù)數(shù)據(jù)?

文章出處:【微信號(hào):AndroidPush,微信公眾號(hào):Android編程精選】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    MySQL數(shù)據(jù)庫(kù)是什么

    MySQL數(shù)據(jù)庫(kù)是一種 開源的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)(RDBMS) ,由瑞典MySQL AB公司開發(fā),后被Oracle公司收購(gòu)。它通過結(jié)構(gòu)化查詢語(yǔ)言(SQL)進(jìn)行
    的頭像 發(fā)表于 05-23 09:18 ?428次閱讀

    CYUSB3014在FPGA發(fā)送的每?jī)蓭行?b class='flag-5'>數(shù)據(jù)之間,會(huì)出現(xiàn)很多冗余的重復(fù)數(shù)據(jù),問題出在哪里?

    使用BeginDataXfer(), WaitForXfer() 和 FinishDataXfer()的方法異步接收數(shù)據(jù)。目前C#端的吞吐量大于FPGA數(shù)據(jù)的發(fā)送速率,我們發(fā)現(xiàn)在FPGA發(fā)送的每?jī)蓭行?/div>
    發(fā)表于 05-20 07:36

    labview求助:想寫一個(gè)labview輸出不重復(fù)隨機(jī)數(shù)的程序,有沒有大佬幫忙看看這個(gè)假分支要怎么寫?

    大佬們想寫一個(gè)labview輸出不重復(fù)隨機(jī)數(shù)的程序,有沒有大佬幫忙看看這個(gè)假分支要怎么寫
    發(fā)表于 04-27 08:39

    labview輸出不重復(fù)隨機(jī)數(shù)

    大佬們能不能告知一下這張圖為什么還是會(huì)輸出重復(fù)的數(shù),然后這個(gè)移位寄存器的紅點(diǎn)也消不掉
    發(fā)表于 04-17 10:51

    labview怎么輸出不重復(fù)的整數(shù)隨機(jī)數(shù)

    大佬們我想問一下怎么能夠生成不重復(fù)的隨機(jī)數(shù),labview能夠輸出整數(shù)隨機(jī)數(shù)
    發(fā)表于 04-16 11:15

    無(wú)功補(bǔ)償故障原因及解決方法

    無(wú)功補(bǔ)償故障可能由多種原因引起,以下是一些常見的故障原因及其解決方法
    的頭像 發(fā)表于 01-29 14:25 ?1369次閱讀

    使用插件將Excel連接到MySQL/MariaDB

    處理 MySQL 數(shù)據(jù),進(jìn)行數(shù)據(jù)清理和重復(fù)數(shù)據(jù)刪除。 直接從 Excel 連接到 MySQL 要將 Excel 連接到
    的頭像 發(fā)表于 01-20 12:38 ?605次閱讀
    使用插件將Excel連接到<b class='flag-5'>MySQL</b>/MariaDB

    適用于MySQL和MariaDB的Python連接器:可靠的MySQL數(shù)據(jù)連接器和數(shù)據(jù)庫(kù)

    和 Linux 的 wheel 包分發(fā)。 直接連接 該解決方案使您能夠通過 TCP/IP 建立與 MySQL 或者 MariaDB 數(shù)據(jù)庫(kù)服務(wù)器的直接連接,而無(wú)需數(shù)據(jù)庫(kù)客戶端庫(kù)。另外直接連接可以提高 Python 應(yīng)用程
    的頭像 發(fā)表于 01-17 12:18 ?485次閱讀
    適用于<b class='flag-5'>MySQL</b>和MariaDB的Python連接器:可靠的<b class='flag-5'>MySQL</b><b class='flag-5'>數(shù)據(jù)</b>連接器和<b class='flag-5'>數(shù)據(jù)</b>庫(kù)

    MySQL數(shù)據(jù)庫(kù)的安裝

    MySQL數(shù)據(jù)庫(kù)的安裝 【一】各種數(shù)據(jù)庫(kù)的端口 MySQL :3306 Redis :6379 MongoDB :27017 Django :8000 flask :5000 【二】
    的頭像 發(fā)表于 01-14 11:25 ?556次閱讀
    <b class='flag-5'>MySQL</b><b class='flag-5'>數(shù)據(jù)</b>庫(kù)的安裝

    數(shù)據(jù)庫(kù)數(shù)據(jù)恢復(fù)—Mysql數(shù)據(jù)庫(kù)表記錄丟失的數(shù)據(jù)恢復(fù)流程

    Mysql數(shù)據(jù)庫(kù)故障: Mysql數(shù)據(jù)庫(kù)表記錄丟失。 Mysql數(shù)據(jù)庫(kù)故障表現(xiàn): 1、
    的頭像 發(fā)表于 12-16 11:05 ?605次閱讀
    <b class='flag-5'>數(shù)據(jù)</b>庫(kù)<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)—<b class='flag-5'>Mysql</b><b class='flag-5'>數(shù)據(jù)</b>庫(kù)表記錄丟失的<b class='flag-5'>數(shù)據(jù)</b>恢復(fù)流程

    Ubuntu系統(tǒng)常見問題及解決方法

    連接到互聯(lián)網(wǎng) 問題描述: 用戶在安裝Ubuntu后發(fā)現(xiàn)無(wú)法連接到互聯(lián)網(wǎng)。 解決方法: 檢查網(wǎng)絡(luò)連接: 確保網(wǎng)線已正確插入或Wi-Fi已連接。 檢查網(wǎng)絡(luò)設(shè)置: 打開“設(shè)置”>“網(wǎng)絡(luò)”,檢查網(wǎng)絡(luò)配置是否正確。 重啟網(wǎng)絡(luò)服務(wù): 打開終端,輸入 sudo service netw
    的頭像 發(fā)表于 12-12 14:32 ?1559次閱讀

    數(shù)據(jù)庫(kù)數(shù)據(jù)恢復(fù)—MYSQL數(shù)據(jù)庫(kù)ibdata1文件損壞的數(shù)據(jù)恢復(fù)案例

    mysql數(shù)據(jù)庫(kù)故障: mysql數(shù)據(jù)庫(kù)文件ibdata1、MYI、MYD損壞。 故障表現(xiàn):1、數(shù)據(jù)庫(kù)無(wú)法進(jìn)行查詢等操作;2、使用my
    的頭像 發(fā)表于 12-09 11:05 ?626次閱讀

    以太網(wǎng)組網(wǎng)常見故障及解決方法

    相互通信。 解決方法: 檢查網(wǎng)線是否損壞,使用網(wǎng)線測(cè)試儀進(jìn)行測(cè)試。 確保網(wǎng)線插頭(RJ45)插入到位,沒有松動(dòng)。 更換網(wǎng)線或接口,排除物理?yè)p壞的可能性。 檢查交換機(jī)和路由器的端口狀態(tài),確保它們正常工作。 2. IP地址沖突 故障現(xiàn)象: 網(wǎng)絡(luò)中
    的頭像 發(fā)表于 11-08 09:13 ?3062次閱讀

    CAN盒指示燈不亮的解決方法

    CAN盒指示燈不亮可能有多種原因,以下是一些常見的解決方法。
    的頭像 發(fā)表于 09-20 14:53 ?1843次閱讀

    數(shù)據(jù)中心提高存儲(chǔ)性能的方法是什么?

    這些技術(shù)是走向云計(jì)算的重要的第一步。 重復(fù)數(shù)據(jù)刪除 在任何數(shù)據(jù)存儲(chǔ)系統(tǒng)最大的阻礙是相關(guān)的冗余數(shù)據(jù)。采用智能壓縮技術(shù),可以刪除重復(fù)數(shù)據(jù),只保留在磁盤上的
    的頭像 發(fā)表于 08-05 11:40 ?640次閱讀