加入星計(jì)劃,您可以享受以下權(quán)益:

  • 創(chuàng)作內(nèi)容快速變現(xiàn)
  • 行業(yè)影響力擴(kuò)散
  • 作品版權(quán)保護(hù)
  • 300W+ 專業(yè)用戶
  • 1.5W+ 優(yōu)質(zhì)創(chuàng)作者
  • 5000+ 長(zhǎng)期合作伙伴
立即加入

數(shù)據(jù)處理

加入交流群
掃碼加入
獲取工程師必備禮包
參與熱點(diǎn)資訊討論

數(shù)據(jù)處理,數(shù)據(jù)處理是系統(tǒng)工程和自動(dòng)控制的基本環(huán)節(jié)。數(shù)據(jù)處理貫穿于社會(huì)生產(chǎn)和社會(huì)生活的各個(gè)領(lǐng)域。數(shù)據(jù)處理技術(shù)的發(fā)展及其應(yīng)用的廣度和深度,極大地影響了人類社會(huì)發(fā)展的進(jìn)程。數(shù)據(jù)(Data)是對(duì)事實(shí)、概念或指令的一種表達(dá)形式,可由人工或自動(dòng)化裝置進(jìn)行處理。數(shù)據(jù)經(jīng)過(guò)解釋并賦予一定的意義之后,便成為信息。數(shù)據(jù)處理(data processing)是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、加工、變換和傳輸。數(shù)據(jù)處理的基本目的是從大量的、可能是雜亂無(wú)章的、難以理解的數(shù)據(jù)中抽取并推導(dǎo)出對(duì)于某些特定的人們來(lái)說(shuō)是有價(jià)值、有意義的數(shù)據(jù)。

數(shù)據(jù)處理,數(shù)據(jù)處理是系統(tǒng)工程和自動(dòng)控制的基本環(huán)節(jié)。數(shù)據(jù)處理貫穿于社會(huì)生產(chǎn)和社會(huì)生活的各個(gè)領(lǐng)域。數(shù)據(jù)處理技術(shù)的發(fā)展及其應(yīng)用的廣度和深度,極大地影響了人類社會(huì)發(fā)展的進(jìn)程。數(shù)據(jù)(Data)是對(duì)事實(shí)、概念或指令的一種表達(dá)形式,可由人工或自動(dòng)化裝置進(jìn)行處理。數(shù)據(jù)經(jīng)過(guò)解釋并賦予一定的意義之后,便成為信息。數(shù)據(jù)處理(data processing)是對(duì)數(shù)據(jù)的采集、存儲(chǔ)、檢索、加工、變換和傳輸。數(shù)據(jù)處理的基本目的是從大量的、可能是雜亂無(wú)章的、難以理解的數(shù)據(jù)中抽取并推導(dǎo)出對(duì)于某些特定的人們來(lái)說(shuō)是有價(jià)值、有意義的數(shù)據(jù)。收起

查看更多
  • 一文了解Apache RocketMQ
    一文了解Apache RocketMQ
    Apache RocketMQ是一款A(yù)pache 開源的、分布式的高性能消息中間件和流數(shù)據(jù)處理平臺(tái)。RocketMQ的前身是MetaQ,當(dāng)時(shí)是阿里巴巴內(nèi)部的消息中間件經(jīng)過(guò)阿里巴巴“雙十一”的長(zhǎng)期磨煉,MetaQ經(jīng)受住了各種海量用戶、高并發(fā)場(chǎng)景的考驗(yàn)。在這個(gè)過(guò)程中修煉成了很多內(nèi)功,而這些內(nèi)功實(shí)際上是可以應(yīng)對(duì)不同業(yè)務(wù)場(chǎng)景的需求的。在阿里巴巴內(nèi)部經(jīng)過(guò)3個(gè)版本迭代后,把MetaQ進(jìn)化成了更為通用的RocketMQ。到了2017年,阿里巴巴決定把RocketMQ貢獻(xiàn)給了Apache,并成功“畢業(yè)”。成為Apache頂級(jí)開源項(xiàng)目之一,并一直到現(xiàn)在。
  • 一文揭曉ADTF軟件操作體驗(yàn)!
    一文揭曉ADTF軟件操作體驗(yàn)!
    科研工具再揭秘!ADTF如何賦能科研工作?本文劉同學(xué)親測(cè)分享,大贊其便捷設(shè)計(jì),靈活高效,詳盡展現(xiàn)ADTF在高??蒲兄械膶?shí)際應(yīng)用與潛在價(jià)值。
  • 科研新體驗(yàn):劉同學(xué)深度試用ADTF軟件反饋揭曉!
    科研新體驗(yàn):劉同學(xué)深度試用ADTF軟件反饋揭曉!
    科研工具再揭秘!ADTF如何賦能科研工作?本文劉同學(xué)親測(cè)分享,大贊其便捷設(shè)計(jì),靈活高效,詳盡展現(xiàn)ADTF在高校科研中的實(shí)際應(yīng)用與潛在價(jià)值。
  • 康謀分享 | 確保AD/ADAS系統(tǒng)的安全:避免數(shù)據(jù)泛濫的關(guān)鍵!
    康謀分享 | 確保AD/ADAS系統(tǒng)的安全:避免數(shù)據(jù)泛濫的關(guān)鍵!
    如何實(shí)現(xiàn)數(shù)據(jù)的高效管理、解讀和正確分析,以避免數(shù)據(jù)泛濫的不利影響?掌握好“指標(biāo)與算法”和“全面可視化分析工具”兩大關(guān)鍵要素,助力AD/ADAS系統(tǒng)開發(fā)、驗(yàn)證和改進(jìn)過(guò)程!
  • Samtec 大數(shù)據(jù)應(yīng)用科普 | 用于HPC和超級(jí)計(jì)算的連接器
    【摘要/前言】 我們的現(xiàn)代工業(yè)世界依賴于原材料。無(wú)論是石油、鋼鐵還是棉花,原材料對(duì)工業(yè)化世界的發(fā)展都具有巨大的重要性。盡管這些有形產(chǎn)品仍然一如既往地重要,但現(xiàn)代社會(huì)為我們帶來(lái)了一種新的原材料,那就是數(shù)據(jù)。 【數(shù)據(jù)是未來(lái)的原材料】 數(shù)據(jù)作為數(shù)字時(shí)代的基石,正以無(wú)形之態(tài),重塑著世界的每一個(gè)角落。 作為消費(fèi)者,我們?cè)谑褂弥悄苁謾C(jī)和電腦時(shí)對(duì)數(shù)據(jù)并不陌生。然而,現(xiàn)代系統(tǒng)所產(chǎn)生的數(shù)據(jù)量之大,可能是我們?cè)S多人難
  • 康謀分享 | 數(shù)據(jù)隱私和匿名化:PIPL與GDPR下,如何確保數(shù)據(jù)合規(guī)?(二)
    康謀分享 | 數(shù)據(jù)隱私和匿名化:PIPL與GDPR下,如何確保數(shù)據(jù)合規(guī)?(二)
    自動(dòng)駕駛技術(shù)飛速發(fā)展,但數(shù)據(jù)隱私安全成攔路虎?別擔(dān)心,本文帶您深入剖析PIPL與GDPR在數(shù)據(jù)處理行為及基礎(chǔ)合法性方面的異同之處,幫助您準(zhǔn)確把握法規(guī)要求,從而利用匿名化處理工具有效應(yīng)對(duì)跨境數(shù)據(jù)傳輸?shù)忍魬?zhàn)!
  • 康謀分享 | 數(shù)據(jù)隱私和匿名化:PIPL與GDPR下,如何確保數(shù)據(jù)合規(guī)?(二)
    康謀分享 | 數(shù)據(jù)隱私和匿名化:PIPL與GDPR下,如何確保數(shù)據(jù)合規(guī)?(二)
    自動(dòng)駕駛技術(shù)飛速發(fā)展,但數(shù)據(jù)隱私安全成攔路虎?別擔(dān)心,本文帶您深入剖析PIPL與GDPR在數(shù)據(jù)處理行為及基礎(chǔ)合法性方面的異同之處,幫助您準(zhǔn)確把握法規(guī)要求,從而利用匿名化處理工具有效應(yīng)對(duì)跨境數(shù)據(jù)傳輸?shù)忍魬?zhàn)!
  • 康謀分享 | AD/ADAS的性能概覽:在AD/ADAS的開發(fā)與驗(yàn)證中“大海撈針”!
    康謀分享 | AD/ADAS的性能概覽:在AD/ADAS的開發(fā)與驗(yàn)證中“大海撈針”!
    在AD/ADAS開發(fā)與驗(yàn)證中,如何從海量數(shù)據(jù)中快速獲得性能概覽,進(jìn)而快速定位關(guān)鍵事件?本文康謀帶您了解,如何利用IVEX智能概覽功能,結(jié)合安全與關(guān)鍵績(jī)效指標(biāo),實(shí)現(xiàn)高效檢索與分析,推動(dòng)AD/ADAS系統(tǒng)持續(xù)優(yōu)化!
  • 康謀分享 | 數(shù)據(jù)隱私和匿名化:PIPL與GDPR下,如何確保數(shù)據(jù)合規(guī)?(一)
    康謀分享 | 數(shù)據(jù)隱私和匿名化:PIPL與GDPR下,如何確保數(shù)據(jù)合規(guī)?(一)
    自動(dòng)駕駛技術(shù)的快速發(fā)展伴隨著數(shù)據(jù)隱私保護(hù)的嚴(yán)峻挑戰(zhàn)。PIPL和GDPR為自動(dòng)駕駛數(shù)據(jù)合規(guī)設(shè)立了高標(biāo)準(zhǔn)。本篇文章將帶大家深入探討PIPL與GDPR的異同點(diǎn),期望能夠幫助車企更好地理解并應(yīng)對(duì)數(shù)據(jù)隱私保護(hù)法規(guī)的挑戰(zhàn),推動(dòng)自動(dòng)駕駛行業(yè)健康發(fā)展。
  • 康謀分享 | ADTF過(guò)濾器全面解析:構(gòu)建、配置與數(shù)據(jù)處理應(yīng)用
    康謀分享 | ADTF過(guò)濾器全面解析:構(gòu)建、配置與數(shù)據(jù)處理應(yīng)用
    過(guò)濾器是處理數(shù)據(jù)流的基本單元,它們接收、處理并發(fā)送數(shù)據(jù),是ADTF數(shù)據(jù)處理的核心。為此,康謀為您介紹在ADTF中如何創(chuàng)建和使用過(guò)濾器,包括設(shè)置輸入輸出針腳、配置觸發(fā)器以及處理數(shù)據(jù)樣本。
  • 五分鐘技術(shù)趣談 | 邊緣智能:實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理和智能決策的新一代技術(shù)
    五分鐘技術(shù)趣談 | 邊緣智能:實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)處理和智能決策的新一代技術(shù)
    邊緣智能(Edge Intelligence)是一種將人工智能(AI)和邊緣計(jì)算相結(jié)合的新興技術(shù)。傳統(tǒng)的人工智能應(yīng)用通常依賴于云計(jì)算中心進(jìn)行數(shù)據(jù)處理和決策,但這種方式存在延遲和網(wǎng)絡(luò)帶寬的問(wèn)題。邊緣智能通過(guò)在物聯(lián)網(wǎng)設(shè)備、邊緣服務(wù)器和終端設(shè)備上部署AI算法,將數(shù)據(jù)處理和決策推向網(wǎng)絡(luò)邊緣。這使得實(shí)時(shí)數(shù)據(jù)處理、低延遲響應(yīng)和隱私保護(hù)成為可能,為各種應(yīng)用場(chǎng)景如智能交通、智能城市、工業(yè)自動(dòng)化等帶來(lái)了新的機(jī)遇和挑戰(zhàn)。
  • 數(shù)據(jù)采集與數(shù)據(jù)分析是什么?有哪些工具?
    數(shù)據(jù)采集與數(shù)據(jù)分析是什么?有哪些工具?
    數(shù)據(jù)采集與數(shù)據(jù)分析在推動(dòng)行業(yè)創(chuàng)新、優(yōu)化業(yè)務(wù)流程、提升決策質(zhì)量方面發(fā)揮了重要作用。它們不僅幫助企業(yè)提高效率和競(jìng)爭(zhēng)力,還為社會(huì)各個(gè)方面的智能化和精細(xì)化管理提供了有力支持。隨著技術(shù)的不斷發(fā)展,數(shù)據(jù)采集與數(shù)據(jù)分析將會(huì)變得更加智能和自動(dòng)化,為未來(lái)的數(shù)字化轉(zhuǎn)型帶來(lái)更大的機(jī)遇和挑戰(zhàn)。
  • 留言送書 | 《深度學(xué)習(xí)與人工智能實(shí)戰(zhàn)》
    留言送書 | 《深度學(xué)習(xí)與人工智能實(shí)戰(zhàn)》
    在深度學(xué)習(xí)處理復(fù)雜任務(wù)時(shí),數(shù)據(jù)預(yù)處理是至關(guān)重要的一環(huán)。PyTorch作為一款熱門的深度學(xué)習(xí)框架,提供了豐富的數(shù)據(jù)處理工具。通過(guò)PyTorch,開發(fā)者可以輕松地完成數(shù)據(jù)的加載、清洗、增強(qiáng)、轉(zhuǎn)換等操作,以確保數(shù)據(jù)的質(zhì)量并適應(yīng)模型的需求。這些操作對(duì)于提高模型的訓(xùn)練效率和泛化能力具有重要意義。
    3769
    58評(píng)論
    06/19 17:13
  • 10萬(wàn)億市場(chǎng)的數(shù)據(jù)資產(chǎn)化背景下,工業(yè)大數(shù)據(jù)如何發(fā)揮最大價(jià)值?
    10萬(wàn)億市場(chǎng)的數(shù)據(jù)資產(chǎn)化背景下,工業(yè)大數(shù)據(jù)如何發(fā)揮最大價(jià)值?
    隨著今年年初數(shù)據(jù)資產(chǎn)“入表”正式實(shí)行,喊了多年的“發(fā)揮數(shù)據(jù)價(jià)值”的口號(hào)終于可以說(shuō)是落到了實(shí)處。所謂數(shù)據(jù)資產(chǎn)入表,是指將數(shù)據(jù)確認(rèn)為企業(yè)資產(chǎn)負(fù)債表中“資產(chǎn)”一項(xiàng),即數(shù)據(jù)資產(chǎn)入資產(chǎn)負(fù)債表,在財(cái)務(wù)報(bào)表中體現(xiàn)其真實(shí)價(jià)值與業(yè)務(wù)貢獻(xiàn)。國(guó)家發(fā)改委價(jià)格監(jiān)測(cè)中心副主任王建冬表示,我國(guó)數(shù)據(jù)資產(chǎn)化和資本化后,所催生的相關(guān)市場(chǎng)潛在規(guī)??赡軙?huì)達(dá)到10萬(wàn)億級(jí)。
  • strlen,sizeof,scanf對(duì)字符串計(jì)算
    strlen,sizeof,scanf對(duì)字符串計(jì)算
    sizeof:可用于任何變量名、類型名或常量值,當(dāng)用于變量名(不是數(shù)組名)或常量時(shí),不需要加括弧。strlen:從內(nèi)存的某個(gè)位置(可以是字符串開頭,中間某個(gè)位置,甚至是某個(gè)不確定的內(nèi)存區(qū)域)開始掃描,直到碰到第一個(gè)字符串結(jié)知束符''為止,然后返回計(jì)數(shù)器值。
  • 如何利用DPU加速Spark大數(shù)據(jù)處理? | 總結(jié)篇
    近年來(lái),隨著存儲(chǔ)硬件的革新與網(wǎng)絡(luò)技術(shù)的突飛猛進(jìn),如NVMe SSD和超高速網(wǎng)絡(luò)接口的普及應(yīng)用,I/O性能瓶頸已得到顯著改善。然而,在2020年及以后的技術(shù)背景下,盡管SSD速度通過(guò)NVMe接口得到了大幅提升,并且網(wǎng)絡(luò)傳輸速率也進(jìn)入了新的高度,但CPU主頻發(fā)展并未保持同等步調(diào),3GHz左右的核心頻率已成為常態(tài)。
  • 單片機(jī)串口接收的幾種常用的數(shù)據(jù)處理方法
    單片機(jī)串口接收的幾種常用的數(shù)據(jù)處理方法
    我們?cè)谧鲰?xiàng)目的時(shí)候經(jīng)常會(huì)用到串口,當(dāng)我們用串口和別的設(shè)備通訊的時(shí)候就需要嚴(yán)格遵循通訊協(xié)議,然而,僅僅是遵循通訊協(xié)議是不夠的,因?yàn)閱纹瑱C(jī)串口受到別的信號(hào)干擾的時(shí)候,容易出現(xiàn)數(shù)據(jù)錯(cuò)誤,特別是串口發(fā)送的第一個(gè)字節(jié)和最后一個(gè)字節(jié)。一旦出現(xiàn)這種情況,設(shè)備之間的通訊可能會(huì)受到影響,甚至?xí)?dǎo)致系統(tǒng)癱瘓。另外,串口收到數(shù)據(jù)的時(shí)候,我們也需要判斷一幀數(shù)據(jù)的長(zhǎng)度,特別是指令發(fā)送比較頻繁的時(shí)候。因此,串口在接收到數(shù)據(jù)之后應(yīng)該先進(jìn)行數(shù)據(jù)處理,再執(zhí)行命令,這樣能夠增強(qiáng)產(chǎn)品的穩(wěn)定性。
  • 五分鐘技術(shù)趣談 | 淺析半監(jiān)督學(xué)習(xí)及其應(yīng)用場(chǎng)景
    五分鐘技術(shù)趣談 | 淺析半監(jiān)督學(xué)習(xí)及其應(yīng)用場(chǎng)景
    隨著互聯(lián)網(wǎng)的發(fā)展,企業(yè)可以獲得越來(lái)越多的數(shù)據(jù),這些數(shù)據(jù)可以用于幫助企業(yè)更好的了解用戶,即客戶畫像,也可以用來(lái)改善用戶的體驗(yàn)。但這些數(shù)據(jù)中可能存在大量沒(méi)有標(biāo)記的數(shù)據(jù)。如果所有數(shù)據(jù)均采用人工標(biāo)記的方式則存在兩方面的缺點(diǎn),一是花費(fèi)的時(shí)間成本較高,人工標(biāo)記效率低,數(shù)據(jù)量越大需要雇傭的人越多,時(shí)間也會(huì)越長(zhǎng),成本越高,二是隨著用戶規(guī)模的增大,人工標(biāo)記的速度很難趕上數(shù)據(jù)的增長(zhǎng)。因此如何有效利用當(dāng)前有標(biāo)記樣本的數(shù)據(jù)成為關(guān)鍵,而半監(jiān)督學(xué)習(xí)則是應(yīng)對(duì)有標(biāo)簽的樣本數(shù)量遠(yuǎn)小于無(wú)標(biāo)簽樣本的情況。
  • 一文讀懂?dāng)?shù)據(jù)運(yùn)營(yíng)的指標(biāo)體系
    一文讀懂?dāng)?shù)據(jù)運(yùn)營(yíng)的指標(biāo)體系
    數(shù)據(jù)指標(biāo)體系是業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)化的基礎(chǔ),其對(duì)指標(biāo)進(jìn)行了統(tǒng)一管理,體系化是為了方便統(tǒng)一修改、共享及維護(hù)。隨著大數(shù)據(jù)和人工智能技術(shù)的發(fā)展,很多企業(yè)選擇借助信息技術(shù)實(shí)現(xiàn)轉(zhuǎn)型升級(jí)。在大數(shù)據(jù)時(shí)代早期,大部分?jǐn)?shù)據(jù)并沒(méi)有被充分地挖掘分析和利用。雖然數(shù)據(jù)規(guī)模非常大,但是卻很難利用這些數(shù)據(jù)創(chuàng)造價(jià)值。而數(shù)據(jù)中臺(tái)的提出及數(shù)據(jù)指標(biāo)體系的構(gòu)建,使得數(shù)據(jù)產(chǎn)生了實(shí)際價(jià)值。有了數(shù)據(jù)指標(biāo),人們做決策時(shí)不再是按照經(jīng)驗(yàn)“拍腦袋”,而是看看數(shù)據(jù)是怎樣呈現(xiàn)的,能夠及時(shí)基于數(shù)據(jù)進(jìn)行戰(zhàn)略調(diào)整及決策規(guī)劃。
  • 全托管時(shí)序數(shù)據(jù)云平臺(tái)TDengine Cloud正式支持阿里云
    數(shù)據(jù)管理更簡(jiǎn)單 北京2023年3月14日 /美通社/ --?3 月?13 日,全托管的時(shí)序數(shù)據(jù)處理云服務(wù)平臺(tái) TDengine Cloud 正式支持阿里云,這是繼 Microsoft Azure、AWS、Google Cloud 后 TDengine Cloud 上線的第四朵公有云。 TDengine Cloud 是基于開源、高性能的時(shí)序數(shù)據(jù)庫(kù)(Time Series Database)TDeng

正在努力加載...