日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

車聯(lián)網(wǎng)大數(shù)據(jù)后處理系列文章（一）

2021-11-03 08:58:13·  來源：上海山外山機(jī)電工程科技有限公司  作者：許東波  
　
nCode軟件實(shí)現(xiàn)CSV數(shù)據(jù)轉(zhuǎn)時(shí)域信號(hào)關(guān)鍵字：車聯(lián)網(wǎng)；大數(shù)據(jù)；信息提取類別：nCode GlyphWorks 軟件使用1 背景介紹 根據(jù)政府法規(guī)要求和企業(yè)自身的需要，各新能源汽車
nCode軟件實(shí)現(xiàn)CSV數(shù)據(jù)轉(zhuǎn)時(shí)域信號(hào)
關(guān)鍵字：車聯(lián)網(wǎng)；大數(shù)據(jù)；信息提取
類別：nCode GlyphWorks 軟件使用

1 背景介紹
根據(jù)政府法規(guī)要求和企業(yè)自身的需要，各新能源汽車企業(yè)均已建立了車輛運(yùn)行監(jiān)控?cái)?shù)據(jù)庫。這類數(shù)據(jù)信息多樣，數(shù)量龐大，且每天都在積累。如何從如此龐大的數(shù)據(jù)中分析出各細(xì)分專業(yè)所關(guān)注的信息（例如電池使用特征、電控系統(tǒng)實(shí)時(shí)參數(shù)、車速變化特點(diǎn)、駕駛操縱規(guī)律等），是每個(gè)整車企業(yè)及相關(guān)零部件供應(yīng)商都感興趣且在關(guān)注的話題。
不同的數(shù)據(jù)管理和存儲(chǔ)系統(tǒng)，數(shù)據(jù)的存儲(chǔ)格式會(huì)有所不同。數(shù)據(jù)使用的第一步，是將數(shù)據(jù)格式統(tǒng)一成標(biāo)準(zhǔn)化的時(shí)域信號(hào)，供專業(yè)的分析軟件進(jìn)行下一步的針對(duì)性分析。本文通過實(shí)際的案例，詳細(xì)闡述了將*.csv格式數(shù)據(jù)轉(zhuǎn)化為nCode軟件數(shù)據(jù)格式的方法，供讀者參考。

2 典型CSV數(shù)據(jù)樣式
雖然不同的數(shù)據(jù)管理系統(tǒng)中數(shù)據(jù)的存儲(chǔ)格式有所不同，但均可以轉(zhuǎn)換為*.csv格式供其他專業(yè)的數(shù)據(jù)分析軟件讀取。少量的*.csv數(shù)據(jù)文件，可以手工導(dǎo)入nCode軟件中轉(zhuǎn)換為nCode文件用于分析。但大批量的數(shù)據(jù)文件，手工導(dǎo)入不僅效率低，而且有些時(shí)候不好實(shí)施。因此，大家希望能對(duì)*.csv文件轉(zhuǎn)nCode文件格式進(jìn)行自動(dòng)化批處理。
Comma-Separated Values，CSV文件以純文本形式存儲(chǔ)表格數(shù)據(jù)，可以被大多數(shù)軟件讀取。文件可能以每日或每隔一個(gè)設(shè)定的時(shí)間周期自動(dòng)上傳一個(gè)文件夾，圖1為某一天的典型車輛數(shù)據(jù)。數(shù)據(jù)是以功能模塊為單位形成單獨(dú)文件保存，每個(gè)文件中又包含采樣時(shí)間和不同數(shù)據(jù)通道。進(jìn)行數(shù)據(jù)挖掘的首要任務(wù)便是把這些CSV數(shù)據(jù)轉(zhuǎn)換成時(shí)域信號(hào)，合并成一個(gè)單獨(dú)的文件便于后期處理。






圖1 車輛典型原始CSV數(shù)據(jù)

3 CSV數(shù)據(jù)轉(zhuǎn)換時(shí)域數(shù)據(jù)
CSV數(shù)據(jù)轉(zhuǎn)換時(shí)域信號(hào)數(shù)據(jù)使用的是x-BigData 2020[1] 流程包中的“原始數(shù)據(jù)轉(zhuǎn)nCode多列”和“nCode多列轉(zhuǎn)時(shí)域”這兩個(gè)流程。x-BigData 2020是上海山外山機(jī)電科技有限公司在 nCode GlyphWorks 2020平臺(tái)上開發(fā)的一個(gè)流程包，該流程包可專門用于處理車輛測(cè)試監(jiān)控大數(shù)據(jù)的轉(zhuǎn)換和分析計(jì)算。x-BigData 2020由9個(gè)流程組成，如圖２所示，各個(gè)分析流程已經(jīng)設(shè)定了分析屬性的默認(rèn)值，但用戶可以修改這些屬性，并可另存為不同名稱的流程。




圖2 x-BigData 2020流程菜單
流程１中輸入的CSV數(shù)據(jù)第一行是數(shù)據(jù)名稱頭文件，但也可以沒有頭行，數(shù)據(jù)應(yīng)包含時(shí)間數(shù)據(jù)列（第一列），可選擇的時(shí)間數(shù)據(jù)格式如圖３所示。




圖3 流程1中時(shí)間戳格式
流程２可以將標(biāo)準(zhǔn)化的CSV數(shù)據(jù)轉(zhuǎn)換為時(shí)域數(shù)據(jù)，可設(shè)定采樣速率，同時(shí)輸出nCode時(shí)域S3T文件。這樣便生成了單個(gè)文件的時(shí)域信號(hào)如圖４所示。




圖4 轉(zhuǎn)換后的時(shí)域信號(hào)

4 時(shí)域信號(hào)的合并

在對(duì)每個(gè)文件生成時(shí)域信號(hào)后，可能需要把所有的時(shí)域信號(hào)進(jìn)行合并處理形成一個(gè)時(shí)域文件。這里將使用到的流程是x-Utils-2020[2]流程包中的“數(shù)據(jù)合并并轉(zhuǎn)換為nCode格式”。合并后的時(shí)域數(shù)據(jù)如圖５所示。




圖5 合并后的時(shí)域信號(hào)文件
x-Utils-2020 也是一個(gè)上海山外山公司基于nCode GlyphWorks軟件平臺(tái)所開發(fā)的流程包，可用于測(cè)試數(shù)據(jù)的操作檢查修正比較等，主要功能包含了數(shù)據(jù)的合并、常用數(shù)據(jù)格式的轉(zhuǎn)換、通道名單位名重定義或修正、通道元數(shù)據(jù)添加、指定通道的提取、數(shù)據(jù)通道的替換、自動(dòng)分析報(bào)告、典型數(shù)據(jù)異常探測(cè)修正，以及多個(gè)測(cè)試數(shù)據(jù)計(jì)算比較報(bào)告和統(tǒng)計(jì)值的比較分析等。這一流程包無論對(duì)于結(jié)構(gòu)耐久或傳動(dòng)或其它應(yīng)用的數(shù)據(jù)處理都是一個(gè)必備的標(biāo)準(zhǔn)化通用分析工具。

5 自動(dòng)化批處理功能
上述每一步流程中都已經(jīng)實(shí)現(xiàn)自動(dòng)化處理，即選中待處理文件后運(yùn)行流程出結(jié)果。但是在步驟之間，仍需手動(dòng)選擇上一步驟處理好的文件，作為下個(gè)步驟的輸入。如果處理以月計(jì)的數(shù)據(jù)會(huì)略顯繁瑣。我們可以針對(duì)需求開發(fā)批處理工具，只需指定輸入輸出文件路徑，便可實(shí)現(xiàn)一鍵化全自動(dòng)處理，是大數(shù)據(jù)批量處理的必備工具。
自動(dòng)批處理功能實(shí)現(xiàn)的核心是基于nCode Flowproc [3]功能。Flowproc是以命令行提示符批處理模式運(yùn)行GlyphWorks和DesignLife流程。該過程通過生成*.bat和*.script文件來調(diào)用運(yùn)行流程，同時(shí)控制參數(shù)設(shè)置等。在此基礎(chǔ)之上，編寫程序自動(dòng)生成*.bat和*.script文件，配合程序打包的*.exe可執(zhí)行文件，無需打開nCode軟件便可一鍵式全自動(dòng)運(yùn)行流程。該方法特別適用于流程復(fù)雜且固定，同時(shí)流程使用頻率高的情況。
讀者如果有任何疑問，歡迎在評(píng)論區(qū)留言討論。
參考文獻(xiàn)
[1] x-BigData-2020_installation_swins, SWINS, 2020
[2] x-Utils-2020_user_guide_swins, SWINS, 2020
[3] Batch Operation User Guide, HBM-nCode, 2020
分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25