大數據時代的食品安全檢測范文
本站小編為你精心準備了大數據時代的食品安全檢測參考范文，愿這些范文能點燃您思維的火花，激發您的寫作靈感。歡迎深入閱讀并收藏。
數據的活性指的是數據被更新的頻次，從食品安全監測數據上看，數據的活性較大，表現在數據獲取頻繁：如一周一檢、一天一檢、不少生鮮食品甚至一小時一檢，這些頻繁獲取的數據在很大程度上增強了數據的活性、使得數據實時、可信、可靠。數據的規模指的是數據量的大小，我們就液態牛奶從原奶到上市期間的檢驗數據為例，來估測其數據量大小：原奶運輸到工廠后需進行質量檢驗，檢驗指標共計117項，包括感官、滋味、氣味、理化特性、微生物含量等多個方面；牛奶在儲存之后需進行原奶檢驗，檢驗指標包括上述各類，附加對容器、倉儲條件的檢驗；在牛奶經過巴氏消毒后，需進行儲存檢驗，儲存檢驗參照巴氏殺菌乳國家標準，共有10項必檢，包括理化標準、微生物指標、感官指標、儲藏方式等；儲存檢驗后，進行保溫試驗，必檢的項目包括64項，外加風險監測項目44項。整個牛奶生產過程需要進過4個部分累計達到899項指標的檢驗。這些檢驗過程受到農業主管部門和質量監督部門的監管。在流通過程中，需進過工商部門、出入境檢驗檢疫部門的抽檢，合格后方能在超市上架或通過海關流通，期間需進過工商部門、出入境檢驗檢疫部門、媒體大眾等相關單位的監管和監督。工商部門檢驗的項目共計12項，出入境檢驗檢疫部門需檢驗的項目共計60項。筆者粗略估計了一下，單盒液態純牛奶從生產源頭到消費者手中，共需經歷檢驗最少六次抽查，總體971項指標，還不包括對奶牛和飼料的檢驗指標。我國2012年全年共計生產牛奶3744萬噸，按照每1ml牛奶的重量是1.0288，每盒牛奶250ml，每個檢測指標的儲存占4個字節。計算，一年僅因牛奶檢測而產生的數量量達到5.653×1014≈514T。這些數據生產出來后大多數被丟棄。數據的關聯度指的是數據之間的相關程度，如上文所述，食品安全數據指標各不相似、表現了食品安全指標的方方面面，然而這些數據之間關聯性很差，如：食品添加劑的數據檢測值和食品中農藥殘留值在理論上無相關性，然而基于各類食品的不同特征，挖掘食品安全指標中的潛在規則能為食品安全預警提供數據參考和經驗借鑒。上文已介紹了不少文獻使用數據挖掘領域中關聯規則挖掘數據價值的方法，在此不再贅述。
二、大數據時代食品安全數據的獲取方式
按照傳統方式可在食品生產、流通過程中收集到大量的、可靠的食品安全數據，按照上文的介紹，這些數據量已經非常龐大。以下介紹幾種食品安全預警數據的其他獲取方式：媒體大眾渠道的食品安全數據獲取方式。食品消費的終點是消費者手中，對于食品的安全質量，消費者最具有發言權，傳統的食品安全數據僅僅來源于食品生產部門和監督管理部門，來源單一、片面。利用大數據對于數據的收集、處理方法，可以方便快捷地收集到網絡媒體、微博、論壇中關于食品安全的消費者反饋。并通過對自然語言的分析判別正面負面信息，對食品安全預警具有非常重要的指導性意義。另外，通過對食品安全言論相關信息分析，可精確判別食品質量問題發生的區域、時間、受害群體，對食品安全問題做出實時、精確、精準的預報。基于食品安全追溯系統的數據獲取方式。食品安全追溯系統的建立旨在實現視頻“從田間到餐桌”的一條龍式質量監管，以期在食品的生產和銷售過程進行無疏漏跟蹤,確保食品的質量。現在國內外許多企業、政府部門正在大力加強和促進該系統的建立建設，可預見食品安全追溯系統在未來將被迅速建立、并具有長足的發展。在食品安全追溯的過程中，眾多數據被實時監控并記錄了下來，其中不僅僅包括食品加工、原材料的數據，還可包括如：食品容器、食品儲存環境、食品來源地等許許多多的附加信息，這些信息對于消費者購買流食品提供了非常全面的信息。對于食品安全預警而言，這些實時連貫性的數據可以更方便地進行時間維度上的趨勢擬合和預警分析。
三、大數據時代食品安全數據的處理方式。
使用大數據思路和分析方法對食品安全進行檢測和預警，首先要充分使用數據科學的處理方法，由于不同的數據和來源渠道，非結構化數據代替結構化數據成為分析和處理的主要對象，常見的數據有以下幾類：表格、點集、時間序列、圖像、視頻、網頁以及其他的網絡數據。每一種非結構化數據都應當對應相應的處理方式，如，點集可使用概率分布方法進行擬合；時間序列數據可采用隨機過程（如隱式馬氏過程）方法進行處理；圖像可通過隨機場（如吉布斯隨機場）進行分析；網絡數據可通過圖模型、貝葉斯模型來處理。進行初步處理后的數據，可通過以下方式判別其價值，如：相關性（若所得數據與其他數據具有弱相關性，則可考慮丟棄）、排序（對數據的重要性進行排序，如食品中重金屬含量的重要性要遠高于蛋白質含量，可考慮增加其權重或在數據建模中優先考慮）、分類和聚類（使用分類和聚類方法能快速尋找到數據之間的相互關聯，找到其相似性。對相似特點的數據進行統一處理，減少后續處理的數據量）。
在上述數據處理的基礎上，可考慮對數據價值的進一步提取和分析，如：建立度量空間，討論數據之間范式距離的遠近以及關聯性的大小；建立網絡拓撲結構，討論數據之間的空間關聯性及分布情況；建立函數結構，討論數據之間的統計學規律（如相關性、回歸系數、主成分分析）等。另外，處理食品安全大數據，需要引進大數據管理系統和技術流程。廣泛使用的大數據管理系統有Hadoop/Hive系統，常用的底層支持框架有Core/Avro等，常用的數據存儲系統有Hbase/MapReduce等分布式、非關系型數據庫，常用的文件系統有HDFS等。值得一提的是，當今大數據技術有大量的開源軟件，開源算法，大大豐富和方便了人們在其之上進行編程和應用，為使用大數據思維和方法處理食品安全數據提供了技術支持。
作者：李夏冰凌文婧
