2022-10-05 分類: 網(wǎng)站建設
機器學習和AI繼續(xù)深入IT服務中,并補充軟件工程師開發(fā)的應用程序。如果IT團隊想跟上這種步伐,必須提高他們的機器學習技能。
云計算服務支持構建和部署AI及機器學習應用程序的各種功能。在很多方面,AI系統(tǒng)的管理與IT專業(yè)人員在云端熟悉的其他軟件非常相似。但是,僅僅因為某人可以部署應用程序,并不一定意味著他們可以成功部署機器學習模型。
盡管這些共性可能會加快過渡,但仍存在重大差異。除了軟件工程技能外,你的IT團隊成員還需要特定的機器學習和AI知識。除技術專長外,他們還需要了解當前可用于支持其團隊計劃的云計算工具。
下面讓我們探索IT專業(yè)人員在云端成功利用AI所需的5個機器學習技能,并了解Amazon、微軟和谷歌為支持這些技能所提供的產(chǎn)品。在這些技能集中,雖然存在一些重疊,但不要期望一個人具備所有技能。通過組建具有這些技能的人員的團隊,可使你的企業(yè)處于好位置,以利用基于云的機器學習。
1. 數(shù)據(jù)工程
如果IT專業(yè)人員想在云端實現(xiàn)任何類型的AI策略,都需要了解數(shù)據(jù)工程。數(shù)據(jù)工程包含一系列技能,這涉及數(shù)據(jù)整理和工作流開發(fā)領域,以及軟件架構知識。
IT專業(yè)知識的這些不同領域可以分解為IT專業(yè)人員應完成的不同任務。例如,數(shù)據(jù)整理通常涉及數(shù)據(jù)源標識、數(shù)據(jù)提取、數(shù)據(jù)質量評估、數(shù)據(jù)集成以及在生產(chǎn)環(huán)境中執(zhí)行這些操作的管道開發(fā)。
數(shù)據(jù)工程師應該習慣使用關系數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫和對象存儲系統(tǒng)。Python是一種流行的編程語言,可結合批處理和流處理平臺(例如Apache Beam)以及分布式計算平臺(例如Apache Spark)使用。即使你不是專業(yè)的Python程序員,只要具備一定的語言知識,你都可以從針對數(shù)據(jù)工程和機器學習的各種開源工具中提高技能。
數(shù)據(jù)工程在所有主要云端都得到很好的支持。AWS提供全面的服務來支持數(shù)據(jù)工程,例如AWS Glue、Amazon Managed Streaming for Apache Kafka(MSK)和各種Amazon Kinesis服務。AWS Glue是數(shù)據(jù)目錄以及提取、轉換和加載(ETL)服務,其中包括對計劃作業(yè)的支持。MSK是數(shù)據(jù)工程管道的有用構建塊,而Kinesis服務對于部署可擴展流處理管道特別有用。
Google Cloud Platform則提供Cloud Dataflow,這是一項托管的Apache Beam服務,支持批處理和Steam處理。對于ETL流程,Google Cloud Data Fusion提供基于Hadoop的數(shù)據(jù)集成服務。Microsoft Azure還提供多種托管數(shù)據(jù)工具,例如Azure Cosmos DB、Data Catalog和Data Lake Analytics等。
2. 模型構建
機器學習是發(fā)展良好的學科,你可以通過研究和開發(fā)機器學習算法來發(fā)展自己的職業(yè)。
IT團隊使用工程師提供的數(shù)據(jù)來構建模型,并創(chuàng)建軟件以提出建議、預測價值和對條目進行分類。重要的是要了解機器學習技術的基礎知識,即使很多模型構建過程都是在云端自動完成。
作為模型構建者,你需要了解數(shù)據(jù)和業(yè)務目標。你需要構想解決方案來解決問題,并了解如何將其與現(xiàn)有系統(tǒng)集成。
現(xiàn)在市場上提供現(xiàn)成的產(chǎn)品,例如谷歌的Cloud AutoML,這套服務可以幫助你使用結構化數(shù)據(jù)以及圖像、視頻和自然語言來構建自定義模型,而無需對機器學習有太多的了解。而Azure在Visual Studio中提供ML.NET模型構建器,該模型構建器提供界面用于構建、訓練和部署模型。
Amazon SageMaker是另一項托管服務,用于在云端構建和部署機器學習模型。 這些工具可以選擇算法,確定數(shù)據(jù)中哪些特征或屬性最有價值,并使用稱為超參數(shù)調整的過程優(yōu)化模型。這些服務擴展了機器學習和AI策略的潛在用途。正如你不需要成為機械工程師就能駕駛汽車一樣,你也不需要機器學習的研究生學位即可建立有效的模型。
3. 公平與偏差檢測
算法做出的決策將直接且顯著影響個人。例如,金融服務利用AI做出有關信貸的決策,這可能會無意中偏向特定人群。這不僅可能因拒絕信貸來傷害個人,而且還使金融機構面臨違反《平等信貸機會法》等法規(guī)的風險。
這些看似艱巨的任務對于AI和機器學習模型是不可避免的事情。檢測模型中的偏差可能需要精通的統(tǒng)計和機器學習技能,但與模型構建一樣,某些繁重的工作可以由機器完成。
FairML是用于審核預測模型的開源工具,可幫助開發(fā)人員識別工作中的偏見。檢測模型偏差的經(jīng)驗還可以幫助告知數(shù)據(jù)工程和模型構建過程。Google Cloud的公平性工具在市場上,其中包括What-If Tool、Fairness Indicators和Explainable AI服務。
4. 模型性能評估
模型構建過程的一部分是評估機器學習模型的性能。例如,分類分析是根據(jù)準確性、精確度和召回率進行評估。而回歸模型(例如預測房屋出售價格的模型)通過測量其平均錯誤率進行評估。
現(xiàn)在表現(xiàn)良好的模型將來可能會表現(xiàn)不佳。這里問題不是,該模型會以某種方式被破壞,而是訓練該模型數(shù)據(jù)會過時,而無法再反映未來世界的情況。即使沒有突然的重大事件,也會發(fā)生數(shù)據(jù)漂移。重要的是評估模型并在生產(chǎn)中繼續(xù)對其進行監(jiān)視。
Amazon SageMaker、Azure Machine Learning Studio和Google Cloud AutoML等服務都包含模型性能評估工具。
5. 領域知識
領域知識并不是專門的機器學習技能,而是成功機器學習策略中最重要的部分之一。
每個行業(yè)都有自己的知識體系,因此需要對相關行業(yè)進行研究,尤其是在構建算法決策工具時。機器學習模型受限于用于訓練它們的數(shù)據(jù)。而具有領域知識的人可以知道在哪里應用AI并評估其有效性。
新聞標題:在云端你需要的5個機器學習技能
文章分享:http://jinyejixie.com/news17/201967.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供網(wǎng)站排名、網(wǎng)站策劃、網(wǎng)站建設、外貿建站、手機網(wǎng)站建設、虛擬主機
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)
猜你還喜歡下面的內容