Machine Learning Trends You Need to Know

m link ☆☆☆
  • Piecing together multiple ML and MLOps solutions will be too complex for most teams. Consequently, we believe ML is a platform play and companies will use at most two platforms to manage the entire pipeline: one will manage the exploration phase, while another platform will manage deployment and operations. ML training and inference workloads have different characteristics, and different end-users. The exploration phase is performed by data scientists and includes data preprocessing, experiment tracking, dataset versioning, and model management. The deployment phase is handled by production engineers and is focused on deployment efficiency, metrics and monitoring, and incident response. 
    • 複数のMLとMLOpsのソリューションを組み合わせることは、ほとんどのチームにとって複雑すぎるでしょう。そのため、MLはプラットフォームであり、企業は最大でも2つのプラットフォームを使用してパイプライン全体を管理することになると考えています。MLのトレーニングと推論のワークロードは異なる特性を持ち、エンドユーザーも異なります。探索フェーズはデータサイエンティストが行い、データの前処理、実験の追跡、データセットのバージョン管理、モデルの管理などが含まれます。デプロイメントフェーズは、プロダクションエンジニアが担当し、デプロイの効率化、メトリクスとモニタリング、インシデント対応に焦点を当てます。 
  • Training large neural models, such as foundation models, requires an enormous amount of data and computational resources, so they are dominated by a few research groups. But there are a few hopeful trends worth highlighting. First, pre-trained and foundation models shift the focus from comprehensive model training towards less computationally intensive approaches (fine tuning and transfer learning). Second, algorithmic and systems improvements continue to help lower costs and carbon footprints:
    • AIはより安価に、より効率的に 基礎モデルのような大規模なニューラルモデルを鍛えるには、膨大なデータと計算資源が必要なため、少数の研究グループに支配されている。しかし、注目すべきいくつかの希望的なトレンドがあります。第一に、事前学習済みモデルや基礎モデルは、包括的なモデル学習から、より計算量の少ないアプローチ（ファインチューニングや転移学習）へと焦点を移していることである。第二に、アルゴリズムとシステムの改善は、コストとカーボンフットプリントの低減に引き続き貢献しています。 
  • Since 2018, the cost to train an image classification system has decreased by 63.6％, while training times have improved by 94.4％. The trend of lower training cost but faster training time appears across other MLPerf task categories such as recommendation, object detection and language processing, and favors the more widespread commercial adoption of AI technologies.
    • 2018年以降、画像分類システムの学習コストは63.6％低下し、学習時間は94.4％向上している。学習コストは下がるが学習時間は早くなるという傾向は、推薦、物体検出、言語処理など他のMLPerfタスクカテゴリにも現れ、より広くAI技術を商業的に採用することに有利になっている

The pipeline from research to industry will remain robust

  • There will continue to be a steady stream of research tools that eventually translate into solutions for real-world, production grade applications.  Here are just a few examples of active research areas that are leading to real-world tools and applications:  
    • Graph Neural Networks – Companies like Pinterest, Uber, and Google have reported significant improvements in recommendations, fraud detection, and forecasting models after incorporating GNNs.
    • Transformers – Transformers are starting to make an impact in domains other than NLP (e.g., in computer vision).
    • Multi-modal models  – SageMaker Healthcare example; Google MUM; OpenAI DALL-E; LAION-5B; and DeepMind’s Gato.
    • Reinforcement Learning – While RL remains challenging for most teams, we are starting to see a variety of use cases in financial services, retail and ecommerce, security, semiconductors, and beyond.
    • Robotics – The price of robotic arms decreased by 46.2％ in the past five years.

  • 今後も、実世界のプロダクショングレードのアプリケーションのためのソリューションにつながる研究ツールは、着実に生まれ続けるでしょう。 ここでは、実世界のツールやアプリケーションにつながる活発な研究分野の例をいくつか紹介します。

    • グラフ・ニューラル・ネットワーク - Pinterest、Uber、Googleなどの企業は、GNNを取り入れた後、推薦、詐欺検出、予測モデルが大幅に改善されたと報告しています。

    • トランスフォーマー - トランスフォーマーは、NLP以外のドメイン（例：コンピュータビジョン）でもインパクトを与え始めている。

    • マルチモーダルモデル - SageMaker Healthcareの例、Google MUM、OpenAI DALL-E、LAION-5B、DeepMindのGatoなど。

    • 強化学習 - RLはほとんどのチームにとって依然として難しいが、金融サービス、小売とeコマース、セキュリティ、半導体、およびそれ以外の分野でのさまざまな使用例が見られるようになってきている。

    • ロボティクス - ロボットアームの価格は過去5年間で46.2%減少した。

 

gradientflow.com