本サービスは、社内外から収集した多種多様なデータを解析して、仕様や傾向を把握するデータの理解から、クレンジング*1などの加工方法の検討・検証、実際の前処理の実行まで、従来は人手で膨大な工数を要していたデータの整形・加工作業を高度化するものです。具体的には、お客さまやプロジェクトごとに本サービス専用の環境を用意し、投入されたデータの項目名や欠損値、データ間の関連性などを提案する機能や、データサイエンティストなどの熟練者が有するデータ加工方法のノウハウを登録・共有できる機能などを提供します。
本サービスにより、熟練者が有するプログラミングや統計などの高度なスキルやノウハウがなくても、高品質かつ効率的なデータの前処理を行うことが可能となります。前処理の作業負荷を軽減することで、本来時間と工数をかけるべき分析作業に集中することが可能となり、お客さまのデータ利活用の促進とデジタルトランスフォーメーションを支援します。
近年、業務データのみならず機器やセンサーから得られたIoTデータなど異種混合なデータをビジネスに活用するニーズが高まっています。しかしながら、現場で生成されるデータには項目の定義情報がないことや同種のデータがシステムごとに異なる名称で管理されることも多いため、実際に分析や利活用を行う際はデータの仕様把握や形式統一、類似データの統合*2などの前処理が不可欠です。
こうしたデータ前処理の作業は、データサイエンティストなどが業務有識者にヒアリングを行い、クレンジングや統合などの検証を繰り返し行う必要があるため、分析作業全体の8割の工数を占めるとも言われています。さらに、データ統合のミスが分析結果に影響し、失敗につながるケースも多いため、作業の専門性や属人性に加え精度面も課題とされています。
日立は、Lumada*3事業を展開し、データから新たな価値を創出する多様なソリューションを提供しています。そこで培ってきたノウハウを活用し、今回、「Data Preparation Service」を開発しました。
データ前処理は、一般的に、データの仕様を特定する「データ理解」と、仕様に基づいてクレンジングや統合を試行する「データ加工の検討・検証」のプロセスを繰り返し、データの品質を高めていく作業です。本サービスでは、データの項目や欠損値、データ間の関連性など、データの理解に必要となるさまざまな情報を解析し、直感的かつグラフィカルに提示します。
また、加工方法(前処理ロジック*4)を登録・共有する機能を備え、欠損値の補完や異常値・重複データの排除といった専門性の高い加工作業を手軽に検証できるほか、ETLツール*5との連携機能により、検証済みの前処理ロジックをETL上で個別に実装することが不要となるため、リアルタイムに発生するデータの前処理を効率的に定常運用*6へ移行することが可能です。
本サービスにより、多種多様なデータの整形や加工作業の効率化を支援し、高品質なデータをデータレイク*7に格納できます。これにより、さまざまなデータ分析をはじめ、AIに投入するデータや、IoTシステムへの入力データ、業務システムへの入力データの整備など、幅広い用途でデータの利活用を促進します。
今後、Lumadaを用いたデジタルトランスフォーメーションを迅速かつ容易にする「Lumada Solution Hub*8」との連携を図るなど本サービスを強化し、お客さまやパートナーとの協創やデータ利活用のさらなる促進と新たなビジネス価値創出に貢献していきます。
本リリースの詳細は下記URLをご参照ください。
https://www.hitachi.co.jp/New/cnews/month/2019/10/1002.html
概要：日立製作所
詳細は www.hitachi.co.jp をご参照ください。
Copyright 2019 JCN Newswire. All rights reserved. www.jcnnewswire.com Via JCN Newswire https://ift.tt/2pbRN02