ベンチマーク：それは何ですか？何のために歴史、種類、ヒント

ベンチマークは毎日のハードウェア分析の重要な部分であり、 CPU、グラフィックスカード、ストレージユニットなどのさまざまなコンポーネント間の科学的に比較可能な測定を提供できます。今日は、その歴史、タイプ、動作方法、測定方法 、最も一般的な測定基準にいくつかの線を当てます。また、それらを実行する方法と信頼すべき方法についてのヒントも提供します。

今日のPCまたはモバイルの世界でベンチマークとして知っているのは、 この革命の始まり以来、制御された環境での比較可能なデータに基づく意思決定を可能にした 、 産業環境から継承された手法です。

現代のコンピューティングの世界では、これらの技術をさまざまなドメインのほとんどすべてに適用しており、ホームユーザーは、システムのパフォーマンスと機能、および重要な情報ポイントについて学習するための信頼できる方法としても採用しています。新しいコンピュータ、携帯電話、グラフィックカードなどの購入など、重要な決定を行うため。

今日は、PCベンチマークの歴史、 存在するベンチマークの種類、 システムのどのコンポーネントがパフォーマンスだけでなく、このタイプのテストに適しているかについてお話します。

コンテンツインデックス

歴史

ベンチマークまたは測定システムは、科学的に比較可能かつ検証可能であり、コンピューターの世界が存在して以来共存してきた、制御された環境と認識可能な測定を適用します。そのため、 ベンチマークはその基本的な本質の一部が失われ、第三者による監査および検証が可能になるまで民主化されています。現在では、パフォーマンスの迅速な比較としてより多く使用していますが、サードパーティによるその真実性のトレーサビリティは確かに大幅に失われています。

最も古典的なベンチマーク手法は、常にシステムのCPUのコンピューティング能力を参照してきましたが、最近では、コンピューター内で圧倒的な重要性を得ているため、コンポーネントごとに異なります。

現在も適用されている最も一般的な2つの測定単位は、ドライストーンと砥石です。どちらも、ある意味で、今日私たちが知っているすべての合成ベンチマークの基礎になっています。

最も古いのはWhetstones （イギリスの国営電力会社の原子力部門があったイギリスの地域）で、後にDhrystoneが最初の（wet and dry）という名前で遊んだ。

1つ目は70年代に設計され、2つ目は80年代に設計されたものであり、どちらも過去数年間の比較パフォーマンスの基礎となっています。 Whetstonesは、単純化して、浮動小数点演算（小数点以下の桁数の多い演算）におけるプロセッサーの計算能力を洞察しました。

Dhrystoneは、小数のない基本的な命令に特化しているので、その対応物です。どちらも、2つの完全に異なるが補完的なアプローチからプロセッサのパフォーマンスを明確に示しています。 WhetstonesとDhrystoneは、今日より一般的に使用されている2つの概念、 MIPSとFLOPに派生しました。

これらの測定が行われた後、 FLOP（浮動小数点演算-浮動小数点演算）などの他の測定法が登場しました。これは、多くの最新の手法の高度な計算の基礎となっているため、今ではコンピュータでこれまでよりも非常に重要になっています。人工知能アルゴリズム、医療アルゴリズム、天気予報、ファジーロジック、暗号化など。

LINPACKはエンジニアのJack Dongarraによって1980年代に開発され、現在でもあらゆるタイプのシステムの浮動小数点演算能力の測定に使用されています。現在、アーキテクチャ、CPUメーカーなどによって最適化されたバージョンがあります。

FLOPSは 、グラフィックスカード（確かに単精度または倍精度の音に慣れている）、プロセッサに関する記事を満たし、動作中または開発中のスーパーコンピューターの電力要件とハードウェア開発を計算するための基礎となります。

FLOPは今日、業界で最も必要なパフォーマンス測定単位ですが、MIPS（1秒あたり数百万の命令）と常に組み合わせられています。プロセッサが1秒あたりに実行できる基本的な演算ですが、それは他の測定単位よりもプロセッサのアーキテクチャ（ARM、RISC、x86など）とプログラミング言語に依存します。

パフォーマンスが向上するにつれて、乗数が発生しました。現在、GIPSとGFLOPSでホームCPUのパフォーマンスを測定しています。ベースは、従来の算術演算のままです。 Sisoft Sandraは、一部の合成ベンチマークでこのタイプの測定を提供し続けています。

MIPSは、クラシックな要素としてCPUにさらに依存しており、 FLOPは、プロセスキャパシティや、すべてのプロセッサに搭載されているGPUなどの特定のタスクに非常に重点を置いた元のプロセッサの一般的な計算など、他の繁栄している領域にまで拡張されています。専用の拡張カード。

これらの基本的な概念に、現代のコンピュータやスーパーコンピュータでは、これらの単位と同じかそれ以上に重要な新しい測定単位が追加されてきました。データ転送は、非常に重要になったこれらの測定基準の1つであり、現在IOP （1秒あたりの入出力操作）で測定されています。また、MB / GB / TBストレージ測定などの他の形式でも、所要時間と比較して測定されています。あるポイントから別のポイントへの移行（MBps-メガバイト/秒）。

AS-SSDは、ハードディスクのパフォーマンスをMBpsまたはIOPで測定できます。

現在、私たちは実際にもう少し情報を生成しなければならない特定の情報を出力するときに、2点間の情報伝達の速度を解釈する方法として、異なる乗数の転送メジャーも使用しています。これは、情報の転送に使用されるプロトコルによって異なります。

明確な例であり、私たちがよく使用しているのは、PCI Expressインターフェースです。このプロトコルでは、移動する8ビットの情報（0または1秒）ごとに、10ビットの情報を生成する必要があります。その追加情報は、エラー訂正、データ整合性などのために送信される通信を制御するためです。

この実際の情報の「損失」をもたらす他のよく知られているプロトコルはIPです。これは、この記事を読むために使用しているプロトコルであり、300MT /秒の接続で実際に300 mbps未満の速度を提供します。

したがって、インターフェイスによって送信された未加工の情報を参照する場合は、 GigatransferまたはTransferを使用します。実際にレシーバーで処理される情報を参照することはありません。 8GT /秒の PCI Express 3.0データバスは、ポイント間で接続されている各ラインに対して実際に6.4GBpsの情報を送信しています。転送は、家庭用および業務用コンピュータのすべてのメインバスにPCI Expressプロトコルを統合することで非常に重要になりました。

最近では、処理能力を現代のコンピューティングの他の非常に重要な要素と関連付ける方法として測定値を組み合わせ始めました。消費量は、2つのシステムのパフォーマンスの比較スケールとして導入された測定値の1つです。今日、エネルギー効率はプロセス電力と同じかそれ以上に重要であるため、測定中の要素の消費ワット数に応じてプロセス電力を比較するベンチマークを簡単に確認できます。

実際、スーパーコンピュータの優れたリストの1つは、すべてのコンピューティングノード間でのコンピュータの総消費電力ではなく、システム全体で消費されるワットまたはエネルギーに基づいたその消費電力の開発を指します。 Green500リスト（ 1ワットあたりのFLOPS-1ワットあたりのFLOPS ）は、自尊心のあるベンチマークにとって消費量が今どのように基本的であるかを示す明確な例ですが、誰もがこの要素を条件付け要素として持たないTOP500リストを注意深く調べ続けています。

ベンチマークの種類

さらに多くのファミリまたはベンチマークのタイプについて話すことができますが、私は、多かれ少なかれ上級ユーザーとして私たち全員に最も近い2つの最も一般的なクラスのリストを簡略化します。

一方では、主に以前に話し合った方法を提供するものである合成ベンチマークがあります。合成ベンチマークは、特定のプラットフォームおよびアーキテクチャ向けの多かれ少なかれ安定したプログラムコードで制御されたテストを実行するプログラムです。これらは、1つ以上のコンポーネントを統合できる非常に具体的なテストを実行するプログラムですが、同じテストが常に変更なしで実行されます。

イメージレンダリングは、要求の厳しいタスクであるため、常に最新のシステムのCPUのパフォーマンスを知る優れた方法でした。 Cinebench R15には、複数のコアとプロセススレッドを備えたシステムのパフォーマンスを知ることができる、GPU用とCPU用の2つのテストもいくつかあります。

これらは、バージョンを除いて変更がなく、ユーザーがどのバージョンを比較できるかがわかるようにこれらの変更が適切に文書化されている、制御されたテスト環境を提供します。これらのタイプのプログラムは、コンピューターのさまざまなサブシステムを個別にテストし、他のコードや特定のベンチマークを使用して特定のタイプのテストを実行したり、1つ、2つ、または複数のシステムコンポーネントのパフォーマンスによって影響を受ける可能性のあるテストを組み合わせたりできます。ゲームに統合されたベンチマーク 、またはCinebench 、Sisoft Sandra、 SuperPI 、 3DMarkなどのプログラムは、合成ベンチマークの明確な例です。

実際のベンチマークと混同してはならない他の合成ベンチマークは、実際のプログラムの実行をシミュレートするもの、または実際のプログラムでアクションスクリプトを実行するものです。テストにはランダム性がないため、合成マークでもあります。PCマークは、実際のベンチマークと混同される可能性がある合成ベンチマークプログラム。

実際のベンチマークは、プログラムを使用してパフォーマンスを測定するランダム性を受け入れるため、非常に異なるテスト方法です。プレーヤーは、ゲームの品質パラメーターをハードウェアの可能性に合わせて調整するときに、このタイプのベンチマークまたはパフォーマンステストに慣れています。

プレイ中にゲームのパフォーマンスを測定することは、実際のベンチマークです。

ゲームが提供するFPSを開いて、継続的に目的の60FPSを達成しようとすると、実際のベンチマークが実行されます。同じことが他のタイプのプログラムにも当てはまる可能性があります。開発者であれば、プログラムのコードを最適化すると、実際のベンチマークテストを行って、コードの変更やコードの実行方法をプラットフォームで実行することになります。安定または可変ハードウェア。

どちらのタイプのベンチマークも重要です。1つ目は、制御された環境でシステムを他のシステムと比較することを可能にし、2つ目は、実行のランダム性とヒューマンファクターという2つの重要な要素も追加される操作を最適化する方法です。どちらの要素も、テストするコンポーネントのパフォーマンスに関する追加の観点を提供します。

ベンチマーク時の考慮事項

ベンチマークが有用かつ効果的であるためには、本当に重要な特定の要因を考慮する必要があります。 異なるプラットフォームとアーキテクチャを比較すると、重要な不確実性要因が発生します。そのため、例として、iOSの携帯電話とWindows x86コンピューターを比較できるこのタイプのベンチマークは 、変化するだけではないので、ピンセットを使用する必要があります。オペレーティングシステムカーネルですが、プロセッサアーキテクチャは大きく異なります。 このタイプのベンチマーク（Geekbenchなど）の開発者は、バージョン間で制御が難しい補正係数を導入しています。

したがって、異なるハードウェア間でベンチマークを比較するための最初の重要な点は、テストエコシステムがベンチマークプラットフォーム 、オペレーティングシステム、ドライバー、ソフトウェアバージョンに可能な限り類似していることです。 AMDグラフィックスをNvidiaグラフィックスに対してテストする場合、グラフィックスコントローラーのように、均質化を制御できない要素は確かにここにありますが、残りはできるだけ安定させる必要があります。この場合、ハードウェアも含まれます。グラフィックカードを比較するには、同じオペレーティングシステム、同じプロセッサ、同じメモリ、すべての動作パラメーターを使用し、品質、解像度、ベンチマークでのテストのパラメーターを含め、それらを同じに保つ必要があるためです。 テストエコシステムが安定しているほど、結果の信頼性と比較性が高くなります。

私のプロセッサにボトルネックがあるかどうかを知る方法を読むことをお勧めしますか？

考慮しなければならないもう1つのことは、ベンチマークテストでは通常、テストするハードウェアにストレス要因があり、通常、システムの通常の使用では通常発生しない状況にこのハードウェアをさらすことです。ハードドライブ、グラフィックスカード、またはプロセッサから取得するすべてのベンチマークは、ハードウェアにとって危険な状況にそれらを提出するため、ストレスポイントが破壊ポイントにならないように、または多くのコンポーネントには保護システムがあり、たとえば使用範囲外の温度の場合にパフォーマンスを低下させるため、パフォーマンス低下の要素です。適切な冷却、テスト間の休止期間、テスト中のコンポーネントの正しい供給…テストがスムーズに実行されるためには、すべてが理想的な状況にある必要があります。

一方、このタイプの状況での安定性を確認するためにシステムにストレスをかけるために、このタイプのベンチマークも正確に使用します。これは、パフォーマンスを知るだけでなく、これらのストレスの多い状況でシステムが正常に動作する場合、システムは安定しており、さらに安定しています。

おわりに

コンピューターハードウェアを専門的にテストすることに専念している私たちにとって、ベンチマークは実用的なツールであり、そのおかげで、 ユーザーは各サブシステムでの次のコンピューターのパフォーマンスを正確に比較または把握するための科学的で検証可能な方法があります 。産業レベルで使用されるツールに匹敵します。

画像に示されているようなテストテーブルは、テスト方法を正確に標準化することを目的としているため、比較ベンチマークは可能な限り信頼性が高く、結果を変更するバリエーションを導入するときにテスト可能です。

しかし、他の「実験室」テストと同様に、信頼できるものにするためには、テストを実行するために適切な条件を整え、さらには異なるシステム間で比較できるようにする必要があります。

今日は、このタイプのプログラムの歴史、さまざまなタイプ、それらがどのように機能するか、およびそれらから信頼できる情報を取得する方法について少しお話しました。それらは便利ですが、私にとっては覚えておくべき情報の1つにすぎません。毎日使用する実際のプログラムでの個人的な経験とアクティブなテストの背後に常に置いておきます。

ベンチマークは、最小のパフォーマンスデータを決定プロセスに含めるのに適していますが、それらの決定を定義するものではなく、最後のヒントとして、アーキテクチャー、オペレーティングシステムなどのパフォーマンスを比較できると主張する合成ベンチマークは避けてください。