「人間の能力を超える人工知能が作れるかもしれない」、深層学習により開発されたAIが、人間の認識レベルに追いついたという発表があって以来、AIに対する期待と投資は大きく膨らみました。そして、生成型AIの登場により、AIのビジネスへの活用が一段と進み、「AI無しの社会は考えられない」時代が来ようとしています。その中で注目を集めているのがAIハードウェアです。高まるAI利用への期待と、AIによって消費される電力問題に対する答えは、AIを実行するハードウェアが鍵を握っているのではないか。そのような視点から、IBM Researchの最近のAIハードウェアの研究成果を3種類ご紹介し、AI Computingの未来を語ります。
はじめに
「AIがあれば」というキーワードでネットを検索すると、「教師なんて不要？」「英語の学習が不要になる？」「プログラミングは誰でもできる？」「遊んで暮らせる」と、怠け癖の強い筆者には夢のような世界を示す言葉が並びます。もっと前向きに考えるならば、読み書きそろばんはもとより、集中力の途切れない機械が得意な製造検査工程、同じ動作を注意深く延々と続ける種まき、雑草とり、収穫のような農作業、災害の監視、交通渋滞の緩和、鉄道の運行、観光地のガイドまで、AIによる実施が可能になる分野は今後も増え続けると期待してしまいます。
しかしその一方で、世界中でAIが湯水の如く使われるようになると、人類の生活を脅かすような問題が起きると言われています。それは電力です。AIを使うには、どこかのコンピューターの上でAIを動かさねばなりません。ソフトウェアであるAIを動かすためのハードウェアが、どこかに必ず存在します。コンピューターを動かすには電力が必要ですが、その電力が足りなくなるかもしれないのです。
AIの開発や利用で使用するコンピューター資源の増加の速度は、世界で生産可能なエネルギーの増加速度を大きく上回っています。[1] これは、このままなんの手段も講じずにAIの利用が増大していくと、エネルギーが足りなくなることを意味しています。地球温暖化の被害報告が増え、自然エネルギーへの転換を進めようという機運が高まっている中で、消費電力を増やす活動は、ある意味時代の流れに逆行しているとも言えます。
IBM Researchでは AIの利活用が劇的に広まることを見据えて、2000年代からリサーチ部門全体の大きな研究テーマの一つとし、AIの様々な用途に最適なアーキテクチャーを研究してきました。そして長年の研究の末、AIを実行するハードウェアの分野で複数の革新的な技術を発表しました。消費電力を抑えたまま、データセンターでの大規模なAIの利用を想定したSpyre、人間の脳の動きや構造からヒントを得たアーキテクチャーを持ち(brain-inspired computing)、地上で最も電力効率の高いAIハードウェアであるNorthPole、そして究極のAIチップと言われるアナログ AIの3種です。本稿では、実際にその研究に関わった3名の研究者たちが自分の研究内容のご紹介と、その研究が見据えるコンピューティングの将来について、それぞれの思いも交えてご紹介します。
Spyre - IBM Zのビジネスアプリケーションに変革をもたらすデジタルAIアクセラレーター
AIはビジネス変革の鍵を握るテクノロジーです。特に近年、Large Language Model (LLM) の登場によりAI活用の場はさらなる広がりを見せています。一方でLLMのモデルサイズも急速に増加しており、その実行及び学習には膨大な計算リソースが必要となっています。これに伴ってデータセンターにおけるAI計算の消費電力も年々増大しており、このまま電力需要が高まり続ければ全世界で年間に原発何十台もの電力を、データセンターのみで消費する計算になると予測されています[2]。
このような需要に応え、IBMではAIアクセラレーターSpyreの研究開発を行っています[3]。Spyreは小さなAI計算専用コア[4][5]を複数搭載しています。個々のコアは従来のCPUとは全く異なる構造をしており、行列積演算に特化しデータの移動を最小限にすることや、低精度演算のサポートなどにより低消費電力かつ高速なAI計算を実現します。このコアのスケーラビリティを最大限活用し、32コアを1チップに搭載したものがAIアクセラレーターSpyreです。例えば、SpyreをIBMのメインフレームコンピューターであるIBM ZにPCI-Expressカード（図1）として搭載することで、顧客情報等の重要なデータを外部に流出させることなくIBM Zの中で完結してAI計算を行うことができます。
また、同型のAI計算コアはIBM Z本体のプロセッサー・コアにもオンチップ・アクセラレーターとして搭載されています。次世代のIBM Telum II Processor（図2）は1チップあたり1つのAIアクセラレーターを搭載し、CPUとの距離が近い特性を活かして細かい粒度でAI計算の一部を高速化できるのが特徴です。IBM Telum II Processor とSpyreでチップセットを構成し、これらが協調することでより良いAI計算環境を提供します。
IBM Telum II Processorに搭載されるAI計算コアは前身となるモデルがすでに実用化しており、金融取引における不正検知、マネーロンダリング対策、個人向け保険商品の最適化などの使用実績があります[6]。新しいモデルはこのときの約4倍の性能向上を見込んでいます。AI計算コアの改良と並列計算性能を増したSpyreの登場によりさらに強力になった計算環境は、より多くのアプリケーションに対してLLMの活用を後押しするでしょう。例えば膨大な文章の要約やコード生成を自動化したり、デザインや文章の生成を補助したり、応用先は様々です。
我々研究チームは現在もAI計算コアやSpyreのアーキテクチャーを改良し続けており、ファインチューニング機能の追加や後継機の開発も近い将来発表できる見込みです。IBM ZとIBM Powerへの搭載が発表されたAIアクセラレーターSpyreはすぐにビジネスに取り入れることが可能で、基幹業務アプリケーションにおけるAI活用を強力に後押しする最新の技術として今後も研究開発を進めていきます。 [3][7]
図1. IBM Spyre Acceleratorボード
図2. IBM Telum II Processor シングルチップ
NorthPoleによる低消費電力なエッジAIの実現
NorthPole（図3）は、脳の構造にヒントを得て開発された、AI推論専用の新しい低消費電力なデジタルAIチップです。NorthPoleは、現在主流の計算機アーキテクチャーが持つボトルネックを排除した、全く異なるデザインを持ちます。それはチップ上のメモリーの配置場所です。従来の計算機アーキテクチャーでは、データを保存するメモリーとデータを使った演算を行う演算器が分かれており、AIの演算を行う際にこれらの間でデータ転送を行うことにより電力消費や遅延のオーバーヘッドが発生します。現在の計算機の標準アーキテクチャーであるフォン・ノイマン型[8]とは異なり、NorthPoleはチップ外のメモリーを持たず、AIモデルの情報はすべてチップ内のメモリーに予め書き込まれます。推論実行時には、チップ内メモリーとその近傍に配置された演算器での処理を行うことで、データ転送に伴うオーバーヘッドを大幅に削減し、低消費電力と低遅延を実現しました。例として画像分類タスクのResNet-50では、現在のNorthPoleと同等の12nm技術プロセスで製造されたGPUに対して、NorthPoleは25倍の電力性能（1Wあたりのフレームレート）、5倍の空間性能（トランジスタあたりのフレームレート）、22倍低い遅延といった、大幅な性能向上を実現しています[9]。
低消費電力な推論を実現できるチップであるという特徴を活かし、NorthPoleはエッジにおける高度なAIアプリケーションの実現に応用できると考えています。例えば、車の自動運転、ドローン、物流、宇宙、環境モニターなどでの活用です。自動車では、現行の半導体技術でレベル4の自動運転を実現するには現在実装されているレベル2の自動運転と比べた場合、約32倍もの電力を消費すると予想されています。これは自動車の航続時間・距離が約1/3減少することを意味します。この例からも自動運転を実現する半導体の低消費電力化は非常に重要なことがわかります。消費電力を大幅に削減することができるNorthPoleによって、データセンターに比べて消費電力の制約が厳しいエッジ環境でもさまざまなAIアプリケーションを実行できるようになると考えています。
今後AIの活用は更に進んでいき、新しいAIアプリケーションがどんどん開発されて行くでしょう。そのような時に、消費電力が壁となってエッジ環境での技術活用が進まなくなってしまうのは大変な機会損失です。NorthPoleはデジタルAIチップですので、より進んだ技術プロセスで製造すれば、チップのサイズを小さくすることができ、更に消費電力を削減することができるようになります。NorthPoleによって、消費電力の問題で今まで適用が難しかったエッジ領域などでAIアプリケーションが使えるようになり、今までできなかったことを可能にしていくお手伝いができれば幸いです。
図3. NorthPoleチップ
デジタルAIチップを超える低消費電力チップ – アナログAIチップが切り拓く未来
IBMでは、デジタルAIチップを超える低消費電力を実現するために、不揮発性メモリー（non-volatile memory、以下NVM）を用いたアナログAIチップの研究開発に長年取り組んできました(図4)。このチップでは、図5のようにニューラルネットワークの計算で使われるシナプスの重みをNVMデバイスの抵抗値を用いて表現し、AIの計算において大部分を占める積和演算を低消費電力で行うことができます。そして、（1）電源を切っても重みの情報が失われない、(2)NVMデバイスでコンピューティングを行うため、メモリーと演算器間の伝送が不要となる、(3)一つのNVMセルで他段階の重みを表現できるという特徴があり、低消費電力での動作が可能となります。
IBMはNVMを用いたアナログAIチップとして、エッジデバイスへの応用が期待されるSpiking Neural Network Chipや、サーバーへの応用も期待されるDeep Neural Network Chipの研究開発を行ってきました。2019年に発表したSpiking Neural Network Chip[10]は、チップ自体で学習が可能で、データの更新があまり頻繁ではない疎な情報を、非常に低い消費電力で非同期に処理できるため、エッジデバイスへの応用が期待されています。この超低消費電力チップは、例えば、ロボティクス、メタバース・デバイスやヘルスケアなど、低消費電力での動作が求められる分野での応用が期待されています。惑星探査や深海といった極限環境において学習するロボットを実現するためには、エネルギー供給が制限され、ネットワークへの接続が困難な状況に対応する必要があります。この超低消費電力チップを搭載したロボットなら、過酷な条件下でも長期間にわたって学習し続けることが期待されます。また、メタバース・デバイスの中でも、スマートコンタクトレンズのようなウェアラブル型デバイスにおいて、仮想空間と現実空間の情報処理を行うようなデバイスの実現が期待されていますが、極めて小型なバッテリーで動作させる必要があるため、消費電力が大きな課題となります。超低消費電力チップを用いればこのようなデバイスを実現できると考えられます。さらに、患者のバイタル情報を常にモニタリング・分析し、病気の早期発見を行うためにAIチップの応用が期待されています。患者の負荷を少なくする小型インプラント型デバイスを実現するためには、この超低消費電力チップが重要な役割を果たすでしょう。2023年に発表したDeep Neural Network Chip[11]では、大規模な音声認識のベンチマークで、GPUと比較して同等の推論精度を保ちながら14倍程度低消費で行えることを実証しました。高い推論精度を実現しながら、デジタルチップだけでは実現できなかった低消費電力を実現できることから、このチップはサーバー等への応用も期待されます。
アナログAIチップは、学習・推論精度向上のためのNVMデバイスの改良・デバイス由来のばらつきの補完技術の開発、デジタル・アナログ信号相互変換の低消費電力化などといった課題がまだ残っています。しかし、これらの課題が解決されれば、デジタルチップだけでは実現できなかった超低消費電力を達成できる可能性があり、多くの業界に変革をもたらすことが期待されます。私たちは、様々な業界の夢を実現できるよう、このチップの研究開発を進めていきたいと考えています。
図4. アナログAIチップ
出典: https://research.ibm.com/blog/analog-ai-chip-low-power
図5. アレイ状に配置された不揮発性メモリーを用いて、積和演算を低消費電力で行う。
出典: https://research.ibm.com/blog/the-hardware-behind-analog-ai#pageStart
終わりに
IBM Researchが取り組んでいるAIチップの3つの研究成果について説明しました。AIの活用を超低消費電力で可能にする半導体チップでも、Spyreは実用に一番近く、NorthPoleはやや近い将来を、アナログAIは少し遠い未来を見据えています。AIで取り組むことのできる社会課題も、セキュリティや安全安心などのようにすぐにでも解決したい問題、自動運転や宇宙開発など多くの人が実現を望む技術や期待の大きい分野、そして一般的な想像を超えるようなSF的でありながら現実性の感じられる分野があります。そのような課題や期待たちを自然界に過度の負担を強いることなく解決・実現できることが、コンピューティングの研究に携わる我々の使命ではないかと日々実感しています。ここにご紹介したAI半導体技術のそれぞれの特徴をご理解いただき、これらの技術がどんな未来を作っていくか楽しみにしてください。また皆様とより良い未来を一緒に作っていけることを願っています。
参考文献
[1] SEMICONDUCTOR INDUSTRY ASSOCIATION：Webinar, Decadal Plan for Semiconductors: New Compute Trajectories for Energy Efficiency, https://www.semiconductors.org/events/webinardecadal-plan-for-semiconductors-new-compute-trajectories-for-energy-efficiency/
[2] 国立研究開発法人科学技術振興機構 低炭素社会戦略センター：情報化社会の進展がエネルギー消費に与える影響（Vol.2）, https://www.jst.go.jp/lcs/pdf/fy2020-pp-03.pdf
[3] IBM Newsroom, 次世代IBM Zメインフレーム・システム上でAIを加速させる、IBMの新しいプロセッサー・イノベーション, https://jp.newsroom.ibm.com/2024-08-29-ai-on-z
[4] S. Shukla et al.：A Scalable Multi-TeraOPS Core for AI Training and Inference, in IEEE Solid-State Circuits Letters, vol. 1, no. 12, pp. 217-220, (2018), https://doi.org/10.1109/LSSC.2019.2902738
[5] S. Venkataramani et al.： RaPiD: AI Accelerator for Ultra-low Precision Training and Inference, ACM/IEEE 48th Annual International Symposium on Computer Architecture (ISCA), pp. 153-166 (2021), https://doi.org/10.1109/ISCA52012.2021.00021
[6] IBM TechXchange：New IBM Telum II Processor and IBM Spyre Accelerator will enable hybrid AI models for better outcomes with IBM Z, https://ibm.webcasts.com/starthere.jsp?ei=1684822&tp_key=edc8ea6322
[7] IBM Newsroom, IBM Power modernizes infrastructure and accelerates innovation with AI in the year ahead, https://newsroom.ibm.com/blog-ibm-power-modernizes-infrastructure-and-accelerates-innovation-with-ai-in-the-year-ahead
[8] 入江英嗣：ノイマン型コンピュータ, 電子情報通信学会「知識ベース」, https://www.ieice-hbkb.org/files/06/06gun_04hen_01.pdf
[9] D. S. Modha, et al.: Neural inference at the frontier of energy, space, and time, Science, Vol 382, Issue 668, pp. 329-335 (2023), https://doi.org/10.1126/science.adh1174
[10] M. Ishii et al.: On-Chip Trainable 1.4M 6T2R PCM Synaptic Array with 1.6K Stochastic LIF Neurons for Spiking RBM, 2019 IEEE International Electron Devices Meeting (IEDM), pp.14.2.1-14.2.4 (2019). https://doi.org/10.1109/IEDM19573.2019.8993466
[11] S. Ambrogio et al.: An analog-AI chip for energy-efficient speech recognition and transcription, Nature, Vol.620, No.7975, pp.768–775 (2023). https://doi.org/10.1038/s41586-023-06337-5
IBM、IBM ロゴは、米国やその他の国におけるInternational Business Machines Corporationの商標または登録商標です。他の製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点でのIBMの商標リストについては、https://www.ibm.com/legal/copyright-trademarkをご覧ください。
ProVision一覧はこちらから