İnsan bilişinden ilham alan, sürekli olarak Sistem 2 + Sistem 1 tarzı mimari kullanan Humanoidler için temel modeller göreceksiniz.
Günümüzdeki çoğu görsel-dil-eylem (VLA) modeli, algılama, dil ve eylemi tek bir ağ içinde yöneten merkezi multimodal sistemler olarak inşa edilmiştir.
Codec'in altyapısı bunun için mükemmeldir çünkü her Operatörü izole bir modül olarak ele alır. Yani, aynı mimari üzerinden kapsüllenmiş ve koordine edilmiş olarak, kendi modelini veya görevini yürüten birden fazla Operatörü paralel olarak başlatabilirsiniz.
Robotlar ve insansı robotlar genel olarak genellikle birden fazla beyne sahiptir, burada bir Operatör görsel işlemeyi, diğerleri dengeyi, bir diğeri ise yüksek düzeyde planlamayı yapabilir ve bunlar Codec'in sistemi aracılığıyla koordine edilebilir.
Nvidia'nın temel modeli Issac GR00T N1, iki modüllü Sistem 2 + Sistem 1 mimarisini kullanıyor. Sistem 2, robotun kameraları aracılığıyla dünyayı gözlemleyen ve talimatları dinleyen, ardından yüksek seviyeli bir plan yapan PaLM veya benzeri, çok modlu (a bir versiyon olan bir görsel-dil modelidir.
Sistem 1, o planı alıp gerçek zamanlı sürekli hareketlere dönüştüren bir difüzyon dönüştürücü politikasını temsil eder. Sistem 2'yi düşünürken, onu düşünceli beyin olarak, Sistem 1'i ise içgüdüsel beden kontrolcüsü olarak düşünebilirsiniz. Sistem 2, "kırmızı fincana git, onu kavra, sonra rafın üzerine koy" gibi bir şey üretebilir ve Sistem 1, her adımı düzgün bir şekilde yerine getirmek için bacaklar ve kollar için detaylı eklem hareketlerini oluşturacaktır.
Sistem 1, ince hareketleri ustalıkla gerçekleştirmek için insan teleoperasyonlu demolar ve fizik simülasyonu verileri de dahil olmak üzere tonlarca yörünge verisi ) ile eğitildi, oysa Sistem 2, anlamsal anlama için internet ön eğitimi ( ile bir dönüştürücü üzerine inşa edildi.
Bu akıl yürütme ile eylem arasındaki ayrım NVIDIA için çok güçlü. Bu, GR00T'un uzun vadeli planlama gerektiren görevleri ) System 2( sayesinde yerine getirebileceği ve ayrıca anında bozulmalara tepki verebileceği anlamına geliyor ) System 1( sayesinde.
Eğer bir robot bir tepsi taşıyorsa ve birisi tepsiyi ittirirse, Sistem 1 hemen dengeyi düzeltebilir, yavaş olan Sistem 2'nin fark etmesini beklemek yerine.
GR00T N1, açıkça erişilebilir ilk robotik temel modellerden biriydi ve hızla ilgi gördü.
Kutudan çıktığında, simülasyondaki birçok görevde yetenek gösterdi, tek elle veya iki elle nesneleri kavrayıp hareket ettirebilir, nesneleri elleri arasında aktarabilir ve herhangi bir görev spesifik programlama olmadan çok aşamalı işleri gerçekleştirebilir. Tek bir bedene bağlı olmadığı için, geliştiriciler onu minimal ayarlamalarla farklı robotlarda çalıştırdıklarını gösterdiler.
Bu, Helix )Figure'ın bu tür mimariyi kullanan temel modeli için de geçerlidir. Helix, iki robotun veya birden fazla yeteneğin çalışmasına olanak tanır, Codec, bilgi paylaşan birkaç Operatör çalıştırarak çoklu ajan beyni etkinleştirebilir.
Bu "izole pod" tasarımı, her bir bileşenin System 1 ile System 2( gibi uzmanlaşabileceği anlamına gelir ve hatta farklı ekipler tarafından geliştirilebilir, yine de birlikte çalışabilirler.
Bu, Codec'in bu modüler, dağıtık zekayı desteklemek için derin yazılım yığını inşa ettiği anlamında eşsiz bir yaklaşımdır; diğerleri ise yalnızca AI modeline odaklanmaktadır.
Codec ayrıca büyük önceden eğitilmiş modellerden faydalanır. Eğer bunun üzerine bir robot uygulaması geliştiriyorsanız, bir Operator'unuzun parçası olarak bir OpenVLA veya Pi Zero temel modelini entegre edebilirsiniz. Codec, robotun kamera görüntülerine veya API'lerine kolay erişim sağlayan bağlantıları sunar, böylece bir robotun kamerasından görüntü almak veya motorlarına hız komutları göndermek için düşük seviyeli kod yazmanıza gerek kalmaz. Hepsi, yüksek seviyeli bir SDK'nın arkasında soyutlanmıştır.
Codec'e bu kadar olumlu bakmamın nedenlerinden biri yukarıda belirttiğim şeydir. Hikayeleri kovalamıyorlar, mimari temele dayalı modeller arasında yapıştırıcı olacak şekilde inşa edilmiştir ve çoklu beyin sistemlerini sorunsuz bir şekilde destekliyor, bu da insansı karmaşıklık için kritik öneme sahiptir.
Bu trende çok erken girdiğimiz için, sektör liderlerinin tasarımlarını incelemek ve neden işe yaradıklarını anlamak önemlidir. Robot teknolojisi, donanım ve yazılım arasındaki katmanlar nedeniyle kavraması zor olabilir, ancak her bölümü parça parça ayırmayı öğrendiğinizde, sindirilmesi çok daha kolay hale gelir.
Şu anda zaman kaybı gibi hissediliyor olabilir, ama bu, AI döneminde bana avantaj sağlayan aynı yöntem ve bu yüzden birçok projeye erken katıldım. Disiplinli olun ve hangi bileşenlerin bir arada var olabileceğini ve hangi bileşenlerin ölçeklenmeyeceğini öğrenin.
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
İnsan bilişinden ilham alan, sürekli olarak Sistem 2 + Sistem 1 tarzı mimari kullanan Humanoidler için temel modeller göreceksiniz.
Günümüzdeki çoğu görsel-dil-eylem (VLA) modeli, algılama, dil ve eylemi tek bir ağ içinde yöneten merkezi multimodal sistemler olarak inşa edilmiştir.
Codec'in altyapısı bunun için mükemmeldir çünkü her Operatörü izole bir modül olarak ele alır. Yani, aynı mimari üzerinden kapsüllenmiş ve koordine edilmiş olarak, kendi modelini veya görevini yürüten birden fazla Operatörü paralel olarak başlatabilirsiniz.
Robotlar ve insansı robotlar genel olarak genellikle birden fazla beyne sahiptir, burada bir Operatör görsel işlemeyi, diğerleri dengeyi, bir diğeri ise yüksek düzeyde planlamayı yapabilir ve bunlar Codec'in sistemi aracılığıyla koordine edilebilir.
Nvidia'nın temel modeli Issac GR00T N1, iki modüllü Sistem 2 + Sistem 1 mimarisini kullanıyor. Sistem 2, robotun kameraları aracılığıyla dünyayı gözlemleyen ve talimatları dinleyen, ardından yüksek seviyeli bir plan yapan PaLM veya benzeri, çok modlu (a bir versiyon olan bir görsel-dil modelidir.
Sistem 1, o planı alıp gerçek zamanlı sürekli hareketlere dönüştüren bir difüzyon dönüştürücü politikasını temsil eder. Sistem 2'yi düşünürken, onu düşünceli beyin olarak, Sistem 1'i ise içgüdüsel beden kontrolcüsü olarak düşünebilirsiniz. Sistem 2, "kırmızı fincana git, onu kavra, sonra rafın üzerine koy" gibi bir şey üretebilir ve Sistem 1, her adımı düzgün bir şekilde yerine getirmek için bacaklar ve kollar için detaylı eklem hareketlerini oluşturacaktır.
Sistem 1, ince hareketleri ustalıkla gerçekleştirmek için insan teleoperasyonlu demolar ve fizik simülasyonu verileri de dahil olmak üzere tonlarca yörünge verisi ) ile eğitildi, oysa Sistem 2, anlamsal anlama için internet ön eğitimi ( ile bir dönüştürücü üzerine inşa edildi.
Bu akıl yürütme ile eylem arasındaki ayrım NVIDIA için çok güçlü. Bu, GR00T'un uzun vadeli planlama gerektiren görevleri ) System 2( sayesinde yerine getirebileceği ve ayrıca anında bozulmalara tepki verebileceği anlamına geliyor ) System 1( sayesinde.
Eğer bir robot bir tepsi taşıyorsa ve birisi tepsiyi ittirirse, Sistem 1 hemen dengeyi düzeltebilir, yavaş olan Sistem 2'nin fark etmesini beklemek yerine.
GR00T N1, açıkça erişilebilir ilk robotik temel modellerden biriydi ve hızla ilgi gördü.
Kutudan çıktığında, simülasyondaki birçok görevde yetenek gösterdi, tek elle veya iki elle nesneleri kavrayıp hareket ettirebilir, nesneleri elleri arasında aktarabilir ve herhangi bir görev spesifik programlama olmadan çok aşamalı işleri gerçekleştirebilir. Tek bir bedene bağlı olmadığı için, geliştiriciler onu minimal ayarlamalarla farklı robotlarda çalıştırdıklarını gösterdiler.
Bu, Helix )Figure'ın bu tür mimariyi kullanan temel modeli için de geçerlidir. Helix, iki robotun veya birden fazla yeteneğin çalışmasına olanak tanır, Codec, bilgi paylaşan birkaç Operatör çalıştırarak çoklu ajan beyni etkinleştirebilir.
Bu "izole pod" tasarımı, her bir bileşenin System 1 ile System 2( gibi uzmanlaşabileceği anlamına gelir ve hatta farklı ekipler tarafından geliştirilebilir, yine de birlikte çalışabilirler.
Bu, Codec'in bu modüler, dağıtık zekayı desteklemek için derin yazılım yığını inşa ettiği anlamında eşsiz bir yaklaşımdır; diğerleri ise yalnızca AI modeline odaklanmaktadır.
Codec ayrıca büyük önceden eğitilmiş modellerden faydalanır. Eğer bunun üzerine bir robot uygulaması geliştiriyorsanız, bir Operator'unuzun parçası olarak bir OpenVLA veya Pi Zero temel modelini entegre edebilirsiniz. Codec, robotun kamera görüntülerine veya API'lerine kolay erişim sağlayan bağlantıları sunar, böylece bir robotun kamerasından görüntü almak veya motorlarına hız komutları göndermek için düşük seviyeli kod yazmanıza gerek kalmaz. Hepsi, yüksek seviyeli bir SDK'nın arkasında soyutlanmıştır.
Codec'e bu kadar olumlu bakmamın nedenlerinden biri yukarıda belirttiğim şeydir. Hikayeleri kovalamıyorlar, mimari temele dayalı modeller arasında yapıştırıcı olacak şekilde inşa edilmiştir ve çoklu beyin sistemlerini sorunsuz bir şekilde destekliyor, bu da insansı karmaşıklık için kritik öneme sahiptir.
Bu trende çok erken girdiğimiz için, sektör liderlerinin tasarımlarını incelemek ve neden işe yaradıklarını anlamak önemlidir. Robot teknolojisi, donanım ve yazılım arasındaki katmanlar nedeniyle kavraması zor olabilir, ancak her bölümü parça parça ayırmayı öğrendiğinizde, sindirilmesi çok daha kolay hale gelir.
Şu anda zaman kaybı gibi hissediliyor olabilir, ama bu, AI döneminde bana avantaj sağlayan aynı yöntem ve bu yüzden birçok projeye erken katıldım. Disiplinli olun ve hangi bileşenlerin bir arada var olabileceğini ve hangi bileşenlerin ölçeklenmeyeceğini öğrenin.
Önümüzdeki aylarda kazanç sağlayacak.
Deca Trilyon ) $CODEC ( kodlandı.