BrugBot · RedHorse2 dk okuma
12 ajanı ücretsiz modellerle nasıl çalıştırıyoruz?
On iki ajanlı bir tartışma, her analizde onlarca model isteği demek gibi görünür. BrugBot'ta bir analiz ortalama beş isteğe iniyor. Erken çıkış, istek harcamayan toplayıcılar ve sağlayıcı zinciriyle bunu nasıl başardık?
Çok ajanlı sistemlerin en sık duyduğumuz eleştirisi maliyet. On iki ajan bir tokeni tartışıyorsa, her biri bir iki kez model çağırıyorsa, analiz başına yirmi otuz istek kolayca birikir. Bizim kısıtımız daha da sertti: iki projeyi de ücretsiz model katmanlarıyla çalıştırmak istiyorduk.
Bugün BrugBot'ta ölçtüğümüz ortalama, analiz başına yaklaşık beş model isteği. Bunu üç şeye borçluyuz.
1. Erken çıkış
Masanın tam akışı şöyle: dört analist, boğa ve ayı tartışması, hakem, sonra tüccar, risk ekibi ve portföy yöneticisi. Ama hakem "tut" ya da "sat" derse, alım yapılmayacağı zaten belli. Bu durumda tüccar, üç kişilik risk ekibi ve portföy yöneticisi hiç çalışmıyor.
Analizlerin büyük kısmı burada bitiyor, çünkü taranan tokenlerin çoğu gerçekten alınmaya değer değil. Erken çıkış hem dakikalar hem de istekler kazandırıyor; tam akış sadece gerçekten aday olan tokenler için çalışıyor.
2. Model istemeyen işler modele gitmiyor
Bir işin yapay zekâ gerektirmesi ile yapay zekâyla yapılabilmesi aynı şey değil. Şu işleri modelsiz yapıyoruz:
- Toplayıcı, trend listelerini, yeni tokenleri, sinyalleri ve akıllı cüzdan alımlarını kaydediyor. Geri testlerin ham maddesi bu ve tek bir model isteği harcamıyor.
- Risk kapısı, likidite, cüzdan dağılımı ve yetki kontrollerini kurallarla yapıyor. Kapıdan dönen token tartışmaya hiç girmiyor; bir günde yüzlerce aday burada eleniyor.
- Kurallar, işlem boyu, bütçe ve çıkış planı kodda. Modelden sadece yorum isteniyor, hesap değil.
RedHorse'ta da aynı ilke geçerli: maç olasılıkları istatistiksel modelden geliyor, yapay zekâ sadece haberleri okuyup ikinci kontrol yapıyor ve danışmanda cevap yazıyor.
3. Sağlayıcı zinciri ve yapay zekâ olmadan çalışmak
İki bot da aynı yapay zekâ bağlantısını kullanıyor: önce NVIDIA'nın ücretsiz uç noktaları, olmazsa OpenRouter'ın ücretsiz modelleri. Her servisin günlük bir istek kotası var ve kota gün içine yayılıyor; bir servis sabah tüm hakkını harcayamıyor.
Daha önemlisi, ikisi de yapay zekâ olmadan çalışmaya devam edebiliyor. Model cevap vermezse BrugBot'ta onaycı güvenli tarafta kalıp reddediyor, RedHorse'ta danışman kurala dayalı kısa bir cevaba geçiyor. Ücretsiz katmanlar zaman zaman yavaşlıyor ya da kesiliyor; sistemin bunu bir hata değil olağan bir durum olarak görmesi gerekiyordu.
Kısa bağlam, iyi bağlam
Her ajana her çağrıda uzun bir geçmiş yollamak isteği pahalandırır ve çoğu zaman cevabı da kötüleştirir. Bunun yerine her ajan şunları görüyor:
- Kendi görev kartı: amacı, girdileri, kime rapor verdiği ve neyi yapmaması gerektiği.
- Ekibin zinciri: kimden sonra, kimden önce çalıştığı.
- Öğrenci konteynerinin sonuçlanmış kararlardan çıkardığı birkaç güncel ders.
Bu, ajanların kısa ama işine yarayan bir bağlamla çalışmasını sağlıyor.
Neyi ölçüyoruz?
Her gün kaç istek harcandığını, analiz başına ortalamayı ve aynı tokenin iki kez analiz edildiğinde aynı kararın çıkıp çıkmadığını kaydediyoruz. Ücretsiz modellerin en büyük riski tutarsızlık; aynı soruya farklı günlerde farklı cevap vermeleri. Şimdilik tekrar edilen analizlerde kararlar tutarlı, ama bu ölçüm sürekli açık kalacak.
Ajanların bu akışta ne yaptığını BrugBot demosunda haritadan izleyebilirsiniz.