<?xml version='1.0' encoding="utf-8"?>
      <rss version='2.0'>
      <channel>
      <title>Форум на Исходниках.RU</title>
      <link>https://forum.sources.ru</link>
      <description>Форум на Исходниках.RU</description>
      <generator>Форум на Исходниках.RU</generator>
  	
      <item>
        <guid isPermaLink='true'>https://forum.sources.ru/index.php?showtopic=9261&amp;view=findpost&amp;p=90772</guid>
        <pubDate>Fri, 27 Jun 2003 07:00:36 +0000</pubDate>
        <title>вычислить градиент</title>
        <link>https://forum.sources.ru/index.php?showtopic=9261&amp;view=findpost&amp;p=90772</link>
        <description><![CDATA[wormball: не зачем в методу градиентного спуска нейросети, а зачем нейросетям градиентный спуск! ведь все (ВСЕ!) нейронные сети работают только с помощью градиентного спуска!<br><br>однако вопрос снимается с повестки дня, ибо я его задавал в спешке и мне лень было подумать. как говорят в таких случаях англичане, поспешишь - людей насмешишь. на самом же деле ето проще простого.<br><br>представляем градиент в виде линейной комбинации векторов, представляющих собой разность k - го и 1 - го векторов. получается система из n-1 уравнения:<br>          _<br>  {Sij}*b={yj-y1}<br> &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; _<br>где {Sij} - матрица перекрывания, т е Sij=(xi-x1, xj-x1), a b - это вектор градиента в подпространстве.<br><br>получается замечательный градиент. только меня волнуют 2 вопроса:<br><br>1. что будет, если n&gt;N?<br><br>2. что будет, если какиелибо вектора из xi-x1 окажутся линейно зваисимыми?]]></description>
        <author>wormball</author>
        <category>Алгоритмы</category>
      </item>
	
      <item>
        <guid isPermaLink='true'>https://forum.sources.ru/index.php?showtopic=9261&amp;view=findpost&amp;p=90771</guid>
        <pubDate>Wed, 25 Jun 2003 10:35:17 +0000</pubDate>
        <title>вычислить градиент</title>
        <link>https://forum.sources.ru/index.php?showtopic=9261&amp;view=findpost&amp;p=90771</link>
        <description><![CDATA[Demo_S: что-то замутил очень..<br>зачем в методу градиентного спуска нейросети?]]></description>
        <author>Demo_S</author>
        <category>Алгоритмы</category>
      </item>
	
      <item>
        <guid isPermaLink='true'>https://forum.sources.ru/index.php?showtopic=9261&amp;view=findpost&amp;p=90770</guid>
        <pubDate>Tue, 24 Jun 2003 11:54:37 +0000</pubDate>
        <title>вычислить градиент</title>
        <link>https://forum.sources.ru/index.php?showtopic=9261&amp;view=findpost&amp;p=90770</link>
        <description><![CDATA[wormball: снова нейронные сети &nbsp; ::)<br><br>вот выдумывал я алгоритм градиентного спуска и столкнулся с такой задачей. есть n нейронных сетей, каждая может быть представлена вектором в N - мерном пространстве, и для каждой из них вычисляется &quot;крутизна&quot;, в смысле чем больше крутизна, тем лучше. надо найти направление градиента крутизны в N мерном пространстве, причём его модуль не имеет решающего значения. <br><br>первое что мне пришло в голову - вычислять корреляцию для каждого веса синапса методом наименьших квадратов: <br><br>E=S(f(xik)-yk)^2 <br>k <br><br>где yk - крутизна kй сети, a f(xik)=ai*xi+bi - линейная функция, ai - искомый градиент. <br><br>ну я ету енергию минимизировал, у меня получилось замечательное аналитическое выражение для градиента. однако, поразмыслив, я решил, что так дело не пойдёт, ибо такое выражение не учитывает корреляцию компонентов вектора между собой, а потому получающийся вектор далёк от истинного градиента. <br><br>поэтому я записал мою линейную аппроксимирующую функцию в следующем виде: <br>_ N <br>f(x)=S(ai*xi)+a0 <br>i=1 <br><br>т е ето гиперплоскость в N+1 мерном пространстве. применив наименьшие квадраты к такой функции, я получил систему из N+1 линейных уравнений, где N в моём случае несколько тысяч. <br><br>однако главная трудность не в этом. дело в том, что число сетей (т е фактически точек в N мерном пространстве) много меньше N, а точнее десятки и сотни, ибо процедура вычисления крутизны занимает очень много времени и оно растёт пропорционально n^2(каждая сеть играет с каждой другой сетью в футбол змейками). в этом случае получается, что система для вычисления градиента становится неопределённой, т е точек слишком мало для того, чтобы однозначно вычислить градиент. я придумал такой выход: чтобы однозначно определить градиент, надо его вычислять в n мерном подпространстве, образуемом нашими n сетями. <br><br>вопрос (а вы думали я ето просто чтобы похвастаться написал?): <br>получить выражение для градиента в таком подпространстве.]]></description>
        <author>wormball</author>
        <category>Алгоритмы</category>
      </item>
	
      </channel>
      </rss>
	