正如评论中所指出的，评估的成本至关重要，在大多数实际情况下，这将是主要成本。让我们假设需要操作来评估$f$$C$$f$。对于非平凡函数，$C$至少会$\mathcal{O}(N)$只是从使用$N$论据。

在评论中还指出，您拥有的有限差分公式对于将向量映射到标量的函数没有意义。如果您正在寻找近似整个梯度向量$\nabla f$具有有限差异，您可以使用近似值

$$\nabla f(x) = \begin{bmatrix} \frac{f(x + \epsilon e_1) - f(x)}{\epsilon} & \frac{f(x + \epsilon e_2) - f(x)}{\epsilon} & \cdots & \frac{f(x + \epsilon e_N) - f(x)}{\epsilon} \end{bmatrix} + \mathcal{O}(\epsilon^2)$$

在哪里$e_i$是个$i$-th 规范基向量$\mathbb{R}^N$. 有$N+1$呼吁$f$这里连同$N$减法和除法，所以成本是$\mathcal{O}(C N)$.

在许多情况下，梯度乘以向量以获得方向导数$\nabla f(x) \cdot v$. 如果是这种情况，以下近似更有效：

$$\nabla f(x) \cdot v = \frac{f(x + \epsilon v) - f(x)}{\epsilon} + \mathcal{O}(\epsilon^2).$$

现在只有两个功能评估和成本$\mathcal{O}(C)$.