update doc
[tiramisu.git] / tiramisu / value.py
1 # -*- coding: utf-8 -*-
2 "takes care of the option's values and multi values"
3 # Copyright (C) 2013 Team tiramisu (see AUTHORS for all contributors)
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License
16 # along with this program; if not, write to the Free Software
17 # Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
18 #
19 # ____________________________________________________________
20 from time import time
21 from copy import copy
22 import weakref
23 from tiramisu.error import ConfigError, SlaveError
24 from tiramisu.setting import owners, multitypes, expires_time
25 from tiramisu.autolib import carry_out_calculation
26 from tiramisu.i18n import _
27 from tiramisu.option import SymLinkOption
28
29
30 class Values(object):
31     """The `Config`'s root is indeed  in charge of the `Option()`'s values,
32     but the values are physicaly located here, in `Values`, wich is also
33     responsible of a caching utility.
34     """
35     __slots__ = ('context', '_p_')
36
37     def __init__(self, context, storage):
38         """
39         Initializes the values's dict.
40
41         :param context: the context is the home config's values
42
43         """
44         self.context = weakref.ref(context)
45         # the storage type is dictionary or sqlite3
46         import_lib = 'tiramisu.storage.{0}.value'.format(storage.storage)
47         self._p_ = __import__(import_lib, globals(), locals(), ['Values'],
48                               -1).Values(storage)
49
50     def _getdefault(self, opt):
51         """
52         actually retrieves the default value
53
54         :param opt: the `option.Option()` object
55         """
56         meta = self.context().cfgimpl_get_meta()
57         if meta is not None:
58             value = meta.cfgimpl_get_values()[opt]
59         else:
60             value = opt.impl_getdefault()
61         if opt.impl_is_multi():
62             return copy(value)
63         else:
64             return value
65
66     def _getvalue(self, opt, path, validate=True):
67         """actually retrieves the value
68
69         :param opt: the `option.Option()` object
70         :returns: the option's value (or the default value if not set)
71         """
72         if not self._p_.hasvalue(path):
73             # if there is no value
74             value = self._getdefault(opt)
75             if opt.impl_is_multi():
76                 value = Multi(value, self.context, opt, path, validate)
77         else:
78             # if there is a value
79             value = self._p_.getvalue(path)
80             if opt.impl_is_multi() and not isinstance(value, Multi):
81                 # load value so don't need to validate if is not a Multi
82                 value = Multi(value, self.context, opt, path, validate=False)
83         return value
84
85     def get_modified_values(self):
86         return self._p_.get_modified_values()
87
88     def __contains__(self, opt):
89         """
90         implements the 'in' keyword syntax in order provide a pythonic way
91         to kow if an option have a value
92
93         :param opt: the `option.Option()` object
94         """
95         path = self._get_opt_path(opt)
96         return self._contains(path)
97
98     def _contains(self, path):
99         return self._p_.hasvalue(path)
100
101     def __delitem__(self, opt):
102         """overrides the builtins `del()` instructions"""
103         self.reset(opt)
104
105     def reset(self, opt, path=None):
106         if path is None:
107             path = self._get_opt_path(opt)
108         if self._p_.hasvalue(path):
109             setting = self.context().cfgimpl_get_settings()
110             opt.impl_validate(opt.impl_getdefault(), self.context(),
111                               'validator' in setting)
112             self.context().cfgimpl_reset_cache()
113             if (opt.impl_is_multi() and
114                     opt.impl_get_multitype() == multitypes.master):
115                 for slave in opt.impl_get_master_slaves():
116                     self.reset(slave)
117             self._p_.resetvalue(path)
118
119     def _isempty(self, opt, value):
120         "convenience method to know if an option is empty"
121         empty = opt._empty
122         if (not opt.impl_is_multi() and (value is None or value == empty)) or \
123            (opt.impl_is_multi() and (value == [] or
124                                      None in value or empty in value)):
125             return True
126         return False
127
128     def _getcallback_value(self, opt, index=None):
129         """
130         retrieves a value for the options that have a callback
131
132         :param opt: the `option.Option()` object
133         :param index: if an option is multi, only calculates the nth value
134         :type index: int
135         :returns: a calculated value
136         """
137         callback, callback_params = opt._callback
138         if callback_params is None:
139             callback_params = {}
140         return carry_out_calculation(opt._name, config=self.context(),
141                                      callback=callback,
142                                      callback_params=callback_params,
143                                      index=index)
144
145     def __getitem__(self, opt):
146         "enables us to use the pythonic dictionary-like access to values"
147         return self.getitem(opt)
148
149     def getitem(self, opt, path=None, validate=True, force_permissive=False,
150                 force_properties=None, validate_properties=True):
151         ntime = None
152         if path is None:
153             path = self._get_opt_path(opt)
154         if self._p_.hascache('value', path):
155             ntime = time()
156             is_cached, value = self._p_.getcache('value', path, ntime)
157             if is_cached:
158                 if opt.impl_is_multi() and not isinstance(value, Multi):
159                     #load value so don't need to validate if is not a Multi
160                     value = Multi(value, self.context, opt, path, validate=False)
161                 return value
162         val = self._getitem(opt, path, validate, force_permissive, force_properties,
163                             validate_properties)
164         if 'expire' in self.context().cfgimpl_get_settings() and validate and \
165                 validate_properties and force_permissive is False and \
166                 force_properties is None:
167             if ntime is None:
168                 ntime = time()
169             self._p_.setcache('value', path, val, ntime + expires_time)
170
171         return val
172
173     def _getitem(self, opt, path, validate, force_permissive, force_properties,
174                  validate_properties):
175         # options with callbacks
176         setting = self.context().cfgimpl_get_settings()
177         is_frozen = 'frozen' in setting[opt]
178         # if value is callback and is not set
179         # or frozen with force_default_on_freeze
180         if opt.impl_has_callback() and (
181                 self._is_default_owner(path) or
182                 (is_frozen and 'force_default_on_freeze' in setting[opt])):
183             no_value_slave = False
184             if (opt.impl_is_multi() and
185                     opt.impl_get_multitype() == multitypes.slave):
186                 masterp = self._get_opt_path(opt.impl_get_master_slaves())
187                 mastervalue = getattr(self.context(), masterp)
188                 lenmaster = len(mastervalue)
189                 if lenmaster == 0:
190                     value = []
191                     no_value_slave = True
192
193             if not no_value_slave:
194                 value = self._getcallback_value(opt)
195                 if (opt.impl_is_multi() and
196                         opt.impl_get_multitype() == multitypes.slave):
197                     if not isinstance(value, list):
198                         value = [value for i in range(lenmaster)]
199             if opt.impl_is_multi():
200                 value = Multi(value, self.context, opt, path, validate)
201             # suppress value if already set
202             self.reset(opt, path)
203         # frozen and force default
204         elif is_frozen and 'force_default_on_freeze' in setting[opt]:
205             value = self._getdefault(opt)
206             if opt.impl_is_multi():
207                 value = Multi(value, self.context(), opt, path, validate)
208         else:
209             value = self._getvalue(opt, path, validate)
210         if validate:
211             opt.impl_validate(value, self.context(), 'validator' in setting)
212         if self._is_default_owner(path) and \
213                 'force_store_value' in setting[opt]:
214             self.setitem(opt, value, path, is_write=False)
215         if validate_properties:
216             setting.validate_properties(opt, False, False, value=value, path=path,
217                                         force_permissive=force_permissive,
218                                         force_properties=force_properties)
219         return value
220
221     def __setitem__(self, opt, value):
222         raise ValueError('you should only set value with config')
223
224     def setitem(self, opt, value, path, force_permissive=False,
225                 is_write=True):
226         # is_write is, for example, used with "force_store_value"
227         # user didn't change value, so not write
228         # valid opt
229         opt.impl_validate(value, self.context(),
230                           'validator' in self.context().cfgimpl_get_settings())
231         if opt.impl_is_multi() and not isinstance(value, Multi):
232             value = Multi(value, self.context, opt, path)
233         self._setvalue(opt, path, value, force_permissive=force_permissive,
234                        is_write=is_write)
235
236     def _setvalue(self, opt, path, value, force_permissive=False,
237                   force_properties=None,
238                   is_write=True, validate_properties=True):
239         self.context().cfgimpl_reset_cache()
240         if validate_properties:
241             setting = self.context().cfgimpl_get_settings()
242             setting.validate_properties(opt, False, is_write,
243                                         value=value, path=path,
244                                         force_permissive=force_permissive,
245                                         force_properties=force_properties)
246         owner = self.context().cfgimpl_get_settings().getowner()
247         self._p_.setvalue(path, value, owner)
248
249     def getowner(self, opt):
250         """
251         retrieves the option's owner
252
253         :param opt: the `option.Option` object
254         :returns: a `setting.owners.Owner` object
255         """
256         if isinstance(opt, SymLinkOption):
257             opt = opt._opt
258         path = self._get_opt_path(opt)
259         return self._getowner(path)
260
261     def _getowner(self, path):
262         owner = self._p_.getowner(path, owners.default)
263         meta = self.context().cfgimpl_get_meta()
264         if owner is owners.default and meta is not None:
265             owner = meta.cfgimpl_get_values()._getowner(path)
266         return owner
267
268     def setowner(self, opt, owner):
269         """
270         sets a owner to an option
271
272         :param opt: the `option.Option` object
273         :param owner: a valid owner, that is a `setting.owners.Owner` object
274         """
275         if not isinstance(owner, owners.Owner):
276             raise TypeError(_("invalid generic owner {0}").format(str(owner)))
277
278         path = self._get_opt_path(opt)
279         self._setowner(path, owner)
280
281     def _setowner(self, path, owner):
282         if self._getowner(path) == owners.default:
283             raise ConfigError(_('no value for {0} cannot change owner to {1}'
284                                 '').format(path, owner))
285         self._p_.setowner(path, owner)
286
287     def is_default_owner(self, opt):
288         """
289         :param config: *must* be only the **parent** config
290                        (not the toplevel config)
291         :return: boolean
292         """
293         path = self._get_opt_path(opt)
294         return self._is_default_owner(path)
295
296     def _is_default_owner(self, path):
297         return self._getowner(path) == owners.default
298
299     def reset_cache(self, only_expired):
300         """
301         clears the cache if necessary
302         """
303         if only_expired:
304             self._p_.reset_expired_cache('value', time())
305         else:
306             self._p_.reset_all_cache('value')
307
308     def _get_opt_path(self, opt):
309         """
310         retrieve the option's path in the config
311
312         :param opt: the `option.Option` object
313         :returns: a string with points like "gc.dummy.my_option"
314         """
315         return self.context().cfgimpl_get_description().impl_get_path_by_opt(opt)
316
317 # ____________________________________________________________
318 # multi types
319
320
321 class Multi(list):
322     """multi options values container
323     that support item notation for the values of multi options"""
324     __slots__ = ('opt', 'path', 'context')
325
326     def __init__(self, value, context, opt, path, validate=True):
327         """
328         :param value: the Multi wraps a list value
329         :param context: the home config that has the values
330         :param opt: the option object that have this Multi value
331         """
332         self.opt = opt
333         self.path = path
334         if not isinstance(context, weakref.ReferenceType):
335             raise ValueError('context must be a Weakref')
336         self.context = context
337         if not isinstance(value, list):
338             value = [value]
339         if validate and self.opt.impl_get_multitype() == multitypes.slave:
340             value = self._valid_slave(value)
341         elif self.opt.impl_get_multitype() == multitypes.master:
342             self._valid_master(value)
343         super(Multi, self).__init__(value)
344
345     def _valid_slave(self, value):
346         #if slave, had values until master's one
347         masterp = self.context().cfgimpl_get_description().impl_get_path_by_opt(
348             self.opt.impl_get_master_slaves())
349         mastervalue = getattr(self.context(), masterp)
350         masterlen = len(mastervalue)
351         valuelen = len(value)
352         if valuelen > masterlen or (valuelen < masterlen and
353                                     not self.context().cfgimpl_get_values(
354                                     )._is_default_owner(self.path)):
355             raise SlaveError(_("invalid len for the slave: {0}"
356                                " which has {1} as master").format(
357                                    self.opt._name, masterp))
358         elif valuelen < masterlen:
359             for num in range(0, masterlen - valuelen):
360                 value.append(self.opt.impl_getdefault_multi())
361         #else: same len so do nothing
362         return value
363
364     def _valid_master(self, value):
365         masterlen = len(value)
366         values = self.context().cfgimpl_get_values()
367         for slave in self.opt._master_slaves:
368             path = values._get_opt_path(slave)
369             if not values._is_default_owner(path):
370                 value_slave = values._getvalue(slave, path)
371                 if len(value_slave) > masterlen:
372                     raise SlaveError(_("invalid len for the master: {0}"
373                                        " which has {1} as slave with"
374                                        " greater len").format(
375                                            self.opt._name, slave._name))
376                 elif len(value_slave) < masterlen:
377                     for num in range(0, masterlen - len(value_slave)):
378                         value_slave.append(slave.impl_getdefault_multi(),
379                                            force=True)
380
381     def __setitem__(self, key, value):
382         self._validate(value)
383         #assume not checking mandatory property
384         super(Multi, self).__setitem__(key, value)
385         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
386
387     def append(self, value, force=False):
388         """the list value can be updated (appened)
389         only if the option is a master
390         """
391         if not force:
392             if self.opt.impl_get_multitype() == multitypes.slave:
393                 raise SlaveError(_("cannot append a value on a multi option {0}"
394                                    " which is a slave").format(self.opt._name))
395             elif self.opt.impl_get_multitype() == multitypes.master:
396                 values = self.context().cfgimpl_get_values()
397                 if value is None and self.opt.impl_has_callback():
398                     value = values._getcallback_value(self.opt)
399                     #Force None il return a list
400                     if isinstance(value, list):
401                         value = None
402         self._validate(value)
403         super(Multi, self).append(value)
404         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self, validate_properties=not force)
405         if not force and self.opt.impl_get_multitype() == multitypes.master:
406             for slave in self.opt.impl_get_master_slaves():
407                 path = values._get_opt_path(slave)
408                 if not values._is_default_owner(path):
409                     if slave.impl_has_callback():
410                         index = self.__len__() - 1
411                         dvalue = values._getcallback_value(slave, index=index)
412                     else:
413                         dvalue = slave.impl_getdefault_multi()
414                     old_value = values.getitem(slave, path,
415                                                validate_properties=False)
416                     if len(old_value) < self.__len__():
417                         values.getitem(slave, path,
418                                        validate_properties=False).append(
419                                            dvalue, force=True)
420                     else:
421                         values.getitem(slave, path,
422                                        validate_properties=False)[
423                                            index] = dvalue
424
425     def sort(self, cmp=None, key=None, reverse=False):
426         if self.opt.impl_get_multitype() in [multitypes.slave,
427                                              multitypes.master]:
428             raise SlaveError(_("cannot sort multi option {0} if master or slave"
429                                "").format(self.opt._name))
430         super(Multi, self).sort(cmp=cmp, key=key, reverse=reverse)
431         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
432
433     def reverse(self):
434         if self.opt.impl_get_multitype() in [multitypes.slave,
435                                              multitypes.master]:
436             raise SlaveError(_("cannot reverse multi option {0} if master or "
437                                "slave").format(self.opt._name))
438         super(Multi, self).reverse()
439         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
440
441     def insert(self, index, obj):
442         if self.opt.impl_get_multitype() in [multitypes.slave,
443                                              multitypes.master]:
444             raise SlaveError(_("cannot insert multi option {0} if master or "
445                                "slave").format(self.opt._name))
446         super(Multi, self).insert(index, obj)
447         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
448
449     def extend(self, iterable):
450         if self.opt.impl_get_multitype() in [multitypes.slave,
451                                              multitypes.master]:
452             raise SlaveError(_("cannot extend multi option {0} if master or "
453                                "slave").format(self.opt._name))
454         super(Multi, self).extend(iterable)
455         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self)
456
457     def _validate(self, value):
458         if value is not None:
459             try:
460                 self.opt._validate(value)
461             except ValueError, err:
462                 raise ValueError(_("invalid value {0} "
463                                    "for option {1}: {2}"
464                                    "").format(str(value),
465                                               self.opt._name, err))
466
467     def pop(self, key, force=False):
468         """the list value can be updated (poped)
469         only if the option is a master
470
471         :param key: index of the element to pop
472         :return: the requested element
473         """
474         if not force:
475             if self.opt.impl_get_multitype() == multitypes.slave:
476                 raise SlaveError(_("cannot pop a value on a multi option {0}"
477                                    " which is a slave").format(self.opt._name))
478             elif self.opt.impl_get_multitype() == multitypes.master:
479                 for slave in self.opt.impl_get_master_slaves():
480                     values = self.context().cfgimpl_get_values()
481                     if not values.is_default_owner(slave):
482                         #get multi without valid properties
483                         values.getitem(slave,
484                                        validate_properties=False
485                                        ).pop(key, force=True)
486         #set value without valid properties
487         ret = super(Multi, self).pop(key)
488         self.context().cfgimpl_get_values()._setvalue(self.opt, self.path, self, validate_properties=not force)
489         return ret